| 1 |
1
음성신호에 기반한 사용자의 감정을 추정하는 방법에 있어서,사용자의 음성 신호를 세그먼트 단위의 음성 데이터로 변환하는 단계; 및상기 세그먼트 단위의 음성 데이터를 3D 컨볼루션 뉴럴 네트워크(3D Convoultion neural network)에 입력하여, 세그먼트 별로 각 음성 데이터의 특징을 추출하고, 추출된 특징값에 기초하여 각 음성 데이터가 분류될 감정 상태 추정값을 산출하는 단계를 포함하되,상기 감정 상태 추정값을 산출하는 단계는상기 3D 컨볼루션 뉴럴 네트워크를 통해 추출된 특징값에 기초하여 미리 설정된 복수의 감정 상태로 분류될 확률을 나타내는 제 1 신뢰도, 이전에 감정 상태가 분류된 전체 음성 데이터의 개수 대비 각 음성 데이터별 감정 분류 상태의 값에 기초하여 산출한 과거 분류 이력을 나타내는 제 2 신뢰도, 및 복수의 감정이 공존할 수 있는 확률을 나타내는 지식 베이스에 기반하여 분류 대상 세그먼트의 음성 데이터가 가질 수 있는 감정 상태 확률을 나타내는 제 3 신뢰도를 합산한 값에 기초하여 감정 상태 추정값을 산출하되,상기 제 3 신뢰도는 상기 지식 베이스에 미리 설정된 값으로서, 이전에 존재하였던 제 1 감정 상태와 분류 대상 세그먼트의 음성 데이터가 가질 수 있는 제 2 감정 상태가 공존할 수 있는 확률을 나타내는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 방법
|
| 2 |
2
제 1 항에 있어서,상기 음성 데이터로 변환하는 단계는 상기 음성 신호에 대하여 FFT(Fast fourier transform)를 적용하여 2차원 그래프 형태의 스펙트로그램을 생성하는 단계 및상기 스펙트로그램을 단위 시간 단위로 분할하여 3차원 구조로 배치하는 단계를 포함하는, 음성신호에 기반한 사용자의 감정을 추정하는 방법
|
| 3 |
3
제 1 항에 있어서,상기 제 1 신뢰도가 임계값 이하인 경우에는 해당 음성 데이터를 폐기하는 단계를 더 포함하는, 음성신호에 기반한 사용자의 감정을 추정하는 방법
|
| 4 |
4
제 1 항에 있어서,상기 감정 상태 추정값은 제 1 신뢰도에 제 1 가중치를 곱한값과 제 2 신뢰도에 제 2 가중치를 곱한값과 제 3 신뢰도에 제 3 가중치를 곱한값을 합산한 값으로서, 0 과 1 사이의 크기를 갖는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 방법
|
| 5 |
5
삭제
|
| 6 |
6
제 1 항에 있어서,상기 제 3 신뢰도는 상기 지식 베이스에 미리 설정된 값으로서, 이전에 존재하였던 제 1 감정 상태, 이전에 존재하였던 제 2 감성 상태와 분류 대상 세그먼트의 음성 데이터가 가질 수 있는 제 3 감정 상태가 공존할 수 있는 확률을 나타내는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 방법
|
| 7 |
7
제 1 항에 있어서,상기 각 음성 데이터는 행복(happy), 슬픔(sad), 분노(angry), 공포(fear), 혐오(disgust), 지루함(boredom) 및 중립(neutral)의 7가지 감정 상태로 분류되는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 방법
|
| 8 |
8
음성신호에 기반한 사용자의 감정을 추정하는 장치에 있어서,사용자의 음성 신호로부터 음성 데이터를 추출하고, 상기 음성 데이터를 기초로 감정 상태 추정값을 산출하는 프로그램이 저장된 메모리 및상기 메모리에 저장된 프로그램을 실행하여 상기 음성신호에 기반한 사용자의 감정 추정하는 프로세서를 포함하되,상기 프로세서는 사용자의 음성 신호를 세그먼트 단위의 음성 데이터로 변환하고, 상기 세그먼트 단위의 음성 데이터를 3D 컨볼루션 뉴럴 네트워크(3D Convoultion neural network)에 입력하여, 세그먼트 별로 각 음성 데이터의 특징을 추출하고, 추출된 특징값에 기초하여 각 음성 데이터가 분류될 감정 상태 추정값을 산출하되,상기 감정 상태 추정값을 산출하는 방법은 상기 3D 컨볼루션 뉴럴 네트워크를 통해 추출된 특징값에 기초하여 미리 설정된 복수의 감정 상태로 분류될 확률을 나타내는 제 1 신뢰도, 이전에 감정 상태가 분류된 전체 음성 데이터의 개수 대비 각 음성 데이터별 감정 분류 상태의 값에 기초하여 산출한 과거 분류 이력을 나타내는 제 2 신뢰도, 및 복수의 감정이 공존할 수 있는 확률을 나타내는 지식 베이스에 기반하여 분류 대상 세그먼트의 음성 데이터가 가질 수 있는 감정 상태 확률을 나타내는 제 3 신뢰도를 합산한 값에 기초하여 감정 상태 추정값을 산출하고,상기 제 3 신뢰도는 상기 지식 베이스에 미리 설정된 값으로서, 이전에 존재하였던 제 1 감정 상태와 분류 대상 세그먼트의 음성 데이터가 가질 수 있는 제 2 감정 상태가 공존할 수 있는 확률을 나타내는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 장치
|
| 9 |
9
제 8 항에 있어서,상기 음성 데이터로 변환하는 단계는 상기 음성 신호에 대하여 FFT(Fast fourier transform)를 적용하여 2차원 그래프 형태의 스펙트로그램을 생성하고,상기 스펙트로그램을 단위 시간 단위로 분할하여 3차원 구조로 배치하는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 장치
|
| 10 |
10
제 8 항에 있어서,상기 제 1 신뢰도가 임계값 이하인 경우에는 해당 음성 데이터를 폐기하는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 장치
|
| 11 |
11
제 8 항에 있어서,상기 감정 상태 추정값은 제 1 신뢰도에 제 1 가중치를 곱한값과 제 2 신뢰도에 제 2 가중치를 곱한값과 제 3 신뢰도에 제 3 가중치를 곱한값을 합산한 값으로서, 0 과 1 사이의 크기를 갖는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 장치
|
| 12 |
12
제 8 항에 있어서,상기 제 3 신뢰도는 상기 지식 베이스에 미리 설정된 값으로서, 이전에 존재하였던 제 1 감정 상태와 분류 대상 세그먼트의 음성 데이터가 가질 수 있는 제 2 감정 상태가 공존할 수 있는 확률을 나타내는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 장치
|
| 13 |
13
삭제
|
| 14 |
14
제 8 항에 있어서,상기 각 음성 데이터는 행복(happy), 슬픔(sad), 분노(angry), 공포(fear), 혐오(disgust), 지루함(boredom) 및 중립(neutral)의 7가지 감정 상태로 분류되는 것인, 음성신호에 기반한 사용자의 감정을 추정하는 장치
|
| 15 |
15
제 1 항 내지 제 4 항, 제 6 항 및 제 7 항 중 어느 한 항에 따른 음성신호에 기반한 사용자의 감정을 추정하는 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체
|
