| 1 |
1
개인화된 감정 인식을 위한 강인한 화자 적응 모델링 방법으로서,타겟 사용자로부터 초기에 획득된 감정 음성 데이터(이하 “타겟 사용자의 데이터”로 지칭함)가 미리 설정된 임계 개수보다 적으면서, 상기 타겟 사용자의 데이터의 감정 데이터가 부재 데이터가 아닌 경우, 미리 형성된 다수의 사용자에 대한 초기 모델(Initial Model)(이하 “초기 모델”로 지칭함)의 레이블된 데이터를 언레이블한 데이터 중에서 상기 타겟 사용자의 데이터의 감정별 데이터와 유사한 데이터를 선택하여 강화하는 단계, 또는 상기 타겟 사용자의 데이터가 상기 미리 설정된 임계 개수보다 적으면서, 상기 타겟 사용자의 데이터의 감정 데이터가 부재 데이터인 경우, 상기 초기 모델의 데이터 중에서 상기 타겟 사용자의 감정 데이터와 가장 유사한 사용자의 데이터 중 상기 타겟 사용자의 부재 데이터에 해당하는 감정에 대응하는 데이터를 선택하여 강화하는 단계, 또는상기 타겟 사용자의 데이터가 상기 미리 설정된 임계 개수 이상이면서, 상기 타겟 사용자의 감정별 데이터의 개수가 불균형 상태인 경우, 오버 샘플링 알고리즘을 사용한 가상 데이터 증강 방식으로 상기 타겟 사용자의 감정별 데이터를 강화하는 단계를 포함하는 화자 적응 모델링 방법
|
| 2 |
2
제1항에 있어서,상기 초기 모델의 레이블된 데이터를 언레이블한 데이터 중에서 상기 타겟 사용자의 데이터의 감정별 데이터와 유사한 데이터를 선택하여 강화하는 단계는,상기 타겟 사용자의 감정별 데이터의 특징 벡터값을 산출하는 단계,상기 타겟 사용자의 감정별 특징 벡터값의 평균값을 산출하는 단계,상기 타겟 사용자의 감정별 특징 벡터값의 평균값 사이의 거리를 산출하는 단계,산출된 거리에 기반하여 임계값을 설정하는 단계,상기 타겟 사용자의 감정별 특징 벡터값의 평균값을 기준으로 상기 임계값 이내의 범위 내에 속한 상기 초기 모델의 언레이블한 데이터를 선택하는 단계,선택된 초기 모델의 언레이블한 데이터와 상기 타겟 사용자의 감정별 특징 벡터값의 평균값 사이의 거리에 기초하여 상기 선택된 초기 모델의 언레이블한 데이터에 해당하는 감정을 확정하는 단계, 그리고상기 선택된 초기 모델의 언레이블한 데이터에 대해 확정된 감정으로 레이블 정제를 수행하는 단계를 포함하는, 화자 적응 모델링 방법
|
| 3 |
3
제2항에 있어서,상기 타겟 사용자의 감정별 특징 벡터값의 평균값은 MLE(Maximum Liklihood Estimation)에 의해 산출되는,화자 적응 모델링 방법
|
| 4 |
4
제2항에 있어서,상기 타겟 사용자의 감정별 특징 벡터값의 평균값 사이의 거리는 유클리디언 거리로서 산출되는, 화자 적응 모델링 방법
|
| 5 |
5
제2항에 있어서,상기 임계값은 상기 산출된 거리 중 최대가 되는 거리의 절반으로 설정되는,화자 적응 모델링 방법
|
| 6 |
6
제1항에 있어서,상기 타겟 사용자의 부재 데이터에 해당하는 감정에 대응하는 데이터를 선택하여 강화하는 단계는,상기 타겟 사용자의 감정별 데이터 각각에 대해 데이터 분포 요소를 산출하는 단계,상기 초기 모델의 사용자별로 감정별 데이터 각각에 대해 데이터 분포 요소를 산출하는 단계,상기 타겟 사용자의 감정별 데이터 각각에 대해 산출된 데이터 분포 요소와 상기 초기 모델의 사용자별로 감정별 데이터 각각에 대해 산출된 데이터 분포 요소 사이의 거리를 산출하는 단계,산출된 거리에 기초하여 상기 타겟 사용자와 상기 초기 모델의 사용자별 유사성을 산출하는 단계, 그리고산출된 유사성이 가장 높은 상기 초기 모델의 사용자의 데이터 중에서 상기 타겟 사용자의 부재 데이터에 해당하는 감정에 대응하는 상기 초기 모델의 사용자의 감정의 데이터를 선택하여 상기 타겟 사용자의 부재 데이터에 해당하는 감정의 데이터로서 강화하는 단계를 포함하는, 화자 적응 모델링 방법
|
| 7 |
7
제6항에 있어서,상기 데이터 분포 요소는 중앙값, 분산, 왜도 및 첨도를 포함하는,화자 적응 모델링 방법
|
| 8 |
8
제1항에 있어서,상기 오버 샘플링 알고리즘을 사용한 가상 데이터 증강 방식으로 상기 타겟 사용자의 감정별 데이터를 강화하는 단계는,상기 타겟 사용자의 감정별 데이터에 대한 불균형비를 산출하는 단계 ― 상기 불균형비는 상기 타겟 사용자의 감정별 데이터 중에서 가장 많은 개수와 가장 작은 개수의 비를 나타냄 ―, 그리고상기 불균형비가 미리 설정된 임계 비율 이상이어서 상기 타겟 사용자의 감정별 데이터가 불균형 상태임을 나타내는 경우, 상기 타겟 사용자의 감정별 데이터 중에서 가장 작은 개수의 감정 데이터에 대해 가상 데이터 증강 방식으로 가상 데이터를 생성하여 데이터를 강화하는 단계를 포함하는, 화자 적응 모델링 방법
|
| 9 |
9
제8항에 있어서,상기 가상 데이터 증강 방식은 minority class의 데이터를 합성하여 증강시키는 SMOTE(Synthetic Minority Oversampling Technique) 방식인,화자 적응 모델링 방법
|
| 10 |
10
개인화된 감정 인식을 위한 강인한 화자 적응 모델링 장치로서,미리 형성된 다수의 사용자에 대한 초기 모델(Initial Model)(이하 “초기 모델”로 지칭함)의 레이블된 데이터를 언레이블한 데이터 중에서 타겟 사용자로부터 초기에 획득된 감정 음성 데이터(이하 “타겟 사용자의 데이터”로 지칭함)의 감정별 데이터와 유사한 데이터를 선택하여 강화하는 제1 모델링부,상기 초기 모델의 데이터 중에서 상기 타겟 사용자의 감정 데이터와 가장 유사한 사용자의 데이터 중 상기 타겟 사용자의 부재 데이터에 해당하는 감정에 대응하는 데이터를 선택하여 강화하는 제2 모델링부,오버 샘플링 알고리즘을 사용한 가상 데이터 증강 방식으로 상기 타겟 사용자의 감정별 데이터를 강화하는 제3 모델링부, 그리고상기 타겟 사용자의 데이터가 미리 설정된 임계 개수보다 적으면서, 상기 타겟 사용자의 데이터의 감정 데이터가 부재 데이터가 아닌 경우 상기 제1 모델링부를 통한 데이터 강화를 수행시키거나, 또는 상기 타겟 사용자의 데이터가 상기 미리 설정된 임계 개수보다 적으면서, 상기 타겟 사용자의 데이터의 감정 데이터가 부재 데이터인 경우 상기 제2 모델링부를 통한 데이터 강화를 수행시키거나, 또는 상기 타겟 사용자의 데이터가 상기 미리 설정된 임계 개수 이상이면서, 상기 타겟 사용자의 감정별 데이터의 개수가 불균형 상태인 경우 상기 제3 모델링부를 통한 데이터 강화를 수행시키는 처리 제어부를 포함하는 화자 적응 모델링 장치
|
| 11 |
11
제10항에 있어서,상기 제1 모델링부는,상기 초기 모델의 레이블된 데이터를 언레이블시키거나, 또는 상기 초기 모델의 언레이블한 데이터 중 상기 타겟 사용자의 데이터로서 선택되는 경우 선택된 데이터에 대한 감정 레이블을 수행하는 레이블링기,상기 타겟 사용자의 감정별 데이터의 특징 벡터값을 산출하는 특징 벡터값 산출기,상기 타겟 사용자의 감정별 특징 벡터값의 평균값을 산출하는 평균값 산출기,상기 타겟 사용자의 감정별 특징 벡터값의 평균값 사이의 거리를 산출하거나, 또는 상기 초기 모델의 언레이블한 데이터와 상기 타겟 사용자의 감정별 특징 벡터값의 평균값 사이의 거리를 산출하는 거리 산출기, 상기 거리 산출기에 의해 산출된 거리에 기반하여 임계값을 산출하는 임계값 산출기, 상기 평균값 산출기에 의해 산출된 평균값을 기준으로 상기 임계값 이내의 범위 내에 속한 상기 초기 모델의 언레이블한 데이터를 선택하는 데이터 선택기, 그리고상기 데이터 선택기에 의해 선택된 초기 모델의 언레이블한 데이터와 상기 평균값 산출기에 의해 산출된 평균값 사이의 거리에 기초하여 상기 선택된 초기 모델의 언레이블한 데이터에 해당하는 감정을 확정하는 감정 확정기를 포함하는, 화자 적응 모델링 장치
|
| 12 |
12
제11항에 있어서,상기 임계값 산출기는 상기 거리 산출기에 의해 산출된 거리 중 최대가 되는 거리의 절반을 상기 임계값으로 산출하는,화자 적응 모델링 장치
|
| 13 |
13
제10항에 있어서,상기 제2 모델링부는,상기 타겟 사용자의 감정별 데이터 각각에 대해 데이터 분포 요소 및 상기 초기 모델의 사용자별로 감정별 데이터 각각에 대해 데이터 분포 요소를 산출하는 분포 요소 산출기, 상기 타겟 사용자의 감정별 데이터 각각에 대해 산출된 데이터 분포 요소와 상기 초기 모델의 사용자별로 감정별 데이터 각각에 대해 산출된 데이터 분포 요소 사이의 거리를 산출하는 거리 산출기, 상기 거리 산출기에 의해 산출된 거리에 기초하여 상기 타겟 사용자와 상기 초기 모델의 사용자별 유사성을 산출하는 유사성 산출기, 그리고, 산출된 유사성이 가장 높은 상기 초기 모델의 사용자의 데이터 중에서 상기 타겟 사용자의 부재 데이터에 해당하는 감정에 대응하는 상기 초기 모델의 사용자의 감정의 데이터를 선택하여 상기 타겟 사용자의 부재 데이터에 해당하는 감정의 데이터로서 강화하는 데이터 선택기를 포함하는, 화자 적응 모델링 장치
|
| 14 |
14
제13항에 있어서,상기 데이터 분포 요소는 중앙값, 분산, 왜도 및 첨도를 포함하는,화자 적응 모델링 장치
|
| 15 |
15
제10항에 있어서,상기 제3 모델링부는,상기 타겟 사용자의 감정별 데이터에 대한 불균형비를 산출하는 불균형비 산출기 ― 상기 불균형비는 상기 타겟 사용자의 감정별 데이터 중에서 가장 많은 개수와 가장 작은 개수의 비를 나타냄 ―, 그리고상기 불균형비가 미리 설정된 임계 비율 이상이어서 상기 타겟 사용자의 감정별 데이터가 불균형 상태임을 나타내는 경우, 상기 타겟 사용자의 감정별 데이터 중에서 가장 작은 개수의 감정 데이터에 대해 가상 데이터 증강 방식으로 가상 데이터를 생성하여 데이터를 강화하는 데이터 증강 수행기를 포함하는, 화자 적응 모델링 장치
|
