| 1 |
1
사용자의 긍정 반응 및 감정 상태 추정을 위해 사전에 학습된 학습 모델이 저장된 메모리; 및멀티 모달 데이터로부터 검출된 특징 벡터들을 기반으로 어텐션(attention) 연산을 수행하여 획득된 값들을 융합하여 출력 데이터를 생성하고, 상기 출력 데이터를 상기 학습 모델에 반영하여 사용자의 긍정 반응 및 감정 상태 중 적어도 하나를 추정하는 프로세서를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 2 |
2
청구항 1에 있어서,상기 프로세서는,상기 멀티 모달 데이터로부터 분류된 정보들을 전처리하여 특징 벡터들을 추출하는 인코더;상기 인코더로부터 추출된 특징 벡터들을 기반으로 생성된 출력 데이터를 사전에 학습된 긍정 반응 분석 모듈 및 복수 개의 감정 모델에 반영하여 획득한 결과값을 출력하는 어텐션 모듈; 및상기 어텐션 모듈로부터 출력된 결과값을 분류하여 상기 사용자의 긍정 반응 및 감정 상태 중 적어도 하나를 추정하는 분류기를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 3 |
3
청구항 2에 있어서,상기 인코더는,사용자의 영상 정보와 관련된 멀티 모달 데이터를 기반으로 제1 특징 벡터들을 검출하는 제1 인코더;상기 사용자의 음성 정보와 관련된 멀티 모달 데이터를 기반으로 제2 특징 벡터들을 검출하는 제2 인코더; 및상기 사용자의 텍스트 정보와 관련된 멀티 모달 데이터를 기반으로 제3 특징 벡터들을 검출하는 제3 인코더를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 4 |
4
청구항 3에 있어서,상기 어텐션 모듈은,복수 개의 레이어가 적층된 구조로 구성되어, 상기 복수 개의 레이어에 멀티 헤드 어텐션(Multi-head Attention) 및 피드 포워드 네트워크(Position-wise Feed Forward Network)를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 5 |
5
청구항 4에 있어서,상기 어텐션 모듈은,상기 멀티 헤드 어텐션을 이용하여 상기 특징 벡터들에 대한 어텐션 연산을 수행하며, 상기 특징 벡터들에 대한 쿼리(query), 키(key), 밸류(value)의 행렬을 생성하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 6 |
6
청구항 5에 있어서,상기 어텐션 모듈은,상기 특징 벡터가 3차원 행렬인 경우, 1x1 convolution layer를 이용하여 각 특징 벡터들에 대한 3차원의 쿼리(query), 키(key), 밸류(value)의 행렬을 생성하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 7 |
7
청구항 5에 있어서,상기 어텐션 모듈은,상기 특징 벡터들에 대한 상기 쿼리(query) 및 상기 키를 곱한 값에 기초하여 채널 점수를 계산하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 8 |
8
청구항 7에 있어서,상기 어텐션 모듈은,소프트맥스(softmax) 함수를 이용하여 상기 채널 점수의 각 엘리먼트들을 확률로 나타낸 값에 상기 밸류(value)를 가중합함으로써 어텐션 값을 계산하고, 상기 계산된 어텐션 값으로부터 히든 상태 정보를 생성하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 9 |
9
청구항 8에 있어서,상기 어텐션 모듈은,상기 복수 개의 레이어에서 계산된 상기 어텐션 값들을 융합하여 하나의 출력 데이터를 생성하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 10 |
10
청구항 9에 있어서,상기 어텐션 모듈은,상기 출력 데이터를 긍정 반응 분석 모델에 적용하여 상기 출력 데이터에 대한 긍정 반응 분석값을 상기 분류기로 출력하고,상기 분류기는,상기 긍정 반응 분석값을 사전에 정의된 긍정 반응에 대한 라벨 데이터와 비교하여 상기 사용자의 긍정 반응을 추정하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 11 |
11
청구항 10에 있어서,상기 긍정 반응에 대한 라벨 데이터는,사람의 긍정 반응을 학습하여 학습 결과에 따른 수치를 분류하여 라벨링한 데이터인 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 12 |
12
청구항 11에 있어서,상기 분류기는,상기 긍정 반응 분석값이 Label 0~2의 수치에 해당되면 사용자의 긍정 반응을 부정 상태(Negative)로 추정하고, 상기 긍정 반응 분석값이 Label 3의 수치에 해당되면 사용자의 긍정 반응을 중립 상태로 추정하고, 상기 긍정 반응 분석값이 Label 4~6의 수치에 해당되면 사용자의 긍정 반응이 긍정 상태(positive)로 추정하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 13 |
13
청구항 9에 있어서,상기 어텐션 모듈은,상기 출력 데이터를 상기 복수 개의 감정 모델에 적용하여 각 감정 모델에 대응되는 확률값을 상기 분류기로 출력하고,상기 분류기는,상기 각 감정 모델에 대응되는 확률값 중 가장 높은 확률값에 대응되는 감정 모델의 감정에 기초하여 상기 사용자의 감정 상태를 추정하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 14 |
14
청구항 13에 있어서,상기 복수 개의 감정 모델은,행복(Happiness), 슬픔(Sadness), 놀람(Surprise), 중립(Neutral), 공포(Fear), 혐오(Disgust), 분노(Anger)에 해당하는 감정 모델을 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 장치
|
| 15 |
15
멀티 모달 데이터로부터 검출된 특징 벡터들을 기반으로 어텐션(attention) 연산을 수행하여 획득된 값들을 융합하여 출력 데이터를 생성하는 단계: 및상기 출력 데이터를 학습 모델에 반영하여 사용자의 긍정 반응 및 감정 상태 중 적어도 하나를 추정하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 방법
|
| 16 |
16
청구항 15에 있어서,상기 출력 데이터를 생성하는 단계 이전에, 인코더를 이용하여 상기 멀티 모달 데이터로부터 분류된 정보들을 전처리하여 특징 벡터들을 추출하는 단계를 더 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 방법
|
| 17 |
17
청구항 16에 있어서,상기 특징 벡터들을 추출하는 단계는,사용자의 영상 정보와 관련된 멀티 모달 데이터를 기반으로 제1 특징 벡터들을 검출하는 단계;상기 사용자의 음성 정보와 관련된 멀티 모달 데이터를 기반으로 제2 특징 벡터들을 검출하는 단계; 및상기 사용자의 텍스트 정보와 관련된 멀티 모달 데이터를 기반으로 제3 특징 벡터들을 검출하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 방법
|
| 18 |
18
청구항 15에 있어서,상기 출력 데이터를 생성하는 단계는,복수 개의 레이어가 적층된 구조로 구성된 어텐션 모듈에서 각 레이어마다 상기 특징 벡터들에 대한 쿼리(query), 키(key), 밸류(value)의 행렬을 생성하는 단계;상기 특징 벡터들에 대한 상기 쿼리(query) 및 상기 키를 곱한 값에 기초하여 채널 점수를 계산하는 단계;소프트맥스(softmax) 함수를 이용하여 상기 채널 점수의 각 엘리먼트들을 확률로 나타낸 값에 상기 밸류(value)를 가중합함으로써 어텐션 값을 계산하고, 상기 계산된 어텐션 값으로부터 히든 상태 정보를 생성하는 단계; 및상기 복수 개의 레이어에서 계산된 상기 어텐션 값들을 융합하여 하나의 출력 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 방법
|
| 19 |
19
청구항 18에 있어서,상기 쿼리(query), 키(key), 밸류(value)의 행렬을 생성하는 단계는,상기 특징 벡터가 3차원 행렬인 경우, 1x1 convolution layer를 이용하여 각 특징 벡터들에 대한 3차원의 쿼리(query), 키(key), 밸류(value)의 행렬을 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 방법
|
| 20 |
20
청구항 15에 있어서,상기 추정하는 단계는,상기 출력 데이터를 긍정 반응 분석 모델에 적용하여 획득된 긍정 반응 분석값을 사전에 정의된 긍정 반응에 대한 라벨 데이터와 비교하여 상기 사용자의 긍정 반응을 추정하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 방법
|
| 21 |
21
청구항 15에 있어서,상기 추정하는 단계는,상기 출력 데이터를 복수 개의 감정 모델에 적용하여 각 감정 모델에 대응하여 획득된 확률값 중 가장 높은 확률값에 대응되는 감정 모델의 감정에 기초하여 상기 사용자의 감정 상태를 추정하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 사용자 상태 추정 방법
|
