| 1 |
1
감정 인식 시스템에 의해 수행되는 감정 인식 방법에 있어서, 비디오 신호 및 전기적 생체 신호로부터 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크를 통하여 추출된 특징 정보를 융합하는 융합 네트워크를 구축하는 단계;상기 구축된 융합 네트워크에서 비디오 신호와 전기적 생체 신호 각각의 특징 정보를 이용하여 파악된 각 신뢰도에 기초하여 상기 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크를 통하여 출력된 발란스 데이터들에 대한 각각의 가중치를 결정하는 단계; 및 상기 출력된 발란스 데이터들에 대하여 결정된 각각의 가중치를 반영하여 최종 발란스 값이 출력 데이터로서 출력되는 단계를 포함하고, 상기 감정 인식 방법은,상기 비디오 신호에 대한 모달리티 네트워크, 상기 전기적 생체 신호에 대한 모달리티 네트워크 및 상기 융합 네트워크가 별도로 학습되는 감정 인식 방법
|
| 2 |
2
제1항에 있어서,상기 비디오 신호 및 상기 전기적 생체 신호로부터 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크에 기반하여 발란스 데이터들을 출력하는 단계를 더 포함하는 감정 인식 방법
|
| 3 |
3
제2항에 있어서,상기 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크는,영상 기반의 모달리티 네트워크 및 전기적 생체 신호 기반의 모달리티 네트워크를 포함하고,상기 영상 기반의 모달리티 네트워크는, 영상 시퀀스로부터 얼굴 이미지를 획득하고, 상기 획득된 얼굴 이미지를 딥 컨볼루션 인코더(deep convolution encoder)를 이용하여 특징을 추출하고, 추출된 특징을 LSTM을 통해 회귀(regression)를 수행하는 것을 포함하고, 상기 비디오 신호 및 전기적 생체 신호로부터 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크에 기반하여 발란스 데이터들을 출력하는 단계는,상기 획득된 얼굴 이미지를 CNN 기반의 딥 컨볼루션 인코더를 이용하여 이미지 정보를 1차원 특징 벡터로 변환하고, 상기 변환된 1차원 특징 벡터를 LSTM 네트워크를 통과시켜 영상 시퀀스의 발란스 값을 출력하는 단계를 포함하는 감정 인식 방법
|
| 4 |
4
제3항에 있어서, 상기 비디오 신호 및 전기적 생체 신호로부터 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크에 기반하여 발란스 데이터들을 출력하는 단계는,상기 변환된 1차원 특징 벡터가 FC(fully connected) layer를 통과하여 특징 벡터의 차원 정보가 조정되고, 상기 차원 정보가 조정된 특징 벡터를 LSTM을 통하여 학습시킴에 따라 출력된 숨은 상태 벡터(hidden state vector)를 FC(fully connected) layer에 재통과시켜 영상 시퀀스의 발란스 값을 출력하는 단계를 포함하는 감정 인식 방법
|
| 5 |
5
제2항에 있어서,상기 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크는,영상 기반의 모달리티 네트워크 및 전기적 생체 신호 기반의 모달리티 네트워크를 포함하고,상기 전기적 생체 신호 기반의 모달리티 네트워크는, 복수 개의 FC layer 구성된 전기적 생체 신호 기반의 모달리티 네트워크에서 하나의 FC layer를 제외한 나머지 FC layer 들 각각이 BN(batch normalization), DO(dropout), ReLU의 순서로 연결되는 것을 포함하고,상기 비디오 신호 및 전기적 생체 신호로부터 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크에 기반하여 발란스 데이터들을 출력하는 단계는,전기적 생체 신호로부터 구성된 생체 시퀀스로부터 각 주파수 대역 별로 PSD(power spectral density) 분석을 통하여 전기적 생체 신호 특징을 추출하고, 상기 추출된 전기적 생체 신호 특징을 상기 전기적 생체 신호 기반의 모달리티 네트워크에 입력하여 전기적 생체 신호에 대한 발란스 값을 출력하는 단계를 포함하는 감정 인식 방법
|
| 6 |
6
제1항에 있어서,상기 각각의 가중치를 결정하는 단계는,상기 비디오 신호에 대한 모달리티 네트워크와 상기 전기적 생체 신호에 대한 모달리티 네트워크를 통하여 출력된 출력 데이터를 기준값과 비교하여 기 설정된 기준 이하의 오차일 경우 가중치를 1, 기 설정된 기준 이상의 오차일 경우 가중치를 0으로 결정하여 학습을 수행하는 단계를 포함하는 감정 인식 방법
|
| 7 |
7
제1항에 있어서,상기 각각의 가중치를 결정하는 단계는,상기 구축된 융합 네트워크에서 비디오 신호와 전기적 생체 신호 각각의 특징 정보를 이용하여 신뢰도를 파악하는 단계를 포함하고,상이한 구조로 구성된 상기 비디오 신호에 대한 모달리티 네트워크 및 상기 전기적 생체 신호에 대한 모달리티 네트워크의 특징 정보를 상기 구축된 융합 네트워크의 입력으로 사용되는감정 인식 방법
|
| 8 |
8
감정 인식 시스템에 있어서, 비디오 신호 및 전기적 생체 신호로부터 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크에 기반하여 발란스 데이터들을 출력하는 제1 출력부; 상기 비디오 신호 및 전기적 생체 신호로부터 비디오 신호 및 전기적 생체 신호 각각에 대한 모달리티 네트워크를 통하여 추출된 특징 정보를 융합하는 융합 네트워크를 구축하는 네트워크 구축부;상기 구축된 융합 네트워크에서 비디오 신호와 전기적 생체 신호 각각의 특징 정보를 이용하여 파악된 각 신뢰도에 기초하여 상기 출력된 발란스 데이터들에 대한 각각의 가중치를 결정하는 가중치 결정부; 및 상기 출력된 발란스 데이터들에 대하여 결정된 각각의 가중치를 반영하여 최종 발란스 값이 출력 데이터로서 출력되는 제2 출력부를 포함하고, 상기 감정 인식 시스템은,상기 비디오 신호에 대한 모달리티 네트워크, 상기 전기적 생체 신호에 대한 모달리티 네트워크 및 상기 융합 네트워크가 별도로 학습되는 감정 인식 시스템
|
