| 1 |
1
사용자의 음성을 입력받는 음성감지부; 상기 사용자의 얼굴을 촬영하는 영상촬영부; 상기 사용자의 뇌파를 측정하는 뇌파측정부; 감성 학습정보를 저장하는 감성 데이터베이스; 상기 사용자가 발화하는 동안 상기 음성감지부, 상기 영상촬영부 및 상기 뇌파측정부로부터 입력되는 상기 음성, 촬영영상 및 상기 뇌파를 전처리하여 특징을 추출한 특징음성, 얼굴 랜드마크 및 특징뇌파를 융합하여 상기 감성 데이터베이스에 저장한 상기 감성 학습정보를 기반으로 딥러닝을 통해 상기 사용자의 감성을 인식하는 제어부; 및 상기 제어부에서 인식된 상기 감성을 출력하는 출력부;를 포함하되, 음성을 출력하는 스피커; 및 발화문과 발화에 대응한 응답문을 저장하는 질문 데이터베이스;를 더 포함하고, 상기 제어부는 상기 사용자의 발화를 인식하여 발화에 대응하는 상기 응답문에 대해 인식된 상기 감성을 적용하여 상기 스피커를 통해 출력하며, 상기 제어부는, 상기 음성, 상기 촬영영상 및 상기 뇌파를 입력받아 전처리하고 심층신경망으로 병합하여 특징을 추출한 상기 특징음성, 상기 얼굴 랜드마크 및 상기 특징뇌파를 각각 추출하는 전처리부; 상기 전처리부에서 추출된 상기 특징음성, 상기 얼굴 랜드마크 및 상기 특징뇌파를 융합하는 데이터 융합부; 및 상기 데이터 융합부에서 융합된 융합신호로부터 상기 감성 데이터베이스에 저장한 상기 감성 학습정보를 기반으로 딥러닝을 통해 상기 사용자의 감성을 인식하는 감성인식부;를 포함하고, 상기 전처리부는, 상기 음성을 입력받아 MFCC(Mel Frequency Cepstrum Coefficients) 기법을 통해 특징을 추출하여 심층신경망으로 병합하여 상기 특징음성을 추출하는 음성 전처리부; 상기 촬영영상을 입력받아 MTCNN(Multi-task cascaded CNN) 기법을 통해 얼굴영역을 검출하고 심층신경망으로 병합하여 상기 얼굴 랜드마크를 추출하는 영상 전처리부; 및 상기 뇌파측정부에서 측정된 각 채널에서의 상기 뇌파 입력에 대해 고속 푸리에 변환을 수행하고 특성 주파수대역별로 분류하여 평균과 표준편차를 산출하여 상기 특징뇌파를 추출하는 뇌파 전처리부;를 포함하며, 상기 제어부는 상기 사용자의 감성에 대해 인식할 수 있는 다수의 감성에 대한 각각의 비율로 인식하고, 각 비율의 합은 100%인 것을 특징으로 하는 엣지 컴퓨터 환경에서의 감성 인식 장치
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
제 1항에 있어서, 상기 감성은, 기쁨, 슬픔, 싫증, 두려움, 분노, 놀람 및 사랑 중 어느 하나 이상을 포함하는 것을 특징으로 하는 엣지 컴퓨터 환경에서의 감성 인식 장치
|
| 7 |
7
제어부가 사용자가 발화하는 음성, 촬영영상 및 뇌파를 입력받는 단계; 상기 제어부가 입력된 상기 음성, 상기 촬영영상 및 상기 뇌파를 전처리하여 특징음성, 얼굴 랜드마크 및 특징뇌파를 추출하는 단계; 상기 제어부가 상기 특징음성, 상기 얼굴 랜드마크 및 상기 특징뇌파를 데이터 융합하는 단계; 상기 제어부가 상기 융합된 데이터를 기반으로 딥러닝을 통해 상기 사용자의 감성을 인식하는 단계; 및 상기 제어부가 인식된 상기 감성을 출력하는 단계;를 포함하되, 상기 제어부가 상기 사용자의 발화에 대응하여 인식된 상기 감성을 적용하여 응답문을 출력하는 단계;를 더 포함하고, 상기 전처리하는 단계는, 상기 제어부가 상기 음성을 입력받아 MFCC(Mel Frequency Cepstrum Coefficients) 기법을 통해 특징을 추출하여 심층신경망으로 병합하여 상기 특징음성을 추출하는 단계; 상기 제어부가 상기 촬영영상을 입력받아 MTCNN(Multi-task cascaded CNN) 기법을 통해 얼굴영역을 검출하고 심층신경망으로 병합하여 상기 얼굴 랜드마크를 추출하는 단계; 및 상기 제어부가 뇌파측정부에서 측정된 각 채널에서의 상기 뇌파 입력에 대해 고속 푸리에 변환을 수행하고 특성 주파수대역별로 분류하여 평균과 표준편차를 산출하여 상기 특징뇌파를 추출하는 단계;를 포함하며, 상기 사용자의 감성을 인식하는 단계는, 상기 사용자의 상기 감성에 대해 인식할 수 있는 다수의 감성에 대한 각각의 비율로 인식하고, 각 비율의 합은 100%인 것을 특징으로 하는 엣지 컴퓨터 환경에서의 감성 인식 방법
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
삭제
|
| 11 |
11
제 7항에 있어서, 상기 감성은, 기쁨, 슬픔, 싫증, 두려움, 분노, 놀람 및 사랑 중 어느 하나 이상을 포함하는 것을 특징으로 하는 엣지 컴퓨터 환경에서의 감성 인식 방법
|
