| 1 |
1
감정 인식 방법으로서,얼굴이 포함된 이미지를 획득하는 단계;상기 이미지의 전처리(preprocess)를 수행하는 단계;상기 얼굴에 나타난 감정을 추정하도록 미리 훈련된 다수의 심층 신경망 모델을 적용하여 상기 이미지에 나타난 감정을 출력하는 단계; 및상기 다수의 심층 신경망 모델로부터의 출력값들에 가중 다수결(weighted majority voting)을 수행하여, 상기 얼굴이 나타내는 감정을 판단하는 단계를 포함하는,감정 인식 방법
|
| 2 |
2
제 1 항에 있어서,상기 이미지를 획득하는 단계는,상기 이미지에 포함된 얼굴 후보영역을 추출하는 단계;상기 얼굴 후보영역의 정확도를 산출하는 단계; 및상기 얼굴 후보영역의 정확도에 기초하여 최종 얼굴 영역을 결정하는 단계를 포함하는,감정 인식 방법
|
| 3 |
3
제 1 항에 있어서,상기 이미지의 전처리를 수행하는 단계는,상기 이미지를 회색조(grayscale) 이미지로 변환하는 단계; 및상기 회색조 이미지를 정수 도메인을 취하는 임의의 차원의 행렬로 변환하는 단계를 포함하는,감정 인식 방법
|
| 4 |
4
제 1 항에 있어서,상기 다수의 미리 훈련된 심층 신경망 모델은 제 1 타입의 신경망 모델 그룹 및 제 2 타입의 신경망 모델 그룹을 포함하고,상기 제 1 타입의 신경망 모델 그룹은, 입력된 이미지를 전체적으로 분석하여 감정을 출력하는 제 1 타입의 신경망 모델, 입력된 이미지의 하위 레벨 특징을 추출하여 감정을 출력하는 제 1 타입의 하위-레벨(low-level) 신경망 모델, 입력된 이미지의 중간 레벨 특징을 추출하여 감정을 출력하는 제 1 타입의 중간-레벨(mid-level) 신경망 모델 및 입력된 이미지의 상위 레벨 특징을 추출하여 감정을 출력하는 제 1 타입의 상위-레벨(high-level) 신경망 모델을 포함하고,상기 제 2 타입의 신경망 모델 그룹은, 입력된 이미지를 전체적으로 분석하여 감정을 출력하는 제 2 타입의 신경망 모델, 입력된 이미지의 하위 레벨 특징을 추출하여 감정을 출력하는 제 2 타입의 하위-레벨 신경망 모델, 입력된 이미지의 중간 레벨 특징을 추출하여 감정을 출력하는 제 2 타입의 중간-레벨 신경망 모델 및 입력된 이미지의 상위 레벨 특징을 추출하여 감정을 출력하는 제 2 타입의 상위-레벨 신경망 모델을 포함하는,감정 인식 방법
|
| 5 |
5
제 4 항에 있어서,상기 제 1 타입의 하위-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 1 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되고, 상기 제 1 타입의 중간-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 2 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되며, 상기 제 1 타입의 상위-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 3 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되고,상기 제 2 타입의 하위-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 1 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되며, 상기 제 2 타입의 중간-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 2 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되고, 상기 제 2 타입의 상위-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 3 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되며,상기 제 1 사이즈의 윈도우는 상기 제 2 사이즈의 윈도우보다 작고, 상기 제 3 사이즈의 윈도우는 상기 제 2 사이즈의 윈도우보다 큰,감정 인식 방법
|
| 6 |
6
제 4 항에 있어서,상기 제 1 타입의 신경망 모델은 ResNet이고,상기 제 2 타입의 신경망 모델은 VGGNet인,감정 인식 방법
|
| 7 |
7
제 5 항에 있어서,상기 제 1 사이즈의 윈도우는 얼굴의 이목구비의 일부의 선을 포함하는 사이즈이고,상기 제 2 사이즈의 윈도우는 이목구비 각각을 포함하는 사이즈이며,상기 제 3 사이즈의 윈도우는 상기 얼굴 전체를 포함하는 사이즈인,감정 인식 방법
|
| 8 |
8
제 4 항에 있어서,상기 감정을 판단하는 단계는,각각의 신경망 모델로부터의 출력값에 가중 다수결 기반 가중치들를 부여하여 설정된 감정들 중 하나의 감정을 결정하는 단계를 포함하는,감정 인식 방법
|
| 9 |
9
제 8 항에 있어서,상기 설정된 감정들은 분노(Anger), 행복(Happiness), 놀람(Surprise), 역겨움(Disgust), 슬픔(Sadness), 공포(Fear) 및 중립(Neutral)으로 분류되는,감정 인식 방법
|
| 10 |
10
감정 인식 장치로서,얼굴이 포함된 이미지를 수신하는 통신 인터페이스;하나 이상의 프로세서; 및상기 하나 이상의 프로세서와 연결되는 메모리를 포함하고,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,상기 이미지의 전처리(preprocess)를 수행하고, 상기 얼굴에 나타난 감정을 추정하도록 미리 훈련된 다수의 심층 신경망 모델을 적용하여 상기 이미지에 나타난 감정을 출력하며, 상기 다수의 심층 신경망 모델로부터의 출력값들에 가중 다수결(weighted majority voting)을 수행하여, 상기 얼굴이 나타내는 감정을 판단하도록 야기하는(cause) 코드들을 저장하는,감정 인식 장치
|
| 11 |
11
제 10 항에 있어서,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,상기 이미지에 포함된 얼굴 후보영역을 추출하고, 상기 얼굴 후보영역의 정확도를 산출하며, 상기 얼굴 후보영역의 정확도에 기초하여 최종 얼굴 영역을 결정하도록 야기하는 코드들을 저장하는,감정 인식 방법
|
| 12 |
12
제 10 항에 있어서,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,상기 이미지를 회색조(grayscale) 이미지로 변환하고, 상기 회색조 이미지를 정수 도메인을 취하는 임의의 차원의 행렬로 변환하여 상기 이미지의 전처리를 수행하도록 야기하는 코드들을 저장하는,감정 인식 장치
|
| 13 |
13
제 10 항에 있어서,상기 다수의 미리 훈련된 심층 신경망 모델은 제 1 타입의 신경망 모델 그룹 및 제 2 타입의 신경망 모델 그룹을 포함하고,상기 제 1 타입의 신경망 모델 그룹은, 입력된 이미지를 전체적으로 분석하여 감정을 출력하는 제 1 타입의 신경망 모델, 입력된 이미지의 하위 레벨 특징을 추출하여 감정을 출력하는 제 1 타입의 하위-레벨(low-level) 신경망 모델, 입력된 이미지의 중간 레벨 특징을 추출하여 감정을 출력하는 제 1 타입의 중간-레벨(mid-level) 신경망 모델 및 입력된 이미지의 상위 레벨 특징을 추출하여 감정을 출력하는 제 1 타입의 상위-레벨(high-level) 신경망 모델을 포함하고,상기 제 2 타입의 신경망 모델 그룹은, 입력된 이미지를 전체적으로 분석하여 감정을 출력하는 제 2 타입의 신경망 모델, 입력된 이미지의 하위 레벨 특징을 추출하여 감정을 출력하는 제 2 타입의 하위-레벨 신경망 모델, 입력된 이미지의 중간 레벨 특징을 추출하여 감정을 출력하는 제 2 타입의 중간-레벨 신경망 모델 및 입력된 이미지의 상위 레벨 특징을 추출하여 감정을 출력하는 제 2 타입의 상위-레벨 신경망 모델을 포함하는,감정 인식 장치
|
| 14 |
14
제 13 항에 있어서,상기 제 1 타입의 하위-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 1 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되고, 상기 제 1 타입의 중간-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 2 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되며, 상기 제 1 타입의 상위-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 3 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되고,상기 제 2 타입의 하위-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 1 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되며, 상기 제 2 타입의 중간-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 2 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되고, 상기 제 2 타입의 상위-레벨 신경망 모델은 상기 입력된 이미지의 얼굴에서 제 3 사이즈의 윈도우 내의 특징 영역을 기초로 상기 얼굴이 나타내는 감정을 판단하도록 구성되며,상기 제 1 사이즈의 윈도우는 상기 제 2 사이즈의 윈도우보다 작고, 상기 제 3 사이즈의 윈도우는 상기 제 2 사이즈의 윈도우보다 큰,감정 인식 장치
|
| 15 |
15
제 13 항에 있어서,상기 제 1 타입의 신경망 모델은 ResNet이고,상기 제 2 타입의 신경망 모델은 VGGNet인,감정 인식 장치
|
| 16 |
16
제 14 항에 있어서,상기 제 1 사이즈의 윈도우는 얼굴의 이목구비의 일부의 선을 포함하는 사이즈이고,상기 제 2 사이즈의 윈도우는 이목구비 각각을 포함하는 사이즈이며,상기 제 3 사이즈의 윈도우는 상기 얼굴 전체를 포함하는 사이즈인,감정 인식 장치
|
| 17 |
17
제 13 항에 있어서,상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,각각의 신경망 모델로부터의 출력값에 가중 다수결 기반 가중치들를 부여하여 설정된 감정들 중 하나의 감정을 결정하여, 상기 감정을 판단하도록 야기하는 코드들을 저장하는,감정 인식 장치
|
| 18 |
18
제 17 항에 있어서,상기 설정된 감정들은 분노(Anger), 행복(Happiness), 놀람(Surprise), 역겨움(Disgust), 슬픔(Sadness), 공포(Fear) 및 중립(Neutral)으로 분류되는,감정 인식 장치
|
