| 1 |
1
입력된 얼굴 이미지로부터 감정을 식별하는 얼굴 감정 인식 장치에 있어서, 감정 인식 대상이 되는 얼굴 이미지를 입력받고, 입력된 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하며, 추출된 특징으로부터 순위에 따라 나열된 6개의 감정을 획득하고, 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 기하학적 변화량 추출부 및 감정분류부에 각각 전달하는 얼굴 특징 추출부, 상기 입력된 얼굴 이미지와 동일 인물에 대한 표정이 없는 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, CNN알고리즘에 의해 조합된 6개의 감정에 상기 좌표의 차이값을 적용하여 상위 2개의 감정에 대한 벡터값을 산출하는 기하학적 변화량 추출부, 그리고상기 얼굴 특징 추출부로부터 전달받은 상위 2개의 감정으로부터 산출된 감정 인식값과 상기 기하학적 변화량 추출부에서 산출된 벡터값에 각각 가중치를 부여하여 상위 2개 감정에 대한 각각의 결과값을 산출하며, 산출된 결과값 중 최고값을 가진 감정을 분류하는 감정 분류부를 포함하며,상기 얼굴 특징 추출부는,상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 이미지 입력모듈,상기 입력된 얼굴 이미지로부터 얼굴 영역을 분리하는 얼굴 영역 인식모듈, 상기 분리된 얼굴 이미지를 오토인코더(autoencoder)에 적용하여 상기 입력된 얼굴 이미지로부터 기본 얼굴 이미지를 생성하여 기하학적 변화량 추출부로 전달하는 얼굴 생성모듈, 상기 얼굴 영역만 분리된 얼굴 이미지에 블러링(blurring)을 적용하여 노이즈를 제거한 다음, LBP(local binary pattern) 알고리즘을 이용하여 주요 액션 유니트(action units) 위주로 얼굴의 주요 특징정보를 추출하는 얼굴 특징 추출모듈, 그리고상기 추출된 얼굴의 주요 특징정보를 CNN알고리즘에 적용하여 6가지의 감정 결과를 산출하고, 산출된 6가지의 감정 결과 중에서 상위 2개에 해당하는 감정을 기하학적 변화량 추출부 및 감정분류부에 각각 전달하는 판단모듈을 포함하고상기 감정 분류부는, 상기 얼굴 특징 추출부로부터 상위 2가지의 감정에 대한 정보를 전달받는 감정수신모듈,상기 얼굴 특징 추출부로부터 전달받은 상위 2가지의 감정을 감정 인식값으로 산출하여 정규화하는 인식값 산출모듈, 그리고상기 얼굴 특징 추출부의 상위 2가지의 감정에 대한 인식값과 상기 기하학적 변화량 추출부로부터 전달받은 상위 2가지의 감정에 대한 벡터값에 가중치를 부여하여 상기 상위 2가지의 감정에 대해 결과값을 산출하며, 산출된 결과값 중에서 최고 값이 부여된 감정을 상기 감정 인식 대상이 되는 얼굴 이미지에 대한 감정으로 결정하는 분류모듈을 포함하는 얼굴 감정 인식 장치
|
| 2 |
2
제1항에 있어서, 상기 감정은, 행복, 슬픔, 두려움, 혐오감, 놀람 및 분노를 포함한 6가지로 분류되는 얼굴 감정 인식 장치
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서, 상기 얼굴생성모듈은, 동일인에 대하여 표정이 있는 얼굴 이미지와 표정이 없는 기본 얼굴이미지를 이용하여 2개의 얼굴 이미지 사이의 특징값 차이로부터 발생되는 에러를 학습시켜 데이터셋을 생성하며, 상기 생성된 데이터셋이 적용된 오토인코더(autoencoder)를 이용하여 상기 감정 인식 대상이 되는 얼굴 이미지로부터 상기 기본 얼굴 이미지를 생성하는 얼굴 감정 인식 장치
|
| 5 |
5
삭제
|
| 6 |
6
제1항에 있어서, 상기 LBP 알고리즘은, 하기 수학식에 의해 산출되는 얼굴 감정 인식 장치: , 여기서, 는 입력된 얼굴 이미지에 선택된 현재의 픽셀이고, 는 의 이웃에 분포된 픽셀이고, 은 현재의 픽셀과 이웃의 픽셀을 비교하여 0 또는 1로 산출된 값이고, P는 8로, 비교하고자 하는 이웃 픽셀의 개수이다
|
| 7 |
7
제1항에 있어서, 상기 판단모듈은, 상기 LBP 알고리즘이 적용된 상기 입력된 얼굴 이미지에 복수의 컨볼루션(convolution)을 적용하여 6가지의 감정을 산출하고, 산출된 6가지의 감정 중에서 상위 2개에 해당하는 감정을 분류하는 얼굴 감정 인식 장치
|
| 8 |
8
제1항에 있어서, 상기 기하학적 변화량 추출부는, 상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 이미지 입력모듈,상기 입력된 얼굴 이미지와 상기 얼굴 생성모듈로부터 전달받은 기본 얼굴 이미지에 액션 유니트(action units)를 중심으로 특징점을 생성하는 특징점 생성모듈, 상기 생성된 특징점을 이용하여 상기 입력된 얼굴 이미지와 상기 기본 얼굴 이미지를 비교 판단하고, 차이가 발생된 특징점에 대한 좌표 차이를 이용하여 벡터값을 산출하는 벡터값 산출모듈, 그리고 상기 판단모듈로부터 수신된 상위 2개의 감정에 대응되며, 상기 벡터값 산출모듈에서 산출된 벡터값을 CNN알고리즘에 적용하여 조합된 6개의 감정 중에서 상위 2개에 해당하는 감정을 선택하는 감정결과 산출 모듈을 포함하는 얼굴 감정 인식 장치
|
| 9 |
9
제8항에 있어서, 상기 벡터값 산출모듈은,하기 수학식에 의해 벡터값을 산출하는 얼굴 감정 인식 장치:여기서, (, )는 표정이 있을 때의 특징점에 대한 좌표값이고, (, )는 표정이 없을 때의 특징점에 대한 좌표값이다
|
| 10 |
10
삭제
|
| 11 |
11
제1항에 있어서, 상기 감정 분류부는, 하기 수학식에 의해 상기 상위 2가지의 감정에 대해 결과값을 산출하는 얼굴 감정 인식 장치: 여기서, 는 얼굴 특징 추출부에서 추출된 감정에 대한 인식값이고, 는 기하학적 변화량 추출부에서 추출된 감정에 대한 벡터값이며, 는 가중치 값을 나타낸다
|
| 12 |
12
제11항에 있어서, 상기 가중치 값은 0
|
| 13 |
13
얼굴 감정 인식 장치를 이용하여 입력된 얼굴 이미지로부터 감정을 식별하는 방법에 있어서, 감정 인식 대상이 되는 얼굴 이미지로부터 얼굴 이미지 전체에 대한 특징을 추출하고, 상기 추출된 얼굴 특징으로부터 획득된 6개의 감정 중 상위 2개의 감정에 대한 정보를 추출하는 단계,상기 입력된 얼굴 이미지와 동일 인물에 대한 표정이 없는 기본 얼굴 이미지에 각각 부여된 특징점을 비교하여 좌표의 차이를 산출하고, 상기 산출된 좌표의 차이값을 CNN알고리즘에 적용하여 상위 2개의 감정에 대한 벡터값을 산출하는 단계, 그리고상기 얼굴 특징으로부터 산출된 상위 2개의 감정에 대한 인식값과 특징점의 차이를 이용하여 산출된 상위 2개의 감정에 대한 벡터값에 각각 가중치를 부여하여 상위 2개 감정에 대한 각각의 결과값을 산출하고, 산출된 결과값 중 최고값을 가진 감정을 최종 감정으로 분류하는 단계를 포함하며,상기 얼굴 특징을 이용하여 상위 2개의 감정에 대한 정보를 추출하는 단계는,상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 단계,상기 입력된 얼굴 이미지로부터 얼굴 영역을 분리하는 단계상기 분리된 얼굴 이미지를 오토인코더(autoencoder)에 적용하여 상기 입력된 얼굴 이미지로부터 기본 얼굴 이미지를 생성하는 단계, 상기 얼굴 영역만 분리된 얼굴 이미지에 블러링(blurring)을 적용하여 노이즈를 제거한 다음, LBP(local binary pattern) 알고리즘을 이용하여 주요 액션 유니트(action units) 위주로 얼굴의 주요 특징정보를 추출하는 단계, 그리고상기 추출된 얼굴의 주요 특징정보를 CNN알고리즘에 적용하여 6가지의 감정 결과를 산출하고, 산출된 6가지의 감정 결과 중에서 상위 2개에 해당하는 감정을 분류하는 단계를 포함하며, 상기 최종 감정을 분류하는 단계는, 상기 얼굴 특징으로부터 추출된 상위 2가지의 감정에 대한 정보를 전달받는 단계,상기 전달받은 상위 2가지의 감정을 인식값으로 산출하는 단계, 그리고상기 산출된 상위 2가지의 감정에 대한 인식값과 상기 특징점의 차이를 이용하여 산출된 상위 2개의 감정에 대한 벡터값에 가중치를 부여하여 상위 2가지의 감정에 대해 결과값을 산출하고, 산출된 결과값 중에서 최고 값이 부여된 감정을 상기 감정 인식 대상이 되는 얼굴 이미지에 대한 감정으로 결정하는 단계를 포함하는 얼굴 감정 인식 방법
|
| 14 |
14
제13항에 있어서, 상기 감정은, 행복, 슬픔, 두려움, 혐오감, 놀람 및 분노를 포함한 6가지로 분류되는 얼굴 감정 인식 방법
|
| 15 |
15
삭제
|
| 16 |
16
제13항에 있어서, 상기 기본 얼굴 이미지를 생성하는 단계는, 동일인에 대하여 표정이 있는 얼굴 이미지와 표정이 없는 기본 얼굴 이미지를 이용하여 2개의 얼굴 이미지 사이의 특징값 차이로부터 발생되는 에러를 학습시켜 데이터셋을 생성하는 단계, 그리고상기 생성된 데이터셋이 적용된 오토인코더(autoencoder)를 이용하여 상기 감정 인식 대상이 되는 얼굴 이미지로부터 기본 얼굴 이미지를 생성하는 단계를 포함하는 얼굴 감정 인식 방법
|
| 17 |
17
삭제
|
| 18 |
18
제13항에 있어서, 상기 LBP 알고리즘은, 하기 수학식에 의해 산출되는 얼굴 감정 인식 방법: , 여기서, 는 입력된 얼굴 이미지에 선택된 현재의 픽셀이고, 는 의 이웃에 분포된 픽셀이고, 은 현재의 픽셀과 이웃의 픽셀을 비교하여 0 또는 1로 산출된 값이고, P는 8로, 비교하고자 하는 이웃 픽셀의 개수이다
|
| 19 |
19
제13항에 있어서, 상기 상위 2개에 해당하는 감정을 분류하는 단계는, 상기 LBP 알고리즘이 적용된 상기 입력된 얼굴 이미지에 복수의 컨볼루션(convolution)을 적용하여 6가지의 감정을 산출하는 단계, 산출된 6가지의 감정 중에서 상위 2개에 해당하는 감정을 분류하는 단계를 포함하는 얼굴 감정 인식 방법
|
| 20 |
20
제13항에 있어서, 상기 상위 2개의 감정에 대한 벡터값을 산출하는 단계는, 상기 감정 인식 대상이 되는 얼굴 이미지를 입력받는 단계,상기 입력된 얼굴 이미지와 기본 얼굴 이미지에 액션 유니트(action units)를 중심으로 특징점을 생성하는 단계, 상기 생성된 특징점을 이용하여 상기 입력된 얼굴 이미지와 상기 기본 얼굴 이미지를 비교 판단하고, 차이가 발생된 특징점에 대한 좌표 차이를 이용하여 벡터값을 산출하는 단계, 그리고 상기 산출된 벡터값을 CNN알고리즘에 적용하여 조합된 6개의 감정 중에서 상위 2개에 해당하는 감정을 선택하는 단계를 포함하는 얼굴 감정 인식 방법
|
| 21 |
21
제20항에 있어서, 상기 벡터값을 산출하는 단계는,하기 수학식에 의해 벡터값을 산출하는 얼굴 감정 인식 방법: 여기서, (, )는 표정이 있을 때의 특징점에 대한 좌표값이고, (, )는 표정이 없을 때의 특징점에 대한 좌표값이다
|
| 22 |
22
삭제
|
| 23 |
23
제13항에 있어서, 상기 최종 감정을 분류하는 단계는, 하기 수학식에 의해 상기 상위 2가지의 감정에 대해 결과값을 산출하는 얼굴 감정 인식 방법: 여기서, 는 얼굴 특징 추출부에서 추출된 감정에 대한 인식값이고, 는 기하학적 변화량 추출부에서 추출된 감정에 대한 벡터값이며, 는 가중치 값을 나타낸다
|
| 24 |
24
제23항에 있어서, 상기 가중치 값은 0
|
