| 1 |
1
사용자의 얼굴 표정을 이용하여 기 설정된 기준에 따라 분류된 복수의 감정을 인식할 수 있는 단말기에 있어서,상기 사용자의 얼굴을 포함하는 제 1 영상을 촬영하기 위한 카메라 모듈;상기 복수의 감정과 관련된 페이셜 유닛(Facial Unit)을 저장하는 메모리;상기 제 1 영상을 수신받고, 상기 페이셜 유닛과 상기 제 1 영상을 이용하여 상기 복수의 감정 중 상기 사용자의 감정을 인식할 수 있는 감정 인식 수단;시각정보를 표시하는 디스플레이부, 청각정보를 출력하는 음향 출력 모듈, 진동을 발생시키는 햅틱 모듈 및 후각정보를 발생시키는 방향부로 구성된 출력부; 및상기 사용자로부터 상기 단말기에 내장 설치된 감정 인식 어플리케이션의 동작에 관한 명령을 입력받기 위한 입력부;를 포함하되,상기 페이셜 유닛은 상기 복수의 감정 각각에 대응하는 복수의 얼굴요소의 패턴에 대한 정보이고,상기 사용자가 상기 입력부를 이용하여 상기 감정 인식 어플리케이션의 실행 명령을 입력하는 경우, 상기 감정 인식 수단과 관련된 소정의 실행창이 상기 디스플레이부에 표시되어 상기 제 1 영상의 촬영을 유도하고, 상기 출력부는 상기 제 1 영상에 기초하여 인식된 상기 사용자의 감정에 대응하는 반응을 출력하며,상기 감정 인식 수단은,상기 제 1 영상에 촬영된 객체 중 상기 사용자의 얼굴을 검출하는 검출부;상기 검출된 사용자의 얼굴에서 특징점을 추출하는 정렬부; 및상기 추출된 특징점을 이용하여 상기 복수의 얼굴요소를 추출하고, 상기 추출된 복수의 얼굴요소 각각에 대한 패턴을 조합하며, 상기 조합된 패턴을 상기 페이셜 유닛과 비교하여 상기 사용자의 감정을 판단하는 인식부;를 더 포함하고,상기 정렬부는,상기 제 1 영상을 구성하는 복수의 프레임에 대하여 회귀(Regression) 함수를 적용하여 상기 복수의 얼굴요소를 추출하되,상기 복수의 프레임 중 임의로 선택된 하나인 제 1 프레임에 상기 회귀 함수가 적용된 결과는 상기 제 1 프레임보다 시간상으로 뒤진 제 2 프레임에 대한 상기 회귀 함수의 적용에 사용되는 것을 특징으로 하는 단말기
|
| 2 |
2
사용자의 얼굴 표정을 이용하여 기 설정된 기준에 따라 분류된 복수의 감정을 인식할 수 있는 단말기에 있어서,상기 사용자의 얼굴을 포함하는 제 1 영상을 촬영하기 위한 카메라 모듈;상기 복수의 감정과 관련된 페이셜 유닛(Facial Unit)을 저장하는 메모리;상기 제 1 영상을 수신받고, 상기 페이셜 유닛과 상기 제 1 영상을 이용하여 상기 복수의 감정 중 상기 사용자의 감정을 인식할 수 있는 감정 인식 수단;시각정보를 표시하는 디스플레이부, 청각정보를 출력하는 음향 출력 모듈, 진동을 발생시키는 햅틱 모듈 및 후각정보를 발생시키는 방향부로 구성된 출력부; 및상기 사용자로부터 상기 단말기에 내장 설치된 감정 인식 어플리케이션의 동작에 관한 명령을 입력받기 위한 입력부;를 포함하되,상기 페이셜 유닛은 상기 복수의 감정 각각에 대응하는 복수의 얼굴요소의 패턴에 대한 정보이고,상기 사용자가 상기 입력부를 이용하여 상기 감정 인식 어플리케이션의 실행 명령을 입력하는 경우, 상기 감정 인식 수단과 관련된 소정의 실행창이 상기 디스플레이부에 표시되어 상기 제 1 영상의 촬영을 유도하고, 상기 출력부는 상기 제 1 영상에 기초하여 인식된 상기 사용자의 감정에 대응하는 반응을 출력하며,상기 사용자가 상기 입력부를 이용하여 상기 실행창에 표시된 업데이트 실행 명령을 입력하는 경우, 상기 메모리에 상기 사용자에 대한 상기 페이셜 유닛이 추가적으로 저장되는 것을 특징으로 하는 단말기
|
| 3 |
3
제 1항 또는 제 2항에 있어서,상기 반응은,상기 디스플레이부에서의 제 1 자료 표시, 상기 음향 출력 모듈에서의 음향 출력, 상기 햅틱 모듈에서 소정 세기와 패턴을 갖는 진동의 발생 및 상기 방향부에서 발생되는 향기 중 적어도 하나를 포함하고,상기 제 1 자료는 기 설정된 텍스트, 배경화면 및 이모티콘 중 적어도 하나인 것을 특징으로 하는 단말기
|
| 4 |
4
제 1항 또는 제 2항에 있어서,상기 실행창은 상기 사용자로부터 촬영 정보를 입력받아 상기 제 1 영상의 촬영에 이용하고,상기 촬영 정보는, 상기 제 1 영상의 촬영 시작 시점 및 상기 제 1 영상이 촬영되는 시간 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 단말기
|
| 5 |
5
삭제
|
| 6 |
6
제 1항에 있어서,상기 메모리에 저장된 상기 페이셜 유닛은 AdaBoost 알고리즘을 이용하여 학습된 정보이고,상기 인식부는 상기 AdaBoost 알고리즘을 이용하여 상기 사용자의 감정을 판단하는 것을 특징으로 하는 단말기
|
| 7 |
7
제 1항에 있어서,상기 인식부는,상기 메모리에 저장된 상기 페이셜 유닛 중 상기 조합된 패턴과 동일한 패턴 또는 가장 유사한 패턴에 대응하는 감정을 상기 사용자의 감정으로 판단하는 것을 특징으로 하는 단말기
|
| 8 |
8
삭제
|
| 9 |
9
제 1항 또는 제 2항에 있어서,상기 기 설정된 기준에 따라 분류된 복수의 감정은,중립, 기쁨, 분노, 놀람, 공포 및 혐오 중 적어도 하나를 포함하는 것을 특징으로 하는 단말기
|
| 10 |
10
제 1항 또는 제 2항에 있어서,상기 복수의 얼굴요소는,눈썹, 눈, 코 및 입을 포함하는 것을 특징으로 하는 단말기
|
| 11 |
11
제 1항 또는 제 2항에 있어서,상기 사용자가 상기 단말기를 이용하여 상대방과 통화 중인 경우,상기 단말기는 상기 감정 인식 수단을 이용하여 상기 상대방의 감정을 인식하고,상기 출력부는 상기 인식된 상대방의 감정에 대응하여 반응을 출력하는 것을 특징으로 하는 단말기
|
| 12 |
12
사용자의 얼굴 표정을 이용하여 기 설정된 기준에 따라 분류된 복수의 감정을 인식할 수 있는 단말기를 제어하는 방법에 있어서,상기 사용자로부터 상기 단말기에 내장 설치된 감정 인식 어플리케이션의 실행 명령을 입력받는 제 1 단계;감정 인식 수단과 관련된 소정의 실행창이 디스플레이부에 표시되는 제 2 단계;상기 사용자가 상기 사용자의 얼굴을 포함하는 제 1 영상에 대한 촬영 정보를 입력하는 제 3 단계;상기 제 1 영상이 촬영되는 제 4 단계;상기 감정 인식 수단으로 상기 제 1 영상이 전송되는 제 5 단계;상기 감정 인식 수단이 페이셜 유닛(Facial Unit)과 상기 제 1 영상을 이용하여 상기 복수의 감정 중 상기 사용자의 감정을 인식하는 제 6 단계; 및출력부가 상기 제 1 영상에 기초하여 인식된 상기 사용자의 감정에 대응하는 반응을 출력하는 제 7 단계;를 포함하되,상기 페이셜 유닛은 상기 복수의 감정 각각에 대응하는 복수의 얼굴요소의 패턴에 대한 정보이고, 상기 출력부는 시각정보를 표시하는 상기 디스플레이부, 청각정보를 출력하는 음향 출력 모듈, 진동을 발생시키는 햅틱 모듈 및 후각정보를 발생시키는 방향부로 구성되며,상기 제 6 단계는,상기 제 1 영상에 촬영된 객체 중 상기 사용자의 얼굴을 검출하는 단계;상기 검출된 상기 사용자의 얼굴에서 특징점을 추출하는 단계;상기 추출된 특징점을 이용하여 상기 복수의 얼굴요소를 추출하는 단계;상기 추출된 복수의 얼굴요소 각각에 대한 패턴을 조합하는 단계; 및 상기 조합된 패턴을 상기 페이셜 유닛과 비교하여 상기 사용자의 감정을 판단하는 단계;를 더 포함하고,상기 제 6 단계에서는,상기 제 1 영상을 구성하는 복수의 프레임에 대하여 회귀(Regression) 함수를 적용하여 상기 복수의 얼굴요소를 추출하되, 상기 복수의 프레임 중 임의로 선택된 하나인 제 1 프레임에 상기 회귀 함수가 적용된 결과는 상기 제 1 프레임보다 시간상으로 뒤진 제 2 프레임에 대한 상기 회귀 함수의 적용에 사용되는 것을 특징으로 하는 단말기의 제어방법
|
| 13 |
13
제 12항에 있어서,상기 반응은,상기 디스플레이부에서의 제 1 자료 표시, 상기 음향 출력 모듈에서의 음향 출력, 상기 햅틱 모듈에서 소정 세기와 패턴을 갖는 진동의 발생 및 상기 방향부에서 발생되는 향기 중 적어도 하나를 포함하고,상기 제 1 자료는 기 설정된 텍스트, 배경화면 및 이모티콘 중 적어도 하나인 것을 특징으로 하는 단말기의 제어방법
|
| 14 |
14
삭제
|
| 15 |
15
제 12항에 있어서,상기 기 설정된 기준에 따라 분류된 복수의 감정은,중립, 기쁨, 분노, 놀람, 공포 및 혐오 중 적어도 하나를 포함하는 것을 특징으로 하는 단말기의 제어방법
|
| 16 |
16
제 12항에 있어서,상기 복수의 얼굴요소는,눈썹, 눈, 코 및 입을 포함하는 것을 특징으로 하는 단말기의 제어방법
|
