맞춤기술찾기

이전대상기술

얼굴표정을 이용한 감정인식 장치 및 그 제어방법

  • 기술번호 : KST2014057289
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 얼굴표정을 이용한 감정인식 장치 및 그 제어방법에 대한 것으로서, 보다 상세하게는 객체의 얼굴표정 변화를 감지함으로써 객체가 느끼는 복수의 감정을 구별할 수 할 수 있는 얼굴표정을 이용한 감정인식 장치 및 감정인식 방법을 제공하기 위한 것이다. 본 발명의 일예와 관련된 얼굴표정을 이용한 감정인식장치는 기 설정된 기준에 따라 분류된 복수의 감정 각각에 대응하는 제 1 객체에 대한 제 1 영상을 획득하기 위한 카메라, 상기 제 1 영상 중 복수의 제 1 프레임을 사용자로부터 지정 받기 위한 사용자 입력부, 상기 제 1 프레임에 포함된 상기 제 1 객체의 얼굴을 인식하고, 상기 인식된 얼굴을 이용하여 상기 제 1 객체의 얼굴요소를 추출하며, 상기 얼굴요소를 이용하여 상기 복수의 감정 각각에 대한 변화 패턴을 추출하는 제어부와 상기 추출된 복수의 감정 각각에 대한 변화 패턴을 저장하는 메모리를 포함하되, 상기 카메라를 통해 상기 제 1 객체에 대한 제 2 영상이 획득되는 경우, 상기 제어부는, 상기 제 2 영상에 포함된 제 1 객체의 얼굴요소의 제 1 변화 패턴을 추출하고, 상기 메모리에 저장된 복수의 변화 패턴 중 상기 제 1 변화 패턴과 동일한 변화 패턴에 대응하는 감정이 상기 제 1 객체의 감정으로 판단되도록 제어할 수 있다.
Int. CL G06K 9/46 (2006.01) G06T 7/00 (2006.01)
CPC
출원번호/일자 1020120080060 (2012.07.23)
출원인 충남대학교산학협력단
등록번호/일자 10-1317047-0000 (2013.10.02)
공개번호/일자
공고번호/일자 (20131011) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2012.07.23)
심사청구항수 15

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 충남대학교산학협력단 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 손진훈 대한민국 대전 유성구
2 김응희 대한민국 서울 은평구
3 최상섭 대한민국 서울 강동구
4 이경민 대한민국 경기도 고양시 일산동구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김문종 대한민국 서울특별시 강남구 삼성로**길*, *층(대치동 삼성빌딩)(특허법인 아이퍼스)
2 손은진 대한민국 서울특별시 강남구 삼성로**길*, *층(대치동 삼성빌딩)(특허법인 아이퍼스)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 주식회사 아이즈솔 대전광역시 동구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2012.07.23 수리 (Accepted) 1-1-2012-0586730-06
2 선행기술조사의뢰서
Request for Prior Art Search
2013.04.02 수리 (Accepted) 9-1-9999-9999999-89
3 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2013.05.06 수리 (Accepted) 1-1-2013-0397101-54
4 선행기술조사보고서
Report of Prior Art Search
2013.05.09 수리 (Accepted) 9-1-2013-0036020-96
5 의견제출통지서
Notification of reason for refusal
2013.06.21 발송처리완료 (Completion of Transmission) 9-5-2013-0425078-39
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2013.07.09 수리 (Accepted) 1-1-2013-0615087-50
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2013.07.09 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2013-0615088-06
8 등록결정서
Decision to grant
2013.08.26 발송처리완료 (Completion of Transmission) 9-5-2013-0586011-78
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2013.12.26 수리 (Accepted) 4-1-2013-5174286-48
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2015.09.01 수리 (Accepted) 4-1-2015-5116888-44
11 출원인정보변경(경정)신고서
Notification of change of applicant's information
2015.09.01 수리 (Accepted) 4-1-2015-5116889-90
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
기 설정된 기준에 따라 분류된 복수의 감정 각각에 대응하는 제 1 객체에 대한 제 1 영상을 획득하기 위한 카메라;상기 제 1 영상 중 복수의 제 1 프레임을 사용자로부터 지정 받기 위한 사용자 입력부;상기 제 1 프레임에 포함된 상기 제 1 객체의 얼굴을 인식하고, 상기 인식된 얼굴을 이용하여 상기 제 1 객체의 얼굴요소를 추출하며, 상기 얼굴요소를 이용하여 상기 복수의 감정 각각에 대한 변화 패턴을 추출하는 제어부; 및상기 추출된 복수의 감정 각각에 대한 변화 패턴을 저장하는 메모리를 포함하되,상기 카메라를 통해 상기 제 1 객체에 대한 제 2 영상이 획득되는 경우, 상기 제어부는, 상기 제 2 영상에 포함된 제 1 객체의 얼굴요소의 제 1 변화 패턴을 추출하고, 상기 메모리에 저장된 복수의 변화 패턴 중 상기 제 1 변화 패턴과 동일한 변화 패턴 또는 상기 제 1 변화 패턴과 가장 유사한 변화 패턴에 대응하는 감정이 상기 제 1 객체의 감정으로 판단되도록 제어하고,ASM(Active Shape Model) 알고리즘을 이용하여 상기 제 1 객체의 얼굴요소를 추출하며,상기 제 1 영상 및 제 2 영상에 포함된 제 1 객체의 얼굴을 이용하여 복수의 X 좌표 및 Y 좌표 특징점을 추출하고, 상기 추출된 복수의 X 좌표 및 Y 좌표 특징점을 이용하여 상기 제 1 객체의 얼굴요소를 추출하고,은닉 마르코프 모델(Hidden Markov Model, HMM)을 이용하여, 상기 복수의 감정 각각에 대한 변화 패턴을 추출하는 것을 특징으로 하는, 얼굴표정을 이용한 감정인식장치
2 2
삭제
3 3
제 1항에 있어서,상기 기 설정된 기준에 따라 분류된 복수의 감정은 기쁨, 놀람, 슬픔, 분노, 공포 및 혐오 중 적어도 하나를 포함하는, 얼굴표정을 이용한 감정인식장치
4 4
제 1항에 있어서,상기 제 1 영상 및 제 2 영상은 상기 제 1 객체의 얼굴을 촬영한 동영상 데이터 또는 정지영상 데이터인 것을 특징으로 하는, 얼굴표정을 이용한 감정인식장치
5 5
제 1항에 있어서,상기 제 1 객체의 얼굴요소는 눈, 눈썹, 미간 및 입 중 적어도 어느 하나를 포함하는, 얼굴표정을 이용한 감정인식장치
6 6
삭제
7 7
삭제
8 8
제 1항에 있어서,상기 제 1 영상은 상기 사용자 입력부를 통해 9개의 구간으로 나누어지고,상기 복수의 제 1 프레임은 상기 9개의 구간 각각의 시작 프레임과 상기 9개의 구간 중 마지막 구간의 종료 프레임을 포함하는 10개의 프레임인 것을 특징으로 하는, 얼굴표정을 이용한 감정인식장치
9 9
삭제
10 10
기 설정된 기준에 따라 분류된 복수의 감정 각각에 대응하는 제 1 객체에 대한 제 1 영상을 획득하는 단계;상기 제 1 영상 중 복수의 제 1 프레임을 지정 받는 단계;상기 제 1 프레임에 포함된 상기 제 1 객체의 얼굴을 인식하는 단계;상기 인식된 얼굴을 이용하여 상기 제 1 객체의 얼굴요소를 추출하는 단계;상기 추출된 얼굴요소를 이용하여 상기 복수의 감정 각각에 대한 변화 패턴을 추출하는 단계;상기 추출된 복수의 감정 각각에 대한 변화 패턴을 저장하는 단계;상기 제 1 객체에 대한 제 2 영상이 획득하는 단계;상기 제 2 영상에 포함된 제 1 객체의 얼굴요소의 제 1 변화 패턴을 추출하는 단계; 및상기 저장된 복수의 변화 패턴 중 상기 제 1 변화 패턴과 동일한 변화 패턴 또는 상기 제 1 변화 패턴과 가장 유사한 변화 패턴에 대응하는 감정을 상기 제 1 객체의 감정으로 판단하는 단계를 포함하되,상기 제 1 객체의 얼굴요소는 ASM(Active Shape Model) 알고리즘을 이용하여 추출되고,상기 제 1 객체의 얼굴요소를 추출하는 단계는,상기 제 1 영상 및 제 2 영상에 포함된 제 1 객체의 얼굴을 이용하여 복수의 X 좌표 및 Y 좌표 특징점을 추출하는 단계; 및상기 추출된 복수의 X 좌표 및 Y 좌표 특징점을 이용하여 상기 제 1 객체의 얼굴요소를 추출하는 단계를 포함하며,은닉 마르코프 모델(Hidden Markov Model, HMM)을 이용하여, 상기 복수의 감정 각각에 대한 변화 패턴을 추출하는 것을 특징으로 하는, 얼굴표정을 이용한 감정인식방법
11 11
삭제
12 12
제 10항에 있어서,상기 기 설정된 기준에 따라 분류된 복수의 감정은 기쁨, 놀람, 슬픔, 분노, 공포 및 혐오 중 적어도 하나를 포함하는, 얼굴표정을 이용한 감정인식방법
13 13
제 10항에 있어서,상기 제 1 영상 및 제 2 영상은 상기 제 1 객체의 얼굴을 촬영한 동영상 데이터 또는 정지영상 데이터인 것을 특징으로 하는, 얼굴표정을 이용한 감정인식방법
14 14
제 10항에 있어서,상기 제 1 객체의 얼굴요소는 눈, 눈썹, 미간 및 입 중 적어도 어느 하나를 포함하는, 얼굴표정을 이용한 감정인식방법
15 15
삭제
16 16
삭제
17 17
제 10항에 있어서,상기 제 1 영상 중 복수의 제 1 프레임을 지정 받는 단계는,상기 제 1 영상이 9개의 구간으로 나누어지는 단계; 및상기 9개의 구간 각각의 시작 프레임과 상기 9개의 구간 중 마지막 구간의 종료 프레임을 포함하는 10개의 프레임이 상기 복수의 제 1 프레임으로 지정되는 단계를 포함하는 것을 특징으로 하는, 얼굴표정을 이용한 감정인식방법
18 18
삭제
19 19
얼굴표정을 이용하여 감정을 인식하는 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있고, 상기 디지털 처리 장치에 의해 판독될 수 있는 기록매체에 있어서,상기 얼굴표정을 이용하여 감정을 인식하는 방법은,기 설정된 기준에 따라 분류된 복수의 감정 각각에 대응하는 제 1 객체에 대한 제 1 영상을 획득하는 단계;상기 제 1 영상 중 복수의 제 1 프레임을 지정 받는 단계;상기 제 1 프레임에 포함된 상기 제 1 객체의 얼굴을 인식하는 단계;상기 인식된 얼굴을 이용하여 상기 제 1 객체의 얼굴요소를 추출하는 단계;상기 추출된 얼굴요소를 이용하여 상기 복수의 감정 각각에 대한 변화 패턴을 추출하는 단계;상기 추출된 복수의 감정 각각에 대한 변화 패턴을 저장하는 단계;상기 제 1 객체에 대한 제 2 영상이 획득하는 단계;상기 제 2 영상에 포함된 제 1 객체의 얼굴요소의 제 1 변화 패턴을 추출하는 단계; 및상기 저장된 복수의 변화 패턴 중 상기 제 1 변화 패턴과 동일한 변화 패턴 또는 상기 제 1 변화 패턴과 가장 유사한 변화 패턴에 대응하는 감정을 상기 제 1 객체의 감정으로 판단하는 단계를 포함하되,상기 제 1 객체의 얼굴요소는 ASM(Active Shape Model) 알고리즘을 이용하여 추출되고,상기 제 1 객체의 얼굴요소를 추출하는 단계는,상기 제 1 영상 및 제 2 영상에 포함된 제 1 객체의 얼굴을 이용하여 복수의 X 좌표 및 Y 좌표 특징점을 추출하는 단계; 및상기 추출된 복수의 X 좌표 및 Y 좌표 특징점을 이용하여 상기 제 1 객체의 얼굴요소를 추출하는 단계를 포함하며,은닉 마르코프 모델(Hidden Markov Model, HMM)을 이용하여, 상기 복수의 감정 각각에 대한 변화 패턴을 추출하는 것을 특징으로 하는, 기록매체
20 20
삭제
21 21
제 19항에 있어서,상기 기 설정된 기준에 따라 분류된 복수의 감정은 기쁨, 놀람, 슬픔, 분노, 공포 및 혐오 중 적어도 하나를 포함하는, 기록매체
22 22
제 19항에 있어서,상기 제 1 영상 및 제 2 영상은 상기 제 1 객체의 얼굴을 촬영한 동영상 데이터 또는 정지영상 데이터인 것을 특징으로 하는, 기록매체
23 23
제 19항에 있어서,상기 제 1 객체의 얼굴요소는 눈, 눈썹, 미간 및 입 중 적어도 어느 하나를 포함하는, 기록매체
24 24
삭제
25 25
삭제
26 26
제 19항에 있어서,상기 제 1 영상 중 복수의 제 1 프레임을 지정 받는 단계는,상기 제 1 영상이 9개의 구간으로 나누어지는 단계; 및상기 9개의 구간 각각의 시작 프레임과 상기 9개의 구간 중 마지막 구간의 종료 프레임을 포함하는 10개의 프레임이 상기 복수의 제 1 프레임으로 지정되는 단계를 포함하는, 기록매체
27 27
삭제
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US20140022370 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US2014022370 US 미국 DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육과학기술부 충남대학교 첨단융합기술개발 인간-기계 인터페이스를 위한 인지-감정 통합모델 개발