맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체

  • 기술번호 : KST2014057176
  • 담당센터 :
  • 전화번호 :
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 멀티 모달리티 감정인식 시스템 및 감정인식 방법에 관한 것으로서, 감정상태에 따라 다양하게 변하는 객체의 반응을 생체신호, 얼굴표정, 및 얼굴표면온도 등의 멀티 모달리티를 활용하여 동시에 병렬적으로 측정함으로써 객체가 느끼는 감정상태를 인식할 수 있는 멀티 모달리티 감정인식 발명에 관한 것이다. 이를 위해 제시된 자극에 대응하여 반응하는 객체(Object)의 반응을 멀티 모달리티를 통하여 측정하는 반응측정수단(100); 측정된 데이터로부터 감정인식에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 융합수단(200); 및 융합수단(200)에서 융합된 데이터에 기초하여 감정을 인식하는 감정인식수단(300);을 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템이 개시된다.
Int. CL A61B 5/02 (2006.01) A61B 5/00 (2006.01) G06F 3/01 (2006.01)
CPC A61B 5/00(2013.01) A61B 5/00(2013.01) A61B 5/00(2013.01) A61B 5/00(2013.01) A61B 5/00(2013.01) A61B 5/00(2013.01) A61B 5/00(2013.01)
출원번호/일자 1020110012724 (2011.02.14)
출원인 충남대학교산학협력단
등록번호/일자 10-1284561-0000 (2013.07.04)
공개번호/일자 10-2012-0092846 (2012.08.22) 문서열기
공고번호/일자 (20130711) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2011.02.14)
심사청구항수 16

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 충남대학교산학협력단 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 손진훈 대한민국 대전광역시 유성구
2 엄진섭 대한민국 충청북도 청주시 흥덕구
3 박혜준 대한민국 대전광역시 서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김문종 대한민국 서울특별시 강남구 삼성로**길*, *층(대치동 삼성빌딩)(특허법인 아이퍼스)
2 손은진 대한민국 서울특별시 강남구 삼성로**길*, *층(대치동 삼성빌딩)(특허법인 아이퍼스)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 엔에프엔 유한회사 서울특별시 관악구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2011.02.14 수리 (Accepted) 1-1-2011-0102290-55
2 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2011.05.31 수리 (Accepted) 4-1-2011-5108981-12
3 선행기술조사의뢰서
Request for Prior Art Search		 2012.05.14 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search		 2012.06.21 수리 (Accepted) 9-1-2012-0048059-56
5 의견제출통지서
Notification of reason for refusal		 2012.07.05 발송처리완료 (Completion of Transmission) 9-5-2012-0389310-69
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2012.08.24 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2012-0683195-76
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2012.08.24 수리 (Accepted) 1-1-2012-0683194-20
8 의견제출통지서
Notification of reason for refusal		 2013.01.08 발송처리완료 (Completion of Transmission) 9-5-2013-0015023-89
9 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2013.01.10 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2013-0026909-26
10 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2013.01.10 수리 (Accepted) 1-1-2013-0026907-35
11 등록결정서
Decision to grant		 2013.04.30 발송처리완료 (Completion of Transmission) 9-5-2013-0295865-94
12 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2013.12.26 수리 (Accepted) 4-1-2013-5174286-48
13 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2014.06.12 수리 (Accepted) 1-1-2014-0550903-90
14 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2015.09.01 수리 (Accepted) 4-1-2015-5116889-90
15 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2015.09.01 수리 (Accepted) 4-1-2015-5116888-44
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
제시된 자극에 대응하여 반응하는 객체(Object)의 반응을 멀티 모달리티를 통하여 측정하는 반응측정수단(100);측정된 데이터로부터 감정인식에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 융합수단(200); 및상기 융합수단(200)에서 융합된 데이터에 기초하여 감정을 인식하는 감정인식수단(300)을 포함하되,상기 반응측정수단(100)은,상기 객체의 감정이 자연스럽게 유발되도록 시각, 청각, 압각, 및 입력수단중 적어도 하나를 통하여 상기 자극을 제시하는 자극제시부(110); 및상기 자극제시부(110)에 대응하여 반응하는 상기 객체의 생체신호, 상기 객체의 얼굴 표정 및 상기 객체의 얼굴 열화상을 측정하는 측정부(120)를 포함하고,상기 측정부(120)는,상기 객체의 자율신경계 관련 반응인 심전도(ECG), 피부저항(EDA), 피부온도(SKT), 호흡(RESP), 및 맥파(PPG) 중 적어도 하나를 측정하여 상기 객체의 반응을 측정하는 생체신호측정부(121);상기 객체의 얼굴표정을 동영상 또는 정지영상 촬영하여 상기 객체의 반응을 측정하는 얼굴표정측정부(122); 및상기 객체의 얼굴 표면온도를 동영상 또는 정지영상으로 촬영하여 상기 객체의 반응을 측정하는 얼굴표면온도측정부(123)를 포함하며,상기 융합수단(200)은,상기 객체가 반응한 반응 데이터를 상기 측정부(120)로부터 입력받아 각 모달리티별 특징을 추출하는 특징추출부(210); 상기 추출한 특징을 바탕으로 각 모달리티별 감정을 분류하는 단일감정분류부(220); 및상기 각 모달리티별 감정분류에 기초하여 기 설정된 수치 이상의 분류율 또는 기 설정된 수치 이상의 확률지표를 갖는 특징을 추출하고 통합하여 새로운 특징을 갖는 특징융합과 상기 확률지표에 가중치를 부여하고 통합하여 새로운 특징을 갖는 결정융합을 형성하는 특징결정융합부(230)를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
2 2
제 1 항에 있어서,상기 반응측정수단(100)에서 측정된 데이터 및 상기 융합수단(200)에서 융합된 데이터를 저장하는 저장수단(400);을 더 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
3 3
삭제
4 4
제 1 항에 있어서,상기 입력수단은 키보드, 마우스, 및 펜 중 적어도 어느 하나인 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
5 5
제 1 항에 있어서,상기 자극은 기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 및 중성 중 적어도 어느 하나를 상기 객체가 표현하도록 하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
6 6
삭제
7 7
삭제
8 8
제 1 항에 있어서,상기 단일감정분류부(220)는 지도 학습 방법인 서포터 벡터 머신을 사용하여 상기 각 모달리티별 감정을 분류하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
9 9
제 1 항에 있어서,상기 특징추출부(210)는 상기 생체신호측정부(121)로부터 상기 객체의 반응 데이터를 입력받아 주성분 분석과 선형 판별 분석을 통하여 상기 객체의 생체신호 특징을 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
10 10
제 1 항에 있어서,상기 특징추출부(210)는 상기 얼굴표정측정부(122)로부터 상기 객체의 반응 데이터를 입력받아 하르-라이크 특징을 이용한 아다부스트(AdaBoost) 학습 알고리즘을 통해 상기 객체의 얼굴표정 특징을 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
11 11
제 10 항에 있어서,상기 객체의 얼굴표정 특징의 추출은 상기 객체의 눈, 코, 입, 눈썹의 액션 유닛을 추출하여 이들이 갖는 화소정보, 위치정보, 형태정보, 및 특징 벡터등으로부터 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
12 12
제 1 항에 있어서,상기 얼굴표면온도측정부(123)는 상기 객체의 코, 콧등, 왼쪽 눈, 오른쪽 눈, 이마, 왼쪽 뺨, 및 오른쪽 뺨 중 적어도 어느 하나를 포함한 영역의 온도를 측정하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
13 13
제 1 항에 있어서,상기 특징추출부(210)는 상기 얼굴표면온도측정부(123)로부터 상기 객체의 얼굴에 대한 복수 영역의 온도를 입력받고, 상기 복수 영역 중 각 영역에 대한 최고온도, 최저온도, 및 평균온도 중 적어도 어느 하나를 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
14 14
제 1 항에 있어서,상기 신호측정부(121), 상기 얼굴표정측정부(122), 및 상기 얼굴표면온도측정부(123)를 서로 동기시켜 상기 객체의 반응을 측정하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
15 15
제 1 항에 있어서,상기 특징추출부(210)는 각 모달리티별 특징을 융합하여 새로운 융합특징을 추출하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
16 16
제 1 항에 있어서,상기 감정인식수단(300)은,상기 특징융합과 상기 결정융합을 통해 생성한 특징과 확률지표에 기초하여 학습되는 베이시언 신경망 알고리즘을 이용하여 상기 객체가 반응한 감정을 분류하는 복합감정분류부(310); 및분류된 감정을 인식하여 출력하는 감정출력부(320);를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 시스템
17 17
반응측정수단(100)이 제시된 자극에 대응하여 반응하는 객체의 반응을 멀티 모달리티를 통하여 측정하는 단계(S610);융합수단(200)이 측정된 데이터로부터 감정분류에 필요한 특징 데이터를 추출하고, 추출된 특징 데이터를 서로 융합하는 단계(S620); 및감정인식수단(300)이 상기 융합수단(200)에서 융합된 데이터에 기초하여 감정을 인식하는 단계(S630)를 포함하되,상기 S610 단계는,자극제시부(110)가 상기 객체의 감정이 자연스럽게 유발되도록 시각, 청각, 압각, 및 입력수단 중 적어도 어느 하나를 통하여 상기 자극을 제시하는 단계; 및측정부(120)가 상기 자극제시부(110)에 대응하여 반응하는 상기 객체의 생체신호, 상기 객체의 얼굴 표정 및 상기 객체의 얼굴 열화상 중 적어도 어느 하나를 측정하는 단계를 포함하고,상기 S620 단계는,특징추출부(210)가 상기 객체가 반응한 반응 데이터를 상기 측정부(120)로부터 입력받아 각 모달리티별 특징을 추출하는 단계; 단일감정분류부(220)가 상기 추출한 특징을 바탕으로 각 모달리티별 감정을 분류하는 단계; 및특징결정융합부(230)가 상기 각 모달리티별 감정분류에 기초하여 기 설정된 수치 이상의 분류율 또는 기 설정된 수치 이상의 확률지표를 갖는 특징만을 추출하고 통합하여 새로운 특징을 갖는 특징융합과 상기 확률지표에 가중치를 부여하고 통합하여 새로운 특징을 갖는 결정융합을 형성하는 단계를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 방법
18 18
삭제
19 19
삭제
20 20
제 17 항에 있어서,상기 S630 단계는,복합감정분류부(310)가 상기 특징융합과 상기 결정융합을 통해 생성한 특징과 확률지표에 기초하여 학습되는 베이시언 신경망 알고리즘을 이용하여 상기 객체가 반응한 감정을 분류하는 단계; 및감정출력부(320)가 분류된 감정을 인식하여 출력하는 단계;를 포함하는 것을 특징으로 하는 멀티 모달리티 감정인식 방법
21 21
제 17 항 또는 제 20 항 중 어느 한 항에 따른 멀티 모달리티 감정인식 방법을 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부(The Minstry of Education, Science and Technology) 정부 신기술융합형 성장동력 사업 인간-기계 인터페이스를 위한 인지-감정 통합모델 개발(integrated cognitive-affective model for human computer interface)