맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

멀티 모달 데이터 기반 표정인식방법 및 장치

  • 기술번호 : KST2018011618
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 CNN 모델을 이용한 학습을 통하여 CNN 모델 표정 데이터베이스를 구축하는 단계; SVM 모델을 이용한 학습을 통하여 SVM 모델 표정 데이터베이스를 구축하는 단계; 인식용 이미지에 대하여 CNN 모델을 이용한 표정데이터 획득단계; 인식용 이미지에 대하여 SVM 모델을 이용한 표정데이터 획득단계; 상기 CNN 모델을 이용한 표정데이터에 대해 상기 CNN 모델 표정 데이터베이스를 검색하여 가장 근접한 CNN 모델 표정 분류 데이터를 추출하고, 상기 추출된 CNN 모델 표정 분류 데이터에 제1 가중치를 가산하여 CNN 모델 가중치 연산 표정데이터를 산출하는 단계; 상기 SVM 모델을 이용한 표정데이터에 대해 상기 SVM 모델 표정 데이터베이스 검색하여 가장 근접한 SVM 모델 표정 분류 데이터 값을 추출하고, 상기 추출된 SVM 모델 표정 분류 데이터에 제2 가중치를 가산하여 SVM 모델 가중치 연산 표정데이터 값을 산출하는 단계; 및 상기 CNN 모델 가중치 연산 표정데이터 값과 SVM 모델 가중치 연산 표정데이터 값을 결합하여 최종 인식용 표정 데이터를 산출하고, 가장 확률이 높은 값을 선택하여 표정을 인식하는 표정인식단계; 를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 표정인식방법이 제공된다.
Int. CL G06T 7/33 (2017.01.01) G06K 9/00 (2006.01.01) G06N 3/08 (2006.01.01) G06F 17/30 (2006.01.01)
CPC G06T 7/337(2013.01) G06T 7/337(2013.01) G06T 7/337(2013.01) G06T 7/337(2013.01) G06T 7/337(2013.01) G06T 7/337(2013.01)
출원번호/일자 1020170019996 (2017.02.14)
출원인 영남대학교 산학협력단
등록번호/일자
공개번호/일자 10-2018-0093632 (2018.08.22) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2017.02.14)
심사청구항수 9

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 영남대학교 산학협력단 대한민국 경상북도 경산시

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이찬수 대한민국 대구광역시 수성구
2 김민현 대한민국 대구광역시 서구
3 김진철 대한민국 경상북도 경산시 대학

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인이지 대한민국 서울특별시 금천구 가산디지털*로 ***(가산동, KCC웰츠밸리) ***-***

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 영남대학교 산학협력단 경상북도 경산시
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2017.02.14 수리 (Accepted) 1-1-2017-0151724-24
2 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2017.11.03 수리 (Accepted) 4-1-2017-5175631-14
3 선행기술조사의뢰서
Request for Prior Art Search		 2017.12.12 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search		 2018.02.06 수리 (Accepted) 9-1-2018-0004980-80
5 의견제출통지서
Notification of reason for refusal		 2018.02.21 발송처리완료 (Completion of Transmission) 9-5-2018-0127560-17
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2018.04.12 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0366554-80
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2018.04.12 수리 (Accepted) 1-1-2018-0366536-68
8 등록결정서
Decision to grant		 2018.08.21 발송처리완료 (Completion of Transmission) 9-5-2018-0564549-97
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.10.23 수리 (Accepted) 4-1-2019-5220555-67
10 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.12.07 수리 (Accepted) 4-1-2020-5277862-17
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
비디오 영상, 또는 정지영상으로부터 다양한 모양 및 표정의 학습용 영상 데이터를 획득하는 학습용 영상 데이터 획득 단계;상기 학습용 영상 데이터에 대해 기준 영상에 맞추어 일정 규격으로 정규화시키는 학습이미지 정규화 단계;상기 정규화 단계를 거친 이미지에 대하여 제1 인식모델을 이용한 학습을 통하여 제1 인식모델 학습용 표정데이터를 획득하여 제1모델 표정 데이터베이스를 구축하는 단계;상기 정규화 단계를 거친 이미지에 대하여 제2 인식모델을 이용한 학습을 통하여 제2 인식모델 학습용 표정데이터를 획득하여 제2모델 표정 데이터베이스를 구축하는 단계;비디오 영상, 또는 정지영상으로부터 인식용 영상 데이터를 획득하는 인식용 영상 데이터 획득 단계;상기 인식용 영상 데이터에 대해 기준 영상에 맞추어 일정 규격으로 정규화시키는 인식 이미지 정규화 단계;상기 인식 이미지 정규화 단계를 거친 이미지에 대하여 제1 인식모델을 이용한 표정데이터 획득단계;상기 인식 이미지 정규화 단계를 거친 이미지에 대하여 제2 인식모델을 이용한 표정데이터 획득단계;상기 제1 인식모델을 이용한 표정데이터에 대해 상기 제1모델 표정 데이터베이스를 검색하여 가장 근접한 제1 인식모델 표정 분류 데이터를 추출하고, 상기 추출된 제1 인식모델 표정 분류 데이터에 제1 가중치를 가산하여 제1 모델 가중치 연산 표정데이터를 산출하는 단계;상기 제2 인식모델을 이용한 표정데이터에 대해 상기 제2모델 표정 데이터베이스 검색하여 가장 근접한 제2 인식모델 표정 분류 데이터를 추출하고, 상기 추출된 제2 인식모델 표정 분류 데이터에 제2 가중치를 가산하여 제2 모델 가중치 연산 표정데이터를 산출하는 단계; 및 상기 제1 모델 가중치 연산 표정데이터와 상기 제2 모델 가중치 연산 표정데이터를 결합하여 최종 인식용 표정 데이터를 산출하고, 가장 확률이 높은 값을 선택하여 표정을 인식하는 표정인식단계; 를 포함하는 것을 특징으로 하되,상기 제1 가중치와 제2 가중치는 상기 제1 인식모델을 이용한 표정데이터와 상기 제2 인식모델을 이용한 표정데이터의 실제 표정에 대한 weight 비를 나타내는 것을 특징으로 하는 멀티 모달 데이터 기반 표정인식방법
2 2
제1항에 있어서,상기 제1 인식모델 학습용 표정데이터는, 상기 학습 이미지 정규화 단계를 거친 이미지로부터 움직임의 변화인 모션을 얻기 위해 조밀한 점들의 움직임에 대한 모션 플로우를 산출하는 옵티컬 모션 플로우 산출단계; 및상기 옵티컬 모션 플로우 산출단계에서 산출된 해에 따라 표정에 대한 모션플로우 이미지를 형성하는 RGB시각화 단계; 를 포함하며,상기 제2 인식모델 학습용 표정데이터는, 상기 학습 이미지 정규화 단계를 거친 이미지로부터 눈, 코, 입, 턱선이 포함된 Landmark 좌표를 산출하는 Landmark 좌표 산출단계; 및 상기 산출된 Landmark 좌표를 하나의 표정영상에 대해 현재 프레임과 이전 프레임의 변화량을 계산하고, 각각의 좌표에 해당하는 변화량의 Intensity값과 Angle 값에 따른 벡터 데이터를 산출하는 벡터데이터 산출단계; 를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 표정인식방법
3 3
제2항에 있어서,상기 제1 인식모델을 이용한 표정데이터 획득단계는 상기 인식 이미지 정규화 단계를 거친 이미지로부터 움직임의 변화인 모션을 얻기 위해 조밀한 점들의 움직임에 대한 모션 플로우를 산출하는 옵티컬 모션 플로우 산출단계; 및 상기 옵티컬 모션 플로우 산출단계에서 산출된 해에 따라 표정에 대한 모션플로우 이미지를 형성하는 RGB시각화 단계; 를 포함하며,상기 제2 인식모델을 이용한 표정데이터 획득단계는,상기 인식 이미지 정규화 단계를 거친 이미지로부터 눈, 코, 입, 턱선이 포함된 Landmark 좌표를 산출하는 Landmark 좌표 산출단계; 및 상기 산출된 Landmark 좌표를 하나의 표정영상에 대해 현재 프레임과 이전 프레임의 변화량을 계산하고, 각각의 좌표에 해당하는 변화량의 Intensity값과 Angle 값에 따른 벡터 데이터를 산출하는 벡터데이터 산출단계; 를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 표정인식방법
4 4
제3항에 있어서,상기 모션 플로우는 다음 식의 해에 의하여 산출되는 것을 특징으로 하는 멀티 모달 데이터 기반 표정인식방법
5 5
제3항에 있어서,상기 벡터데이터 산출단계는 다음 식에 의하여 산출되는 것을 특징으로 하는 멀티 모달 데이터 기반 표정인식방법
6 6
삭제
7 7
제3항에 있어서,상기 제1 가중치는 0
8 8
제3항에 있어서,상기 제1 가중치는 0
9 9
제1항에 있어서,상기 멀티 모달 데이터 기반 표정인식방법에 의한 표정인식의 인식률은 상기 제1 인식모델을 이용한 표정인식방법에 의한 표정인식의 인식률 또는 상기 제2 인식모델을 이용한 표정인식방법에 의한 표정인식의 인식률보다 높은 것을 특징으로 하는 멀티 모달 데이터 기반 표정인식방법
10 10
제1항의 표정인식방법을 수행하는 표정인식장치는,상기 학습용 영상 데이터를 획득하여 제1 인식모델 및 제2 인식 모델을 이용한 제1, 2 인식모델 학습용 표정데이터를 획득하는 학습용 영상획득부;상기 학습용 영상획득부에서 획득한 제1, 2 인식모델 학습용 표정데이터를 학습하여 구축하는 상기 제1 모델 표정 데이터베이스 및 상기 제2 모델 표정 데이터베이스를 포함하는 표정학습부;상기 인식용 영상 데이터를 획득하여 상기 제1 인식모델 및 제2 인식 모델을 이용한 제1, 2 인식모델 인식용 표정데이터를 획득하는 인식용 영상획득부; 및상기 인식용 영상획득부에서 획득한 제1, 2 인식모델 인식용 표정데이터에 대해 상기 제1 모델 표정 데이터베이스 및 제1, 2 모델 표정 데이터베이스를 이용하여 표정을 인식하는 표정인식부; 를 포함하는 것을 특징으로 하는 멀티 모달 데이터 기반 표정인식장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부 영남대학교 산학협력단 수송기기특화조명 핵심기술개발 전문인력양성사업 자동차 조명용 LED-IT융합핵심기술 전문인력양성
2 미래창조과학부 영남대학교 산학협력단 연구성과사업화지원 기술업그레이드 R＆D 아동정서지능검사를 위한 표정 인식 시스템