맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법

  • 기술번호 : KST2019021373
  • 담당센터 : 인천기술혁신센터
  • 전화번호 : 032-420-3580
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법이 개시된다. 일 실시예에 따른 표정 인식 방법은, 영상 정보에 존재하는 얼굴 정보로부터 랜드마크 특징을 생성하는 단계; 및 상기 생성된 랜드마크 특징을 딥 러닝 네트워크를 이용하여 학습을 수행함에 따라 획득한 학습 결과에 기초하여 상기 얼굴 정보의 표정 변화를 검출하는 단계를 포함할 수 있다.
Int. CL G06K 9/00 (2006.01.01) G06N 3/08 (2006.01.01) G06N 3/04 (2006.01.01) G06T 3/40 (2006.01.01)
CPC G06K 9/00308(2013.01) G06K 9/00308(2013.01) G06K 9/00308(2013.01) G06K 9/00308(2013.01) G06K 9/00308(2013.01) G06K 9/00308(2013.01) G06K 9/00308(2013.01)
출원번호/일자 1020180043344 (2018.04.13)
출원인 인하대학교 산학협력단
등록번호/일자
공개번호/일자 10-2019-0130179 (2019.11.22) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.04.13)
심사청구항수 3

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 인하대학교 산학협력단 대한민국 인천광역시 미추홀구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 송병철 서울특별시 양천구
2 최동윤 인천광역시 남구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 인하대학교 산학협력단 인천광역시 미추홀구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2018.04.13 수리 (Accepted) 1-1-2018-0370543-27
2 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2018.12.27 수리 (Accepted) 4-1-2018-5266647-91
3 선행기술조사의뢰서
Request for Prior Art Search		 2019.03.15 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search		 2019.05.10 발송처리완료 (Completion of Transmission) 9-6-2019-0052354-84
5 의견제출통지서
Notification of reason for refusal		 2020.01.02 발송처리완료 (Completion of Transmission) 9-5-2020-0003534-14
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2020.02.24 수리 (Accepted) 1-1-2020-0190949-31
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2020.02.24 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0190950-88
8 등록결정서
Decision to grant		 2020.07.20 발송처리완료 (Completion of Transmission) 9-5-2020-0493016-89
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
표정 인식 장치에서 수행되는 표정 인식 방법에 있어서,영상 정보에 존재하는 얼굴 정보로부터 상기 얼굴 정보와 관련된 랜드마크 정보를 합성함에 따라 랜드마크 특징을 생성하는 단계; 및 상기 생성된 랜드마크 특징을 딥 러닝 네트워크를 이용하여 학습을 수행함에 따라 획득한 학습 결과에 기초하여 상기 얼굴 정보의 표정 변화를 검출하는 단계를 포함하고,상기 영상 정보에 존재하는 얼굴 정보로부터 상기 얼굴 정보와 관련된 랜드마크 정보를 합성함에 따라 랜드마크 특징을 생성하는 단계는,상기 영상 정보에 존재하는 인접한 두 개의 프레임에서 추출된 랜드마크 정보를 이용하여 각 랜드마크 사이 간 거리 정보를 영상 형태의 2차원 정보로 변환하고, 상기 변환된 2차원 정보를 정규화하여 프레임 단위의 랜드마크 특징을 생성함에 따라 얼굴 표정의 크기에 상관없이 감정에 따라 영상 정보의 패턴을 출력하는 단계를 포함하고, 상기 얼굴 정보의 표정 변화를 검출하는 단계는,상기 랜드마크 특징을 CNN을 이용하여 학습함에 따라 1차원 특징 벡터를 생성하고, 상기 생성된 1차원 특징 벡터를 LSTM(long short-term memory) 네트워크를 이용하여 학습된 학습 결과를 소프트맥스(Softmax)를 통해 얼굴 정보의 표정에 대한 감정을 분류하고, 상기 랜드마크 특징에 기초하여 랜드마크 정보들의 위치가 변화하는 크기 정보를 측정하여 상기 얼굴의 표정의 세기를 판단하는 단계를 포함하는 표정 인식 방법
2 2
삭제
3 3
삭제
4 4
제1항에 있어서,상기 딥 러닝 네트워크는,CNN(convolutional neural network)-LSTM(long short-term memory) 네트워크를 이용하여 구성되는 것을 포함하고, 상기 얼굴 정보의 표정 변화를 검출하는 단계는,상기 CNN(convolutional neural network)-LSTM(long short-term memory) 네트워크를 이용하여 상기 얼굴 정보의 감정을 분류하는 단계를 포함하고,상기 CNN(convolutional neural network)와 상기 LSTM(long short-term memory) 네트워크가 별도로 학습되는, 표정 인식 방법
5 5
삭제
6 6
삭제
7 7
표정 인식 장치에 있어서,영상 정보에 존재하는 얼굴 정보로부터 상기 얼굴 정보와 관련된 랜드마크 정보를 합성함에 따라 랜드마크 특징을 생성하는 생성부; 및 상기 생성된 랜드마크 특징을 딥 러닝 네트워크를 이용하여 학습을 수행함에 따라 상기 얼굴 정보의 표정 변화를 검출하는 분류부를 포함하고,상기 생성부는, 상기 영상 정보에 존재하는 인접한 두 개의 프레임에서 추출된 랜드마크 정보를 이용하여 각 랜드마크 사이 간 거리 정보를 영상 형태의 2차원 정보로 변환하고, 상기 변환된 2차원 정보를 정규화하여 프레임 단위의 랜드마크 특징을 생성함에 따라 얼굴 표정의 크기에 상관없이 감정에 따라 영상 정보의 패턴을 출력하는 것을 포함하고, 상기 분류부는, 상기 랜드마크 특징을 CNN을 이용하여 학습함에 따라 1차원 특징 벡터를 생성하고, 상기 생성된 1차원 특징 벡터를 LSTM(long short-term memory) 네트워크를 이용하여 학습된 학습 결과를 소프트맥스(Softmax)를 통해 얼굴 정보의 표정에 대한 감정을 분류하고, 상기 랜드마크 특징에 기초하여 랜드마크 정보들의 위치가 변화하는 크기 정보를 측정하여 상기 얼굴의 표정의 세기를 판단하는 표정 인식 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부 인하대학교산학협력단 산업핵심기술개발사업 (1차년도) 인간 내면상태의 인식 및 이를 이용한 인간친화형 인간-로봇 상호작용 기술 개발
2 과학기술정보통신부 인하대학교 핵심연구 [Ezbaro] 멀티 광각카메라 기반 영상처리를 이용한 안티드론 기술 개발