맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

얼굴 표정 인식 시스템

  • 기술번호 : KST2021000904
  • 담당센터 : 인천기술혁신센터
  • 전화번호 : 032-420-3580
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명의 일 실시형태에 따른 얼굴 표정 인식 시스템은, 입력 동영상으로부터 전체 시퀀스와 개별 프레임을 이용하여 시공간 정보를 갖는 장면 특징과 지역적 외형 특징을 동시에 추출한다. 장면 특징은 영상 내의 전반적인 표정의 변화를 가지고, 외형 특징은 각 프레임에 나타나는 세부적인 정보를 내포한다. 본 발명의 일 실시형태에 따른 얼굴 표정 인식 시스템은, 장면 특징과 외형 특징을 얼리(early) 융합하여 얼굴 표정을 추출함으로써 인위적인 환경의 영상 뿐만 아니라 낮은 조도와 포즈 변화가 포함된 실제 환경의 동영상에서도 매우 강인하게 동작할 수 있다.
Int. CL G06K 9/00 (2006.01.01) G06T 7/11 (2017.01.01) G06N 3/08 (2006.01.01) G06N 3/04 (2006.01.01)
CPC G06K 9/00302(2013.01) G06K 9/00268(2013.01) G06T 7/11(2013.01) G06N 3/08(2013.01) G06N 3/0454(2013.01)
출원번호/일자 1020190095385 (2019.08.06)
출원인 현대자동차주식회사, 기아자동차주식회사, 인하대학교 산학협력단
등록번호/일자
공개번호/일자 10-2021-0018600 (2021.02.18) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 N
심사청구항수 13

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 현대자동차주식회사 대한민국 서울특별시 서초구
2 기아자동차주식회사 대한민국 서울특별시 서초구
3 인하대학교 산학협력단 대한민국 인천광역시 미추홀구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 심현철 경기도 수원시 권선구
2 최동윤 인천광역시 미추홀구
3 이민규 서울특별시 구
4 송병철 서울특별시 양천구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 신세기 대한민국 서울특별시 강남구 선릉로 ***길 **

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2019.08.06 수리 (Accepted) 1-1-2019-0803971-24
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
입력된 동영상에 포함된 각 프레임으로부터 지역 정보를 포함하는 외형 특징을 추출하는 제1 신경망;상기 동영상의 시퀀스로부터 시공간 정보를 포함하는 장면 특징을 추출하는 제2 신경망; 및상기 외형 특징과 상기 장면 특징을 융합하여 감정 분류를 수행하는 제3 신경망을 포함하는 얼굴 표정 인식 시스템
2 2
청구항 1에 있어서,상기 동영상에서 얼굴을 인식하고 인식된 영역을 크롭하여 정렬하며, 상기 동영상이 사전 설정된 기준 보다 짧은 경우 프레임 보간 기법을 적용하여 상기 동영상의 길이를 증가시키는 전처리부를 더 포함하는 것을 특징으로 하는 얼굴 표정 인식 시스템
3 3
청구항 1에 있어서, 상기 제1 신경망은 미세 튜닝된 2차원 콘볼루션 신경망으로서 DenseNet을 기반으로 하는 것을 특징으로 하는 얼굴 표정 인식 시스템
4 4
청구항 3에 있어서,상기 제1 신경망은 전체 연결 레이어(fully-connected layer)를 갖는 DenseNet인 것을 특징으로 하는 얼굴 표정 인식 시스템
5 5
청구항 3 또는 청구항 4에 있어서,상기 DenseNet은 ImageNet 데이터 셋을 이용하여 사전 트레이닝 된 후 감정 데이터로 구성된 FER2013 데이터 셋으로 재학습 되어 미세 튜닝되는 것을 특징으로 하는 얼굴 표정 인식 시스템
6 6
청구항 1에 있어서,상기 제2 신경망은 3차원 콘볼루션 신경망인 것을 특징으로 하는 얼굴 표정 인식 시스템
7 7
청구항 6에 있어서,상기 3차원 콘볼루션 신경망은 Sports-1M 데이터 셋 또는 Kinetic 데이터 셋으로 사전 트레이닝 되는 것을 특징으로 하는 얼굴 표정 인식 시스템
8 8
청구항 6에 있어서,상기 3차원 콘볼루션 신경망은, 전체 연결 레이어(fully-connected layer), 배치 정규화(Batch Normalization), 드롭 아웃 및 ReLU를 포함하는 보조 분류기를 포함하는 것을 특징으로 하는 얼굴 표정 인식 시스템
9 9
청구항 8에 있어서, 상기 3차원 콘볼루션 신경망은, 그에 포함된 콘볼루션 블록은 학습되지 않도록 파라미터들이 고정되고 그에 포함된 전체 연결 레이어들 및 상기 보조 분류기만 학습되는 것을 특징으로 하는 얼굴 표정 인식 시스템
10 10
청구항 1에 있어서, 상기 제1 신경망은 감정 관련 데이터를 이용하여 사전 트레이닝 되고 상기 제2 신경망은 행동 인식 관련 데이터를 이용하여 사전 트레이닝 되는 것을 특징으로 하는 얼굴 표정 인식 시스템
11 11
청구항 1에 있어서,상기 제3 신경망은, 상기 장면 특징과 상기 외형 특징을 특징 레벨에서 융합하는 시간적 네트워크인 장면 인식(scene-aware) 리커런트 신경망(Recurrent Neural Network)인 것을 특징으로 하는 얼굴 표정 인식 시스템
12 12
청구항 11에 있어서, 상기 장면 인식 리커런트 신경망은 LSTM(Long Short-Term Memory) 모델이 적용되는 것을 특징으로 하는 얼굴 표정 인식 시스템
13 13
청구항 12에 있어서, 상기 LSTM(Long Short-Term Memory) 모델은 상기 제2 신경망에서 추출된 장면 특징을 히든 스테이트로 사용하는 것을 특징으로 하는 얼굴 표정 인식 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.