맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

반 지도 학습과 여러 개의 멀티 모달 네트워크를 이용한 비디오 기반 인물 감정 인식 기법

  • 기술번호 : KST2019020050
  • 담당센터 : 인천기술혁신센터
  • 전화번호 : 032-420-3580
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 반 지도 학습과 여러 개의 멀티 모달 네트워크를 이용한 비디오 기반 인물 감정 인식 기법이 개시된다. 일 실시예에 따른 비디오 기반 인물 감정 인식 방법은, 비디오 내에 존재하는 이미지 데이터, 얼굴 특징점 데이터 또는 음성 데이터 중 적어도 하나 이상의 신호를 인물 감정 인식을 위한 반 지도(Semi-supervised) 학습과 복수 개의 멀티 모달 네트워크에 기반하여 구성된 딥 러닝 네트워크에 입력하는 단계; 및 상기 딥 러닝 네트워크에 입력된 적어도 하나 이상의 신호를 분석함에 따라 획득된 각각의 확률 정보를 적응적으로 융합하여 상기 비디오 내의 인물의 감정을 인식하는 단계를 포함할 수 있다.
Int. CL G06N 3/08 (2006.01.01) G06N 3/04 (2006.01.01) G06K 9/00 (2006.01.01)
CPC G06N 3/08(2013.01) G06N 3/08(2013.01) G06N 3/08(2013.01)
출원번호/일자 1020180043342 (2018.04.13)
출원인 인하대학교 산학협력단
등록번호/일자
공개번호/일자 10-2019-0119863 (2019.10.23) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.04.13)
심사청구항수 8

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 인하대학교 산학협력단 대한민국 인천광역시 미추홀구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 송병철 서울특별시 양천구
2 김대하 인천광역시 남구
3 최동윤 인천광역시 남구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 인하대학교 산학협력단 인천광역시 미추홀구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2018.04.13 수리 (Accepted) 1-1-2018-0370541-36
2 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2018.12.27 수리 (Accepted) 4-1-2018-5266647-91
3 의견제출통지서
Notification of reason for refusal		 2019.09.30 발송처리완료 (Completion of Transmission) 9-5-2019-0704848-18
4 [공지예외적용 보완 증명서류]서류제출서
 2019.10.01 수리 (Accepted) 1-1-2019-1003526-12
5 [출원서 등 보완]보정서
 2019.10.01 수리 (Accepted) 1-1-2019-1003525-66
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2019.10.16 수리 (Accepted) 1-1-2019-1053765-12
7 등록결정서
Decision to grant		 2020.03.10 발송처리완료 (Completion of Transmission) 9-5-2020-0182758-21
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
비디오 기반 인물 감정 인식 방법에 있어서,비디오 내에 존재하는 이미지 데이터, 얼굴 특징점 데이터 또는 음성 데이터 중 적어도 하나 이상의 신호를 인물 감정 인식을 위한 반 지도(Semi-supervised) 학습과 복수 개의 멀티 모달 네트워크에 기반하여 구성된 딥 러닝 네트워크에 입력하는 단계; 및상기 딥 러닝 네트워크에 입력된 적어도 하나 이상의 신호를 분석함에 따라 획득된 각각의 확률 정보를 적응적으로 융합하여 상기 비디오 내의 인물의 감정을 인식하는 단계를 포함하는 비디오 기반 인물 감정 인식 방법
2 2
제1항에 있어서,상기 딥 러닝 네트워크에 입력하는 단계는,상기 비디오 내에 존재하는 이미지 데이터, 얼굴 특징점 데이터 및 음성 데이터로부터 상기 비디오 내에 존재하는 인물의 감정을 분석하기 위하여 이미지 기반의 네트워크, 얼굴 특징점 기반의 네트워크 및 비디오 음성 신호 기반의 네트워크를 구성하는 단계를 포함하는 비디오 기반 인물 감정 인식 방법
3 3
제1항에 있어서,상기 딥 러닝 네트워크에 입력하는 단계는,S3DAE, C3DA 또는 Parallel CNN 중 적어도 하나의 딥 러닝 네트워크를 사용함에 따라 상기 비디오 내에 존재하는 이미지 데이터로부터 이미지 특징을 획득하고, 상기 획득된 이미지 특징을 SVM 또는 Softmax을 수행하여 인물의 감정을 분류하는 단계 를 포함하는 비디오 기반 인물 감정 인식 방법
4 4
제1항에 있어서,상기 딥 러닝 네트워크에 입력하는 단계는,상기 비디오 내의 연속적인 프레임에서 인물의 얼굴 정보에 대한 각각의 특징점들의 상대적 거리 변화를 기반으로 2차원 특징 벡터를 획득하고, 상기 획득된 2차원 특징 벡터를 CNN-LSTM 네트워크에 입력하여 인물의 감정을 분류하는 단계를 포함하는 비디오 기반 인물 감정 인식 방법
5 5
제1항에 있어서,상기 딥 러닝 네트워크에 입력하는 단계는,상기 비디오 내의 음성 신호에 NN, CNN, LSTM 중 적어도 하나 이상의 음성 기반 네트워크를 사용하여 비디오 내의 분위기 및 배경 사운드에서 인물의 감정을 분석하는 단계 를 포함하는 비디오 기반 인물 감정 인식 방법
6 6
제1항에 있어서,상기 비디오 내의 인물의 감정을 인식하는 단계는,상기 딥 러닝 네트워크에 입력된 적어도 하나 이상의 신호를 분석함에 따라 획득된 각각의 확률 정보 중 기 설정된 기준에 기초하여 가중치를 적용하는 단계를 포함하는 비디오 기반 인물 감정 인식 방법
7 7
제1항에 있어서,상기 비디오 내의 인물의 감정을 인식하는 단계는,상기 비디오 내의 인물의 감정을 화남, 역겨움, 두려움, 행복, 슬픔, 놀라움 및 중립을 포함하는 7가지의 감정으로 분류하고, 상기 분류된 감정을 정량값으로 도출하는 단계를 포함하는 비디오 기반 인물 감정 인식 방법
8 8
비디오 기반 인물 감정 인식 시스템에 있어서, 비디오 내에 존재하는 이미지 데이터, 얼굴 특징점 데이터 또는 음성 데이터 중 적어도 하나 이상의 신호를 인물 감정 인식을 위한 반 지도(Semi-supervised) 학습과 복수 개의 멀티 모달 네트워크에 기반하여 구성된 딥 러닝 네트워크에 입력하는 입력부; 및상기 딥 러닝 네트워크에 입력된 적어도 하나 이상의 신호를 분석함에 따라 획득된 각각의 확률 정보를 적응적으로 융합하여 상기 비디오 내의 인물의 감정을 인식하는 인식부를 포함하는 비디오 기반 인물 감정 인식 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부 인하대학교산학협력단 산업핵심기술개발사업 (1차년도) 인간 내면상태의 인식 및 이를 이용한 인간친화형 인간-로봇 상호작용 기술 개발
2 과학기술정보통신부 인하대학교 핵심연구 [Ezbaro] 멀티 광각카메라 기반 영상처리를 이용한 안티드론 기술 개발