맞춤기술찾기

이전대상기술

비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템 및 방법

  • 기술번호 : KST2022009893
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템에 관한 것으로서, 보다 구체적으로는 감정인식 시스템으로서, 얼굴 이미지로부터 감정을 인식하는 딥러닝 알고리즘 기반의 제1 모델을 저장하고, 상기 제1 모델을 이용해 사람의 얼굴 이미지로부터 감정을 분류해 제1 예측 감정을 출력하는 제1 감정 인식부; 비접촉식으로 측정된 ECG 데이터로부터 감정을 인식하는 딥러닝 알고리즘 기반의 제2 모델을 저장하고, 상기 제2 모델을 이용해 상기 사람의 ECG 데이터로부터 감정을 분류해 제2 예측 감정을 출력하는 제2 감정 인식부; 및 상기 제1 예측 감정과 상기 제2 예측 감정을 보팅(Voting) 방식으로 결합해, 최종 예측 감정을 출력하는 최종 감정 인식부를 포함하며, 비접촉식으로 촬영된 상기 얼굴 이미지 및 비접촉식으로 측정된 상기 ECG 데이터를 통해 최종 예측 감정을 출력하는 것을 그 구성상의 특징으로 한다. 또한, 본 발명은 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 방법에 관한 것으로서, 보다 구체적으로는 컴퓨터로 구현되는 감정인식 시스템에 의해 각 단계가 수행되는 감정인식 방법으로서, (1) 얼굴 이미지로부터 감정을 인식하는 딥러닝 알고리즘 기반의 제1 모델 및 비접촉식으로 측정된 ECG 데이터로부터 감정을 인식하는 딥러닝 알고리즘 기반의 제2 모델을 저장하는 단계; (2) 상기 제1 모델을 이용해 사람의 얼굴 이미지로부터 감정을 분류해 제1 예측 감정을 출력하고, 상기 제2 모델을 이용해 상기 사람의 ECG 데이터로부터 감정을 분류해 제2 예측 감정을 출력하는 단계; 및 (3) 상기 제1 예측 감정과 상기 제2 예측 감정을 보팅(Voting) 방식으로 결합해, 최종 예측 감정을 출력하는 단계를 포함하며, 비접촉식으로 촬영된 상기 얼굴 이미지 및 비접촉식으로 측정된 상기 ECG 데이터를 통해 최종 예측 감정을 출력하는 것을 그 구성상의 특징으로 한다. 본 발명에서 제안하고 있는 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템 및 방법에 따르면, 얼굴 이미지와 생체신호 중 하나인 ECG 데이터를 이용해 딥러닝 알고리즘 기반으로 감정을 예측함으로써, 비접촉 방식으로 수집할 수 있는 데이터만으로 정확하게 감정을 예측할 수 있으며, 감정 상태뿐만 아니라 건강상태 예측에도 활용할 수 있다. 또한, 본 발명에서 제안하고 있는 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템 및 방법에 따르면, 얼굴 이미지를 이용해 감정을 분류하는 제1 모델과 ECG 데이터로 감정을 분류하는 제2 모델의 예측 감정을 보팅 방식으로 결합해 최종 예측 감정을 출력함으로써, 얼굴 이미지와 ECG 데이터 각각을 사용할 때보다 평균적으로 정확도 높은 감정 예측을 할 수 있으며, 두 모델의 예측 감정이 서로 다르면 ECG 데이터 기반의 예측 감정에 기반하여 거짓 감정임을 추정함으로써, 표정을 감추거나 얼굴에 감정이 잘 드러나지 않는 사람의 감정도 정확하게 예측할 수 있다.
Int. CL G06K 9/00 (2022.01.01) G06N 3/04 (2006.01.01) G06N 3/08 (2006.01.01)
CPC G06V 40/174(2013.01) G06N 3/0454(2013.01) G06N 3/082(2013.01)
출원번호/일자 1020210002356 (2021.01.08)
출원인 계명대학교 산학협력단
등록번호/일자
공개번호/일자 10-2022-0100206 (2022.07.15) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.01.08)
심사청구항수 16

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 계명대학교 산학협력단 대한민국 대구광역시 달서구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이종하 대구광역시 수성구
2 장준호 대구광역시 수성구
3 김승직 대구광역시 북구
4 김범준 대구광역시 수성구
5 윤광열 대구광역시 달서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김건우 대한민국 서울특별시 구로구 경인로 *** 오피스동 **층 **호 (신도림동, 디큐브시티)(특허그룹덕원)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.01.08 수리 (Accepted) 1-1-2021-0024043-22
2 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2021.01.29 수리 (Accepted) 1-1-2021-0122083-14
3 선행기술조사의뢰서
Request for Prior Art Search
2022.03.15 수리 (Accepted) 9-1-9999-9999999-89
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
감정인식 시스템(100)으로서,얼굴 이미지로부터 감정을 인식하는 딥러닝 알고리즘 기반의 제1 모델(111)을 저장하고, 상기 제1 모델(111)을 이용해 사람의 얼굴 이미지로부터 감정을 분류해 제1 예측 감정을 출력하는 제1 감정 인식부(110);비접촉식으로 측정된 ECG 데이터로부터 감정을 인식하는 딥러닝 알고리즘 기반의 제2 모델(121)을 저장하고, 상기 제2 모델(121)을 이용해 상기 사람의 ECG 데이터로부터 감정을 분류해 제2 예측 감정을 출력하는 제2 감정 인식부(120); 및상기 제1 예측 감정과 상기 제2 예측 감정을 보팅(Voting) 방식으로 결합해, 최종 예측 감정을 출력하는 최종 감정 인식부(130)를 포함하며,비접촉식으로 촬영된 상기 얼굴 이미지 및 비접촉식으로 측정된 상기 ECG 데이터를 통해 최종 예측 감정을 출력하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템(100)
2 2
제1항에 있어서,감정인식을 위한 얼굴 이미지, ECG 데이터 및 감정 레이블을 저장하는 데이터베이스부(140)를 더 포함하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템(100)
3 3
제2항에 있어서,상기 제1 감정 인식부(110)는, 상기 데이터베이스부(140)에 저장된 얼굴 이미지와 감정 레이블 쌍을 이용해 학습된 상기 제1 모델(111)을 저장하고,상기 제2 감정 인식부(120)는, 상기 데이터베이스부(140)에 저장된 ECG 데이터와 감정 레이블 쌍을 이용해 학습된 상기 제2 모델(121)을 저장하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템(100)
4 4
제1항에 있어서, 상기 제1 모델(111)은,2D 콘볼루셔널 레이어(Convolutional layer) 및 풀링 레이어(Pooling layer)를 포함하는 콘볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 모델을 기반으로 학습된 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템(100)
5 5
제1항에 있어서, 상기 제2 모델(121)은,1D 콘볼루셔널 레이어(Convolutional layer) 및 풀링 레이어(Pooling layer)를 포함하는 콘볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 모델을 기반으로 학습된 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템(100)
6 6
제1항에 있어서, 상기 최종 감정 인식부(130)는,상기 제1 예측 감정과 제2 예측 감정을 예측확률 보팅 방식으로 결합하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템(100)
7 7
제1항에 있어서,상기 제1 예측 감정과 상기 제2 예측 감정이 서로 다르면, 상기 제2 예측 감정에 기반하여 거짓 감정임을 추정하는 거짓 감정 추정부(150)를 더 포함하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템(100)
8 8
제1항에 있어서, 상기 제1 예측 감정, 제2 예측 감정 및 최종 예측 감정은,행복, 중립, 슬픔, 분노, 놀라움, 혐오 및 공포를 포함하는 군에서 선택된 어느 하나인 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템(100)
9 9
컴퓨터로 구현되는 감정인식 시스템(100)에 의해 각 단계가 수행되는 감정인식 방법으로서,(1) 얼굴 이미지로부터 감정을 인식하는 딥러닝 알고리즘 기반의 제1 모델(111) 및 비접촉식으로 측정된 ECG 데이터로부터 감정을 인식하는 딥러닝 알고리즘 기반의 제2 모델(121)을 저장하는 단계;(2) 상기 제1 모델(111)을 이용해 사람의 얼굴 이미지로부터 감정을 분류해 제1 예측 감정을 출력하고, 상기 제2 모델(121)을 이용해 상기 사람의 ECG 데이터로부터 감정을 분류해 제2 예측 감정을 출력하는 단계; 및(3) 상기 제1 예측 감정과 상기 제2 예측 감정을 보팅(Voting) 방식으로 결합해, 최종 예측 감정을 출력하는 단계를 포함하며,비접촉식으로 촬영된 상기 얼굴 이미지 및 비접촉식으로 측정된 상기 ECG 데이터를 통해 최종 예측 감정을 출력하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 방법
10 10
제9항에 있어서, 상기 단계 (1) 이전에는,(0) 감정인식을 위한 얼굴 이미지, ECG 데이터 및 감정 레이블을 데이터베이스부(140)에 저장하는 단계를 더 포함하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 방법
11 11
제10항에 있어서, 상기 단계 (1)에서는,상기 데이터베이스부(140)에 저장된 얼굴 이미지와 감정 레이블 쌍을 이용해 학습된 상기 제1 모델(111)을 저장하고, 상기 데이터베이스부(140)에 저장된 ECG 데이터와 감정 레이블 쌍을 이용해 학습된 상기 제2 모델(121)을 저장하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 방법
12 12
제9항에 있어서, 상기 제1 모델(111)은,2D 콘볼루셔널 레이어(Convolutional layer) 및 풀링 레이어(Pooling layer)를 포함하는 콘볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 모델을 기반으로 학습된 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 방법
13 13
제9항에 있어서, 상기 제2 모델(121)은,1D 콘볼루셔널 레이어(Convolutional layer) 및 풀링 레이어(Pooling layer)를 포함하는 콘볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 모델을 기반으로 학습된 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 방법
14 14
제9항에 있어서, 상기 단계 (3)에서는,상기 제1 예측 감정과 제2 예측 감정을 예측확률 보팅 방식으로 결합하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 방법
15 15
제9항에 있어서, 상기 단계 (3) 이후에는,(4) 상기 제1 예측 감정과 상기 제2 예측 감정이 서로 다르면, 상기 제2 예측 감정에 기반하여 거짓 감정임을 추정하는 단계를 더 포함하는 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 방법
16 16
제9항에 있어서, 상기 제1 예측 감정, 제2 예측 감정 및 최종 예측 감정은,행복, 중립, 슬픔, 분노, 놀라움, 혐오 및 공포를 포함하는 군에서 선택된 어느 하나인 것을 특징으로 하는, 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육부 계명대학교 산학협력단 기초과학연구역량강화사업(핵심연구지원센터 조성 지원) 핵심연구지원센터 조성 지원 과제(인텔리전트 건설시스템