맞춤기술찾기

이전대상기술

전자 장치, 아바타 얼굴 표정 표시 시스템 및 제어 방법

  • 기술번호 : KST2020014454
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 전자 장치, 아바타 얼굴 표정 표시 시스템 및 제어 방법이 개시된다. 전자 장치는 사용자의 안면부에 부착되어 얼굴 표정에 따른 안면부 근전도 신호를 감지하는 센서부, 안면부 근전도 신호에 기초하여 특징을 추출하고, 추출된 특징에 대응되는 아바타의 얼굴 움직임 데이터 값을 판단하는 프로세서 및 아바타의 얼굴 움직임 데이터 값을 기초로 아바타의 얼굴 움직임을 제어하여 사용자의 얼굴 표정에 대응되는 아바타의 얼굴 표정을 표시하는 디스플레이를 포함한다.
Int. CL G06T 13/40 (2011.01.01) G06K 9/00 (2006.01.01) A61B 5/0488 (2006.01.01)
CPC G06T 13/40(2013.01) G06T 13/40(2013.01) G06T 13/40(2013.01) G06T 13/40(2013.01) G06T 13/40(2013.01) G06T 13/40(2013.01)
출원번호/일자 1020190041847 (2019.04.10)
출원인 한양대학교 산학협력단
등록번호/일자
공개번호/일자 10-2020-0119546 (2020.10.20) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.04.10)
심사청구항수 14

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한양대학교 산학협력단 대한민국 서울특별시 성동구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 임창환 서울특별시 강남구
2 차호승 서울특별시 성동구
3 최성준 서울특별시 송파구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김태헌 대한민국 서울시 서초구 강남대로 *** 신덕빌딩 *층(나우특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.04.10 수리 (Accepted) 1-1-2019-0366197-17
2 보정요구서
Request for Amendment
2019.04.17 발송처리완료 (Completion of Transmission) 1-5-2019-0065245-88
3 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2019.04.19 수리 (Accepted) 1-1-2019-0406516-17
4 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.05 수리 (Accepted) 4-1-2019-5155816-75
5 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.06 수리 (Accepted) 4-1-2019-5156285-09
6 선행기술조사의뢰서
Request for Prior Art Search
2019.10.02 수리 (Accepted) 9-1-9999-9999999-89
7 선행기술조사보고서
Report of Prior Art Search
2019.11.08 발송처리완료 (Completion of Transmission) 9-6-2020-0022923-29
8 의견제출통지서
Notification of reason for refusal
2020.02.26 발송처리완료 (Completion of Transmission) 9-5-2020-0145325-64
9 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.04.20 수리 (Accepted) 1-1-2020-0404014-87
10 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.04.20 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0404015-22
11 의견제출통지서
Notification of reason for refusal
2020.08.04 발송처리완료 (Completion of Transmission) 9-5-2020-0531826-25
12 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.09.02 수리 (Accepted) 1-1-2020-0930341-40
13 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.09.02 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0930342-96
14 의견제출통지서
Notification of reason for refusal
2020.10.23 발송처리완료 (Completion of Transmission) 9-5-2020-0731793-42
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
사용자의 안면부에 부착되어 얼굴 표정에 따른 안면부 근전도 신호를 감지하는 센서부;상기 안면부 근전도 신호에 기초하여 특징을 추출하고, 상기 추출된 특징에 대응되는 아바타의 얼굴 움직임 데이터 값을 판단하는 프로세서; 및상기 아바타의 얼굴 움직임 데이터 값을 기초로 상기 아바타의 얼굴 움직임을 제어하여 상기 사용자의 얼굴 표정에 대응되는 상기 아바타의 얼굴 표정을 표시하는 디스플레이;를 포함하고,상기 프로세서는,기 설정된 얼굴 표정 데이터에 대응되는 특징을 유사도에 기초하여 복수의 그룹으로 분류하고, 상기 분류된 복수의 그룹 각각에 대해 학습된 복수의 학습 모델 중 상기 사용자의 기 설정된 얼굴 표정에 대응되는 특징과 가장 유사도가 높은 학습 모델에 기초하여 상기 아바타의 얼굴 움직임 데이터 값을 판단하는, 전자 장치
2 2
제1항에 있어서,상기 센서부는,상기 사용자의 좌측 눈의 상하부 각각에 복수 개의 센서가 하나의 센서 세트로 배치되고, 상기 사용자의 우측 눈의 상하부 각각에 복수 개의 센서가 하나의 센서 세트로 배치되는, 전자 장치
3 3
제2항에 있어서,상기 프로세서는,상기 각각의 센서 세트에 포함된 상기 복수 개의 센서에서 감지된 복수 개의 신호 간의 차이를 상기 각각의 센서 세트의 안면부 근전도 신호로 획득하는, 전자 장치
4 4
제1항에 있어서,상기 프로세서는,20Hz 내지 450Hz 대역의 밴드패스필터에 기초하여 상기 안면부 근전도 신호를 필터링하는, 전자 장치
5 5
제1항에 있어서,상기 프로세서는,상기 안면부 근전도 신호에 기 설정된 크기의 윈도우를 기 설정된 시간 간격으로 이동시키면서 상기 특징을 추출하는, 전자 장치
6 6
제1항에 있어서,상기 특징은,제곱평균제곱근(RMS), 셉스트랄 계수(CC), 샘플 엔트로피(SE) 또는 신호의 길이(WL) 중 적어도 하나를 포함하는, 전자 장치
7 7
제1항에 있어서,상기 프로세서는,상기 복수의 학습 모델 각각에 포함된 기 설정된 얼굴 표정 데이터에 대응되는 특징을 포함하는 그룹의 중심 값과 상기 사용자의 기 설정된 얼굴 표정에 대응되는 특징 간의 거리를 산출하고, 상기 산출된 거리가 가장 가까운 그룹이 포함된 학습 모델을 상기 가장 유사도가 높은 학습 모델로 판단하는, 전자 장치
8 8
사용자의 안면부에 부착된 센서부가 얼굴 표정에 따른 안면부 근전도 신호를 감지하는 단계;상기 안면부 근전도 신호에 기초하여 특징을 추출하는 단계;상기 추출된 특징에 대응되는 아바타의 얼굴 움직임 데이터 값을 판단하는 단계; 및상기 아바타의 얼굴 움직임 데이터 값을 기초로 상기 아바타의 얼굴 움직임을 제어하여 상기 사용자의 얼굴 표정에 대응되는 상기 아바타의 얼굴 표정을 표시하는 단계;를 포함하고, 상기 얼굴 움직임 데이터 값을 판단하는 단계는,기 설정된 얼굴 표정 데이터에 대응되는 특징을 유사도에 기초하여 복수의 그룹으로 분류하고, 상기 분류된 복수의 그룹 각각에 대해 학습된 복수의 학습 모델 중 상기 사용자의 기 설정된 얼굴 표정에 대응되는 특징과 가장 유사도가 높은 학습 모델에 기초하여 상기 아바타의 얼굴 움직임 데이터 값을 판단하는, 전자 장치의 제어 방법
9 9
제8항에 있어서,상기 센서부는 복수 개의 센서를 포함하는 센서 세트를 복수 개 포함하고, 상기 각각의 센서 세트에 포함된 상기 복수 개의 센서에서 감지된 복수 개의 신호 간의 차이를 상기 각각의 센서 세트의 안면부 근전도 신호로 획득하는 단계;를 더 포함하는 전자 장치의 제어 방법
10 10
제8항에 있어서,20Hz 내지 450Hz 대역의 밴드패스필터에 기초하여 상기 안면부 근전도 신호를 필터링하는 단계;를 더 포함하는 전자 장치의 제어 방법
11 11
제8항에 있어서,상기 특징을 추출하는 단계는,상기 안면부 근전도 신호에 기 설정된 크기의 윈도우를 기 설정된 시간 간격으로 이동시키면서 상기 특징을 추출하는, 전자 장치의 제어 방법
12 12
제8항에 있어서,상기 특징은,제곱평균제곱근(RMS), 셉스트랄 계수(CC), 샘플 엔트로피(SE) 또는 신호의 길이(WL) 중 적어도 하나를 포함하는, 전자 장치의 제어 방법
13 13
제8항에 있어서,상기 얼굴 움직임 데이터 값을 판단하는 단계는,상기 복수의 학습 모델 각각에 포함된 기 설정된 얼굴 표정 데이터에 대응되는 특징을 포함하는 그룹의 중심 값과 상기 사용자의 기 설정된 얼굴 표정에 대응되는 특징 간의 거리를 산출하고, 상기 산출된 거리가 가장 가까운 그룹이 포함된 학습 모델을 상기 가장 유사도가 높은 학습 모델로 판단하는, 전자 장치의 제어 방법
14 14
사용자의 안면부에 부착되어 얼굴 표정에 따른 안면부 근전도 신호를 감지하고, 상기 감지된 안면부 근전도 신호를 서버로 전송하는 센서 장치;수신된 안면부 근전도 신호에 기초하여 특징을 추출하고, 상기 추출된 특징에 대응되는 아바타의 얼굴 움직임 데이터 값을 판단하며, 상기 판단된 아바타의 얼굴 움직임 데이터 값을 단말 장치로 전송하는 서버; 및수신된 아바타의 얼굴 움직임 데이터 값을 기초로 상기 아바타의 얼굴 움직임을 제어하여 상기 사용자의 얼굴 표정에 대응되는 상기 아바타의 얼굴 표정을 표시하는 단말 장치;를 포함하고,상기 서버는,기 설정된 얼굴 표정 데이터에 대응되는 특징을 유사도에 기초하여 복수의 그룹으로 분류하고, 상기 분류된 복수의 그룹 각각에 대해 학습된 복수의 학습 모델 중 상기 사용자의 기 설정된 얼굴 표정에 대응되는 특징과 가장 유사도가 높은 학습 모델에 기초하여 상기 아바타의 얼굴 움직임 데이터 값을 판단하는, 아바타 얼굴 표정 표시 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 삼성전자 미래기술육성센터 삼성전자 미래기술육성센터 삼성미래기술육성사업 인터랙티브한 VR 어플리케이션을 위한 안면부 근전도 기반 표정 인식