맞춤기술찾기

이전대상기술

사용자의 얼굴 표정 및 손동작으로 3차원 캐릭터를 제어하는 방법 및 장치

  • 기술번호 : KST2019011149
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명에서는 깊이카메라로 인식한 사용자 얼굴 표정과 손인형의 동작을 기초로 3차원 캐릭터의 얼굴 표정 및 전신 동작을 구현하고자 한다.
Int. CL G06F 3/01 (2006.01.01) G06T 7/00 (2017.01.01) G06K 9/00 (2006.01.01) G06T 13/40 (2011.01.01)
CPC G06F 3/017(2013.01) G06F 3/017(2013.01) G06F 3/017(2013.01) G06F 3/017(2013.01) G06F 3/017(2013.01)
출원번호/일자 1020160154440 (2016.11.18)
출원인 한국과학기술연구원
등록번호/일자 10-1852939-0000 (2018.04.23)
공개번호/일자
공고번호/일자 (20180430) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2016.11.18)
심사청구항수 9

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술연구원 대한민국 서울특별시 성북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 임화섭 대한민국 서울특별시 성북구
2 김영민 대한민국 서울특별시 성북구
3 황재인 대한민국 서울특별시 성북구
4 안상철 대한민국 서울특별시 성북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 리앤목특허법인 대한민국 서울 강남구 언주로 **길 **, *층, **층, **층, **층(도곡동, 대림아크로텔)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술연구원 서울특별시 성북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2016.11.18 수리 (Accepted) 1-1-2016-1130131-12
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2016.11.23 수리 (Accepted) 1-1-2016-1148390-96
3 선행기술조사의뢰서
Request for Prior Art Search
2017.08.10 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search
2017.10.13 발송처리완료 (Completion of Transmission) 9-6-2017-0152951-75
5 의견제출통지서
Notification of reason for refusal
2017.10.20 발송처리완료 (Completion of Transmission) 9-5-2017-0727230-27
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2017.10.30 수리 (Accepted) 1-1-2017-1074775-36
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2017.10.30 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-1074776-82
8 등록결정서
Decision to grant
2018.04.13 발송처리완료 (Completion of Transmission) 9-5-2018-0257545-92
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
사용자의 얼굴 표정 및 손동작으로 3차원 캐릭터를 제어하는 방법으로서, 깊이카메라로 촬영한 사용자 얼굴 영상에서 추출한 특징점을 기초로 사용자의 얼굴 표정을 인식하고, 인식한 상기 얼굴 표정을 3차원 캐릭터의 얼굴 표정에 정합하는 단계;및깊이카메라로 촬영한 손인형의 깊이 영상을 기초로 그에 대응하는 상기 3차원 캐릭터의 3차원 자세를 생성하는 단계;를 포함하고, 상기 손인형의 깊이 영상은 상기 손인형의 주요부위 위치정보를 포함하며, 상기 손인형의 주요부위 위치정보는 상기 손인형의 얼굴, 양손, 배 및 양발 각각의 3차원 좌표정보 및 상기 3차원 좌표정보로 도출되는 상기 손인형의 주요부위의 중앙값 정보를 포함하고, 이 경우 상기 손인형은 상기 손인형의 움직임을 조작하는 사용자의 손동작의 움직임에 따라 변경되는 것을 특징으로 하는 방법
2 2
제 1 항에 있어서, 상기 손인형의 얼굴, 양손, 배 및 양발 그리고 그 외 부분 각각에 상이한 칼러를 칠하고, 상기 깊이카메라로 상기 손인형의 다양한 동작을 촬영한 후, MRF(Markov Random Field)기반 컬러 영역 분리 기술을 적용하여 기계학습방법으로 상기 손인형을 구성하는 얼굴, 양손, 배 및 양발 그리고 그 외 부분의 움직임을 학습하여 상기 손인형의 주요부위 위치정보를 파악하는 것을 특징으로 하는 방법
3 3
제 1 항에 있어서, 상기 3차원 캐릭터의 3차원 자세는 상기 손인형 주요부위의 위치정보 및 역기구학을 이용하여 예측되고 생성되는 것을 특징으로 하는 방법
4 4
제 3 항에 있어서,상기 역기구학을 통해 상기 손인형 주요부위의 위치정보로부터 그에 대응되는 상기 3차원 캐릭터의 전신관절의 위치 및 전신관절 각각의 회전 각도를 예측하여 상기 3차원 캐릭터의 상기 3차원 자세를 생성하는 것을 특징으로 하는 방법
5 5
삭제
6 6
제 1항에 있어서, 상기 3차원 캐릭터의 3차원 자세는 상기 손인형의 주요부위 위치정보 및 저차원-고차원 비선형 맵핑 방식을 이용하여 예측되고 생성되는 것을 특징으로 하는 방법
7 7
깊이카메라로 촬영한 손인형의 깊이 영상(posture)으로부터 기계학습을 통해 상기 손인형의 주요부위 위치정보를 검출하는 단계;및 상기 검출된 손인형의 주요부위 위치정보를 기초로 그에 대응하는 3차원 캐릭터의 3차원 자세를 생성하는 단계;를 포함하며, 상기 손인형의 주요부위 위치정보는 상기 손인형의 얼굴, 양손, 배 및 양발 각각의 3차원 좌표정보를 포함하는 것을 특징으로 하는 사용자의 얼굴 표정 및 손동작으로 3차원 캐릭터를 제어하며, 상기 손인형은 상기 손인형의 움직임을 조작하는 사용자의 손동작의 움직임에 따라 변경되는 것을 특징으로 하는 방법
8 8
사용자의 얼굴 표정 및 손동작으로 3차원 캐릭터를 제어하는 장치로서, 깊이카메라로 촬영한 사용자 얼굴 영상에서 추출한 특징점을 기초로 사용자의 얼굴 표정을 인식하고, 인식한 상기 얼굴 표정을 3차원 캐릭터의 얼굴 표정에 정합하는 3차원캐릭터표정정합부;및깊이카메라로 촬영한 손인형의 깊이 영상을 기초로 그에 대응하는 상기 3차원 캐릭터의 3차원 자세를 생성하는 3차원캐릭터자세정합부;를 포함하고, 상기 손인형의 깊이 영상은 상기 사용자의 손동작의 움직임에 따라 변경되고, 상기 손인형의 주요부위 위치정보를 포함하며, 상기 손인형의 주요부위 위치정보는 상기 손인형의 얼굴, 양손, 배 및 양발 각각의 3차원 좌표정보 및 상기 3차원 좌표정보로 도출되는 상기 손인형의 주요부위의 중앙값 정보를 포함하며, 이 경우 상기 손인형은 상기 손인형의 움직임을 조작하는 사용자의 손동작의 움직임에 따라 변경되는 것을 특징으로 하는 장치
9 9
삭제
10 10
제 8 항에 있어서, 상기 손인형의 얼굴, 양손, 배 및 양발 그리고 그 외 부분 각각에 상이한 칼러를 칠하고, 상기 깊이카메라로 상기 손인형의 다양한 동작을 촬영한 후, MRF(Markov Random Field)기반 컬러 영역 분리 기술을 적용하여 기계학습방법으로 상기 손인형을 구성하는 얼굴, 양손, 배 및 양발 그리고 그 외 부분의 움직임을 학습하여 상기 손인형의 주요부위 위치정보를 파악하는 것을 특징으로 하는 장치
11 11
제 8 항에 있어서, 상기 3차원 캐릭터의 3차원 자세는 상기 손인형 주요부위의 위치정보 및 역기구학을 이용하여 예측되고 생성되는 것을 특징으로 하는 장치
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US10713833 US 미국 FAMILY
2 US20180144530 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US10713833 US 미국 DOCDBFAMILY
2 US2018144530 US 미국 DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 한국과학기술연구원 첨단융복합콘텐츠기술개발사업(시장친화형 디지털 콘텐츠 R&D 사업) 사용자 참여 실감형 애니메이션 창작 오픈 플랫폼 및 서비스