맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

얼굴 애니메이션 리타게팅 방법 및 이를 위한 기록 매체

  • 기술번호 : KST2015115268
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 얼굴 애니메이션 리타게팅 방법 및 이를 위한 기록 매체를 공개한다. 본 발명은 하나의 타겟 모델에 대해 RBF 기반 회기 트레이닝 및 kCCA 기반 회기 트레이닝을 각각 1회씩 수행하고, 이후 RBF 기반 회기 트레이닝 결과 및 kCCA 기반 회기 트레이닝 결과를 조합함에 의해 형태학적으로 매우 상이한 타겟 모델에 대해서도 소스 애니메이션의 표정에 대응하는 매우 자연스러운 표정을 회득 할 수 있다. 또한 모션 와핑을 추가함에 의해 타겟 모델의 개성을 더욱 두드러지게 표현할 수 있다.
Int. CL G06T 13/00 (2011.01)
CPC G06T 13/40(2013.01) G06T 13/40(2013.01) G06T 13/40(2013.01) G06T 13/40(2013.01)
출원번호/일자 1020110056907 (2011.06.13)
출원인 한국과학기술원
등록번호/일자 10-1261737-0000 (2013.04.30)
공개번호/일자 10-2012-0137826 (2012.12.24) 문서열기
공고번호/일자 (20130509) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2011.06.13)
심사청구항수 21

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 노준용 대한민국 대전광역시 유성구
2 송재원 대한민국 대전광역시 유성구
3 최병국 대한민국 대전광역시 유성구
4 설영호 대한민국 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 다해 대한민국 서울특별시 강남구 삼성로***, *층(삼성동,고운빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2011.06.13 수리 (Accepted) 1-1-2011-0443075-09
2 선행기술조사의뢰서
Request for Prior Art Search		 2012.04.12 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2012.05.25 수리 (Accepted) 9-1-2012-0041852-38
4 의견제출통지서
Notification of reason for refusal		 2012.06.19 발송처리완료 (Completion of Transmission) 9-5-2012-0355612-12
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2012.08.20 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2012-0663409-94
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2012.08.20 수리 (Accepted) 1-1-2012-0663408-48
7 거절결정서
Decision to Refuse a Patent		 2012.12.10 발송처리완료 (Completion of Transmission) 9-5-2012-0749540-08
8 [명세서등 보정]보정서(재심사)
Amendment to Description, etc(Reexamination)		 2013.01.04 보정승인 (Acceptance of amendment) 1-1-2013-0011389-33
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2013.01.04 수리 (Accepted) 1-1-2013-0011388-98
10 최후의견제출통지서
Notification of reason for final refusal		 2013.01.21 발송처리완료 (Completion of Transmission) 9-5-2013-0041575-13
11 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2013.01.22 보정승인 (Acceptance of amendment) 1-1-2013-0063146-19
12 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2013.01.22 수리 (Accepted) 1-1-2013-0063145-63
13 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2013.02.01 수리 (Accepted) 4-1-2013-5019983-17
14 등록결정서
Decision to Grant Registration		 2013.04.29 발송처리완료 (Completion of Transmission) 9-5-2013-0288782-38
15 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2014.03.04 수리 (Accepted) 1-1-2014-0212868-40
16 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.12.24 수리 (Accepted) 4-1-2014-5157968-69
17 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.12.24 수리 (Accepted) 4-1-2014-5158129-58
18 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.12.24 수리 (Accepted) 4-1-2014-5157993-01
19 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
20 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
21 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
입력 데이터인 소스 애니메이션이 입력되는 단계;소스 애니메이션과 타겟 애니메이션 사이에 표정 쌍 범위가 설정되는 단계;상기 설정된 표정 쌍 범위에 대해 RBF(Radial Basis Function) 기반 회귀 트레이닝이 수행되는 단계;상기 설정된 표정 쌍 범위에 대해 kCCA(Kernel Canonical Correlation Analysis) 기반 회귀 트레이닝이 수행되는 단계; 및상기 RBF 기반 회귀 트레이닝 결과 및 kCCA 기반 회귀 트레이닝 결과가 사용자에 의해 지정된 블렌딩 파라미터에 의해 조합되어 상기 소스 애니메이션의 표정에 대응하는 상기 타겟 애니메이션의 표정을 생성하는 최종 리타게팅 단계를 구비하는 얼굴 애니메이션 리타게팅 방법
2 2
제1 항에 있어서, 상기 소스 애니메이션이 입력되는 단계는미리 캡쳐되어 리타게팅된 인체 모델의 블렌드쉐이프(blendshapes)가 상기 입력 데이터로서 인가되는 것을 특징으로 하는 얼굴 애니메이션 리타게팅 방법
3 3
제2 항에 있어서, 상기 표정 쌍 범위가 설정되는 단계는외부로부터 소스 애니메이션과 타겟 애니메이션에서 의미적으로 동일한 얼굴 표정을 갖는 구간을 지정하는 명령이 입력되면, 상기 동일한 얼굴 표정을 갖는 구간이 상기 표정 쌍 범위로 설정되는 단계; 및상기 표정 쌍 범위가 행렬식으로 변환되는 단계를 구비하는 것을 특징으로 하는 얼굴 애니메이션 리타게팅 방법
4 4
제3 항에 있어서, 상기 표정 쌍 범위로 설정되는 단계는상기 소스 애니메이션과 상기 타겟 애니메이션 각각에서 수학식(여기서 bi는 대응하는 가중치 wi의 블렌드쉐이프이며, Sourceexp와 targetexp는 각각 소스 애니메이션과 타겟 애니메이션에서 의미적으로 동일한 얼굴 표정을 나타낸다
5 5
제4 항에 있어서, 상기 행렬식으로 변환되는 단계는상기 소스 애니메이션과 상기 타겟 애니메이션 각각을 수학식 및(여기서 S는 소스 애니메이션의 표정 행렬의 범위를 나타내고, T는 소스 애니메이션의 표정 행렬의 범위(S)에 대응하는 타겟 애니메이션의 표정 행렬의 범위를 나타낸다
6 6
제5 항에 있어서, 상기 RBF 기반 회귀 트레이닝이 수행되는 단계는RBF 가중치가 계산되는 단계; 및상기 RBF 가중치를 이용하여 RBF 출력 벡터가 계산되는 단계를 구비하는 것을 특징으로 하는 얼굴 애니메이션 리타게팅 방법
7 7
제6 항에 있어서, 상기 RBF 가중치가 계산되는 단계는상기 RBF 가중치가 수학식 (여기서 ri는 계산되어야 하는 상기 RBF 가중치를 나타내고, np는 표정 쌍 범위의 개수를 나타내고, wi는 가중치 입력 벡터를 나타내며, F(wi)는 계산된 출력을 나타낸다
8 8
제7 항에 있어서, 상기 RBF 출력 벡터가 계산되는 단계는상기 가중치 입력 벡터(wi(i= 1, 2,
9 9
제8 항에 있어서, 상기 kCCA 기반 회귀 트레이닝 단계는상기 소스 애니메이션의 표정 행렬(S)과 상기 타겟 애니메이션의 표정 행렬(T)을 이용하여 상관 계수(correlation coefficient)(ρ)가 계산되는 단계;표준 선형 회귀를 이용하여 최소 자승 판별값이 최소화되도록 리타게팅 모델이 생성되는 단계;생성된 리타게팅 모델로부터 kCCA 선형 연산자(MkCCA)가 계산되는 단계; 및상기 kCCA 선형 연산자(MkCCA)와 커널 함수를 이용하여 획득되는 커널화된 벡터()를 이용하여 kCCA 출력 벡터가 계산되는 단계를 구비하고,상기 상관 계수가 수학식(여기서, hs, ht 는 계수 벡터(coefficient vector)로서 각각 와, 로 계산되며, φ함수는 특정 데이터를 낮은 차원으로 매핑시키는 함수이며, 데이터의 차원을 낮추는 데 사용된다
10 10
삭제
11 11
제9 항에 있어서, 상기 최종 리타게팅 단계는최종 리타게팅 출력 벡터(tfinal)가 상기 RBF 기반 회귀 트레이닝 결과인 RBF 출력 벡터(tRBF)와 상기 kCCA 기반 회귀 트레이닝 결과인 kCCA 출력 벡터(tkCCA)를 애니메이터에 의해 설정되는 상기 블렌딩 파라미터(α)에 의해 수학식(여기서, 블렌딩 파라미터(blending parameter)(α)는 [0, 1] 범위 내의 실수)로서 계산되는 것을 특징으로 하는 얼굴 애니메이션 리타게팅 방법
12 12
제11 항에 있어서, 상기 얼굴 애니메이션 리타게팅 방법은상기 타겟 애니메이션에 대해 모션 와핑이 수행되는 단계를 더 구비하는 것을 특징으로 하는 얼굴 애니메이션 리타게팅 방법
13 13
제12 항에 있어서, 상기 모션 와핑이 수행되는 단계는상기 소스 애니메이션의 특정 감성적 시퀀스를 위해 상기 타겟 애니메이션의 얼굴 형태와 표정 변화의 타이밍 양쪽이 모두 포함되는 감성적 시퀀스 쌍이 외부로부터 인가되는 명령에 응답하여 설정되는 단계;상기 감성적 시퀀스 쌍에서 모션 와핑이 수행되어야할 구간이 획득되도록 휴리스틱 탐색이 수행되는 단계; 및상기 휴리스틱 탐색을 통해 획득된 구간에 대해 1차원 라플라시안 좌표(1D Laplacian coordinates)를 이용하여 상기 타겟 애니메이션의 움직임 구간들에 대응하는 원본 리타게트된 움직임 곡선에 대해 모션 와핑이 수행되는 단계를 구비하는 것을 특징으로 하는 얼굴 애니메이션 리타게팅 방법
14 14
제13 항에 있어서, 상기 휴리스틱 탐색이 수행되는 단계는상기 모션 와핑이 수행되어야 할 시작 프레임들(Fst)이 수학식(여기서 은 리타게트된 소스 움직임의 현재 시작 프레임이고, 는 소스 쌍 구간의 시작 프레임이고, δ는 애니메이터 또는 사용자에 의해 지정되는 문턱값이다
15 15
제14 항에 있어서, 상기 1차원 라플라시안 좌표를 이용하여 모션 와핑이 수행되는 단계는상기 1차원 라플라시안 좌표상의 모든 타겟 제어 차원(nt)에 대해 전체 n개의 프레임들에서 키 값(key value)(f(t))이 변환되는 단계;라플라시안 좌표(L)가 수학식(여기서, Fo는 매 제어 차원에 대한 모든 키 값을 저장하는 n X nt 행렬이고, Δ는 (n-1)X n 인 1차원 라플라시안 행렬)Δ의 원소는 수학식에 의해 계산되는 단계를 구비하는 것을 특징으로 하는 얼굴 애니메이션 리타게팅 방법
16 16
제15 항에 있어서, 상기 1차원 라플라시안 좌표를 이용하여 모션 와핑이 수행되는 단계는 상기 1차원 라플라시안 좌표로부터 최종 키 값(F)들이 복원되는 단계; 및수학식 (여기서, T는 m X nt 행렬을 의미하고, CT는 T에 대응하는 열에 1을 갖는 m X n 행렬을 의미한다
17 17
제1 항 내지 제9 항 및 제11 항 내지 제16 항 중 어느 한 항에 있어서, 상기 얼굴 애니메이션 리타게팅 방법을 실행하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체
18 18
소스 애니메이션의 특정 감성적 시퀀스를 위해 타겟 애니메이션의 얼굴 형태와 표정 변화의 타이밍 양쪽이 모두 포함되는 감성적 시퀀스 쌍이 외부로부터 인가되는 명령에 응답하여 설정되는 단계;상기 감성적 시퀀스 쌍에서 모션 와핑이 수행되어야할 구간이 획득되도록 휴리스틱 탐색이 수행되는 단계; 및상기 휴리스틱 탐색을 통해 획득된 구간에 대해 1차원 라플라시안 좌표(1D Laplacian coordinates)를 이용하여 상기 타겟 애니메이션의 움직임 구간들에 대응하는 원본 리타게트된 움직임 곡선에 대해 모션 와핑이 수행되는 단계를 구비하는 것을 특징으로 하는 얼굴 애니메이션 모션 와핑 방법
19 19
제18 항에 있어서, 상기 휴리스틱 탐색이 수행되는 단계는상기 모션 와핑이 수행되어야 할 시작 프레임들(Fst)이 수학식(여기서 은 리타게트된 소스 움직임의 현재 시작 프레임이고, 는 소스 쌍 구간의 시작 프레임이고, δ는 애니메이터 또는 사용자에 의해 지정되는 문턱값이다
20 20
제19 항에 있어서, 상기 1차원 라플라시안 좌표를 이용하여 모션 와핑이 수행되는 단계는상기 1차원 라플라시안 좌표상의 모든 타겟 제어 차원(nt)에 대해 전체 n개의 프레임들 각각에서 키 값(key value)(f(t))이 변환되는 단계;라플라시안 좌표(L)가 수학식(여기서, Fo는 매 제어 차원에 대한 모든 키 값들을 저장하는 n X nt 행렬이고, Δ는 (n-1)X n 인 1차원 라플라시안 행렬)Δ의 원소는 수학식에 의해 계산되는 단계를 구비하는 것을 특징으로 하는 얼굴 애니메이션 모션 와핑 방법
21 21
제20 항에 있어서, 상기 1차원 라플라시안 좌표를 이용하여 모션 와핑이 수행되는 단계는 상기 1차원 라플라시안 좌표로부터 최종 키 값(F)들이 복원되는 단계; 및수학식 (여기서, T는 m X nt 행렬을 의미하고, CT는 T에 대응하는 열에 1을 갖는 m X n 행렬을 의미한다
22 22
제18 항 내지 제21 항 중 어느 한 항에 있어서, 상기 얼굴 애니메이션 모션 와핑 방법을 실행하기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 문화체육관광부 한국과학기술원 콘텐츠산업기술지원사업(지정공모) 2D 동영상의 고품질 3D 입체 동영상 변환 자동화 기술
2 미래창조과학부 ㈜디지털아이디어 첨단융복합콘텐츠기술개발지원사업 고품질 3D 영상의 효율적인 제작을 위한 파이프라인 관리 및 온스테이지 사전시각화 기술 개발