맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

동적 개체 모션 캡쳐 방법 및 그 장치

  • 기술번호 : KST2015099856
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 동적 개체 모션 캡쳐 방법 및 그 장치에 관한 것으로, 골격계를 기반으로 골격계의 움직임을 통해 동작을 취하는 인체와 같은 동적 개체의 움직임 정보를 멀티카메라를 이용하여 촬영한 다시점 비디오 영상으로부터 동적 모션을 취하는 객체의 외형정보 및 주요 관절의 모션 정보를 복원하도록 한다. 본 발명에 따르면, 가시광 영역의 영상 센서만을 이용하여 동적 모션을 취하는 개체의 모션 정보를 복원할 수 있으며, 복원된 정보를 효율적으로 저장하여 다시점 영상을 재현할 수 있는 이점이 있다. 또한, 특정한 마커의 부착 없이 동적 개체의 모션 정보를 복원할 수 있는 이점이 있다.
Int. CL G06T 17/00 (2006.01)
CPC
출원번호/일자 1020090126716 (2009.12.18)
출원인 한국전자통신연구원
등록번호/일자 10-1307341-0000 (2013.09.05)
공개번호/일자 10-2011-0070058 (2011.06.24) 문서열기
공고번호/일자 (20130911) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2009.12.18)
심사청구항수 17

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김호원 대한민국 서울특별시 강북구
2 임성재 대한민국 광주광역시 서구
3 주한별 대한민국 대전광역시 서구
4 강현 대한민국 대전광역시 유성구
5 구본기 대한민국 대전광역시 유성구
6 추창우 대한민국 대전광역시 서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 한양특허법인 대한민국 서울특별시 강남구 논현로**길 **, 한양빌딩 (도곡동)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 주식회사파티오 인천광역시 부평구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2009.12.18 수리 (Accepted) 1-1-2009-0784037-79
2 의견제출통지서
Notification of reason for refusal		 2013.02.04 발송처리완료 (Completion of Transmission) 9-5-2013-0081370-98
3 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2013.04.01 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2013-0281522-20
4 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2013.04.01 수리 (Accepted) 1-1-2013-0281521-85
5 등록결정서
Decision to grant		 2013.08.30 발송처리완료 (Completion of Transmission) 9-5-2013-0605816-06
6 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2015.02.02 수리 (Accepted) 4-1-2015-0006137-44
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
동적 개체의 골격계(skeleta structure) 및 근육계(muscle structure) 특성과, 상기 동적 개체의 움직임을 촬영한 다시점 비디오 영상을 기반으로 상기 동적 개체에 대한 3차원 모델을 생성하는 단계;상기 다시점 비디오 영상으로부터 추출된 다시점 영상의 각 프레임으로부터 상기 동적 개체의 움직임에 대한 상기 3차원 모델의 기하학적 외형정보를 복원하는 단계;상기 복원하는 단계의 상기 기하학적 외형정보로부터 획득된 비주얼 헐을 구성하는 각 복셀(voxel)의 가시성 정보를 이용하여 상기 프레임의 동작에 대한 3차원 스켈렉톤을 근사화하는 단계;근사화된 상기 프레임의 동작에 대한 3차원 스켈렉톤의 정보와 상기 동적 개체의 3차원 모델 정보를 입력 받아 해당 프레임에서의 3차원 모델의 골격계를 구성하는 각 관절들의 위치정보에 근거하여 상기 3차원 모델의 자세를 추정하는 단계; 및상기 골격계의 자세 정보를 기반으로 변형된 기하학적 메쉬 구조의 외형정보를 상기 다시점 영상에 투영시켜 생성된 다시점 합성영상과, 상기 다시점 영상을 비교하여 그 오차에 따라 상기 기하학적 외형 정보를 보정하여 상기 3차원 모델의 형상을 추정하는 단계;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
2 2
청구항 1에 있어서,상기 3차원 모델은, 기하학적 외형을 표현하는 메쉬구조와 사진학적(photometric) 외형을 표현하는 텍스쳐맵;동적 개체의 해부학정보를 기반으로 구축된 골격계(skeleta structure); 및상기 골격계에 종속되는 근육계(muscle structure);를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
3 3
제 2 항에 있어서, 상기 3차원 모델은,상기 동적 개체의 골격계 구조를 기반으로 형상을 유지하며,상기 골격계를 구성하는 하부 관절의 회전 및 관절 간에 해부학을 기반으로 표현되는 상기 근육계의 수축/이완을 통해 형상 변형 및 동작을 취하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
4 4
청구항 1에 있어서, 상기 스켈렉톤을 근사화하는 단계는,복원된 상기 기하학적 외형정보를 상기 다시점 영상에 투영하는 단계;상기 기하학적 외형정보가 투영된 다시점 영상의 2D 실루엣의 접선(tangential line)을 따라 일정 간격으로 샘플링하며 상기 2D 실루엣과 교차하는 3차원 복셀들을 추출하는 단계;추출된 상기 3차원 복셀들을 포함하고, 상기 3차원 복셀들을 최단거리로 연결하여 복원된 외형을 교차하는 3차원 단면을 생성하는 단계; 및생성된 상기 3차원 단면과 교차하는 상기 3차원 복셀들의 무게중심을 연결하여 스켈렉톤을 생성하는 단계;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
5 5
청구항 1에 있어서, 상기 자세를 추정하는 단계는,상기 3차원 모델의 관절 간의 길이정보와 현재 복원 중인 프레임의 이전 프레임에 복원된 3차원 모델의 골격계 자세정보를 이용하여, 현재 프레임에 복원된 스켈렉톤 커브를 관절길이를 유지한 3차원 폴리곤 라인으로 근사화하여 상기 3차원 모델의 각 관절에 대응되는 관절 위치를 추정하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
6 6
청구항 1에 있어서, 상기 자세를 추정하는 단계는,상기 3차원 모델의 골격계를 구성하는 관절 중에 상기 다시점 영상에서 가시성을 가지는 관절과 이에 대응하는 스켈렉톤 상의 관절 위치 정보를 이용하여 전신 역방향 운동학을 기반으로 한 자코비안 행렬을 계산하는 단계;를 포함하며,상기 자코비안 행렬을 이용하여 가시성을 가지지 못한 관절을 포함하는 3차원 모델의 모든 관절의 자세 정보를 추정하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
7 7
청구항 6에 있어서, 상기 자코비안 행렬을 계산하는 단계는,전신 역방향 운동학은 동적 개체의 순방향 운동학의 중심점(Root)을 기준으로 각 단말(end effector)에 대해 세 점 이상의 다시점 영상에서 가시성을 가지는 3차원 대응점을 모두 이용하여 전신의 관절 모션에 대해 자코비안 행렬을 계산하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
8 8
청구항 7에 있어서, 상기 자세를 추정하는 단계는,인체계측학적 관절 회전각의 제약조건 유지하며 상기 3차원 대응점의 차분벡터를 최소화하는 전신 관절모션을 추정하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
9 9
청구항 1에 있어서, 상기 형상을 추정하는 단계는,복원된 상기 기하학적 외형정보를 상기 동적 객체의 각 부위정보로 분류하는 단계;상기 다시점 영상에 투영된 부위정보의 경계에 인접한 법선 정보를 가진 영상 내 칼라에지 정보를 추출하여 자기가림(self-occlusion)에 의해 소실된 2D 실루엣 정보를 추정하는 단계; 및상기 다시점 영상의 실루엣 오차를 최소화하도록 형상을 변형하는 단계;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
10 10
청구항 1에 있어서, 상기 형상을 추정하는 단계는,상기 3차원 모델의 메쉬구조의 각 정점에 대해 정점을 포함하는 3차원 단면의 중심점에서 정점으로의 방사선을 생성하고 가시성을 가지는 다시점 영상에 투영된 방사선을 따라 3차원 비주얼 헐(Visual hull)의 경계까지 템플릿 매칭을 수행하여 칼라오차를 최소화하는 정점의 위치를 추정하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
11 11
청구항 1에 있어서, 상기 형상을 추정하는 단계는,상기 골격계를 구성하는 조인트의 회전에 의한 자세를 제어하는 단계;변경된 자세 정보에 기반하여 상기 골격계에 연결된 근육의 수축/이완 작업을 수행하는 단계;상기 골격계의 자세 정보에 의해 파라미트릭 표현되는 스윕 곡면의 전역적 형상을 변형시키는 단계;상기 근육과 연계된 스윕 곡면의 근육의 수축/이완에 의한 국부적 형상을 변형시키는 단계; 및상기 스윕 곡면에 연계된 메쉬구조의 각 정점(vertex)의 표면을 변형시키는 단계;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
12 12
청구항 2에 있어서, 상기 형상을 추정하는 단계에서의 형상 추정 잔존(residual) 오차와, 상기 골격계의 자세 정보, 상기 다시점 영상으로부터 복원된 텍스쳐 맵, 및 제어 파라미터 값 중 적어도 하나를 포함하는 모션 정보를 저장하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
13 13
청구항 12에 있어서, 상기 모션 정보를 저장하는 단계에서 저장된 모션 정보에 근거하여 상기 각 프레임의 다시점 영상을 재현하는 단계;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 방법
14 14
동적 개체의 골격계 및 근육계 특성을 기반으로 상기 동적 개체에 대한 3차원 모델을 생성하는 3차원 모델 생성부;상기 동적 개체의 움직임을 촬영한 다시점 비디오 영상으로부터 추출된 다시점 영상의 각 프레임으로부터 상기 동적 개체의 움직임에 대한 상기 3차원 모델의 기하학적 외형정보를 복원하는 외형정보 복원부;상기 기하학적 외형정보로부터 상기 프레임의 동작에 대한 3차원 스켈렉톤을 근사화하는 스켈렉톤 근사화부;상기 프레임에서의 3차원 모델의 골격계를 구성하는 각 관절들의 위치정보에 근거하여 상기 3차원 모델의 자세를 추정하는 자세 추정부;상기 골격계의 자세 정보를 기반으로 변형된 기하학적 메쉬 구조의 외형정보를 상기 다시점 영상에 투영시켜 생성된 다시점 합성영상과 상기 다시점 영상을 비교한 오차에 따라 상기 3차원 모델의 형상을 추정하는 형상 추정부;를 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 장치
15 15
청구항 14에 있어서,상기 골격계의 움직임에 대응하여 상기 메쉬구조를 변형시켜 상기 동적 개체의 외형적 움직임을 표현하는 파라미트릭 제어부(Parametric controller);를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 장치
16 16
청구항 14에 있어서,형상 추정 잔존(residual) 오차와, 상기 골격계의 자세 정보, 상기 다시점 영상으로부터 복원된 텍스쳐 맵, 및 제어 파라미터 값 중 적어도 하나를 포함하는 모션 정보가 저장되는 저장부;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 장치
17 17
청구항 16에 있어서, 상기 저장부에 저장된 모션 정보에 근거하여 상기 각 프레임의 다시점 영상을 재현하는 재현부;를 더 포함하는 것을 특징으로 하는 동적 개체 모션 캡쳐 장치
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US08659594 US 미국 FAMILY
2 US20110148875 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US2011148875 US 미국 DOCDBFAMILY
2 US8659594 US 미국 DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 문화체육관광부 한국전자통신연구원 IT원천기술개발 방통융합형 Full 3D 복원 기술 개발