맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

물체와 상호작용하는 손의 추적을 위한 맨손 깊이 인페인팅 방법 및 시스템

  • 기술번호 : KST2022004954
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 조건부 적대적 생성망(cGAN)으로 구현되는 맨손 깊이 인페인팅을 사용하여 물체와 상호작용하는 손을 3D 추적하는 손의 추적을 위한 맨손 깊이 인페인팅 방법 및 시스템에 관한 것으로, 물체와 상호작용하는 손에 대한 카메라 이미지를 수신하는 단계, 상기 카메라 이미지에서 손 및 물체를 추적하여 깊이 인페인팅(depth inpainting)을 이용한 맨손 깊이 이미지를 생성하는 단계 및 상기 맨손 깊이 이미지에서 손 포즈를 추정하는 단계를 포함한다.
Int. CL G06T 5/00 (2019.01.01) G06T 7/20 (2017.01.01) G06T 7/70 (2017.01.01) G06T 7/50 (2017.01.01) G06N 3/08 (2006.01.01)
CPC G06T 5/005(2013.01) G06T 7/20(2013.01) G06T 7/70(2013.01) G06T 7/50(2013.01) G06N 3/08(2013.01) G06T 2207/10028(2013.01) G06T 2207/20081(2013.01) G06T 2207/20084(2013.01) G06T 2207/10028(2013.01)
출원번호/일자 1020200154704 (2020.11.18)
출원인 한국과학기술원
등록번호/일자 10-2395123-0000 (2022.05.02)
공개번호/일자
공고번호/일자 (20220509) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.11.18)
심사청구항수 12

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 우운택 대전광역시 유성구
2 조우진 대전광역시 유성구
3 박갑용 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2020.11.18 수리 (Accepted) 1-1-2020-1238374-26
2 선행기술조사의뢰서
Request for Prior Art Search		 2021.03.19 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2021.06.15 발송처리완료 (Completion of Transmission) 9-6-2021-0149257-53
4 의견제출통지서
Notification of reason for refusal		 2021.08.16 발송처리완료 (Completion of Transmission) 9-5-2021-0646918-25
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2021.10.18 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2021-1186514-14
6 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
 2021.10.18 수리 (Accepted) 1-1-2021-1186513-68
7 등록결정서
Decision to grant		 2022.02.24 발송처리완료 (Completion of Transmission) 9-5-2022-0154786-78
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
RGB-D 카메라를 이용하여 물체와 상호작용하는 손의 동작에 대한 카메라 이미지를 생성하는 단계; 상기 카메라 이미지를 사전 처리하는 단계;깊이 지도 생성기를 통해 입력되는 상기 카메라 이미지에서 손 및 물체를 추적하여 깊이 인페인팅(depth inpainting)을 이용한 맨손 깊이 이미지를 생성하는 단계; 및3D 맨손 추적기(3D bare-hand tracker)를 이용하여 상기 맨손 깊이 이미지에 대한 프레임당 자유도의 손 포즈를 추정하는 단계를 포함하되,상기 맨손 깊이 이미지를 생성하는 단계는조건부 적대적 생성망(conditional Generative Adversarial Network; cGAN)으로 구현되는 깊이 인페인팅을 이용하는 것으로, 상기 깊이 지도 생성기로 입력되는 상기 카메라 이미지에 대한 손 및 물체를 추적하여 상기 맨손 깊이 이미지를 생성하고, 맨손과 물체와 상호작용하는 손으로 구성된 한 쌍의 RGB-D 이미지를 손 관절과 함께 사용하여 상기 깊이 지도 생성기를 학습시키며,상기 맨손 깊이 이미지는물체와 상호작용하는 손에서 물체를 제외한 맨손 포즈에 대해 깊이 인페인팅된 것을 특징으로 하고,상기 3D 맨손 추적기는상기 맨손 깊이 이미지에서 색상 정보가 아닌 깊이 인페인팅된 깊이 정보만을 의존하여 맨손을 추적하는 것을 특징으로 하는, 맨손 깊이 인페인팅 방법
2 2
제1항에 있어서,상기 카메라 이미지를 수신하는 단계는단일 RGB-D(RGB-depth) 카메라를 사용하여 물체와 상호작용하는 손의 특성 동작에 대한 RGB-D 이미지인 상기 카메라 이미지를 수신하는, 맨손 깊이 인페인팅 방법
3 3
제2항에 있어서,상기 카메라 이미지를 수신하는 단계는상기 카메라 이미지를 사전 처리하여 조명 조건을 최소화하여 깊이 데이터를 정상화하는 단계를 포함하는, 맨손 깊이 인페인팅 방법
4 4
삭제
5 5
삭제
6 6
제1항에 있어서,상기 깊이 지도 생성기는맨손의 RGB-D 데이터 세트와 물체의 투사 형태를 나타내는 2D 실루엣을 합성하여 생성된 훈련 데이터 세트를 통해 학습되며, 상호작용하는 물체의 유형을 일반화하는 것을 특징으로 하는, 맨손 깊이 인페인팅 방법
7 7
제1항에 있어서,상기 손 포즈를 추정하는 단계는계층적 입자 필터(Hierarchical particle filter) 기반의 상기 3D 맨손 추적기(3D bare-hand tracker)를 이용하여 상기 맨손 깊이 이미지에 대한 프레임당 26도 자유도(DoF)의 손 포즈를 추정하는, 맨손 깊이 인페인팅 방법
8 8
제7항에 있어서,상기 손 포즈를 추정하는 단계는상기 맨손 깊이 이미지에서 획득되는 부분 손 정보로부터 손 관절을 포함하는 맨손의 손 포즈를 추정하는, 맨손 깊이 인페인팅 방법
9 9
삭제
10 10
삭제
11 11
RGB-D 카메라를 이용하여 물체와 상호작용하는 손의 동작에 대한 카메라 이미지를 생성하여 사전 처리하는 이미지 처리부;깊이 지도 생성기를 통해 입력되는 상기 카메라 이미지에서 손 및 물체를 추적하여 깊이 인페인팅(depth inpainting)을 이용한 맨손 깊이 이미지를 생성하는 깊이 이미지 생성부; 및3D 맨손 추적기(3D bare-hand tracker)를 이용하여 상기 맨손 깊이 이미지에 대한 프레임당 자유도의 손 포즈를 추정하는 포즈 추정부를 포함하되,상기 깊이 이미지 생성부는조건부 적대적 생성망(conditional Generative Adversarial Network; cGAN)으로 구현되는 깊이 인페인팅을 이용하는 것으로, 상기 깊이 지도 생성기로 입력되는 상기 카메라 이미지에 대한 손 및 물체를 추적하여 상기 맨손 깊이 이미지를 생성하고, 맨손과 물체와 상호작용하는 손으로 구성된 한 쌍의 RGB-D 이미지를 손 관절과 함께 사용하여 상기 깊이 지도 생성기를 학습시키며,상기 맨손 깊이 이미지는물체와 상호작용하는 손에서 물체를 제외한 맨손 포즈에 대해 깊이 인페인팅된 것을 특징으로 하고,상기 3D 맨손 추적기는상기 맨손 깊이 이미지에서 색상 정보가 아닌 깊이 인페인팅된 깊이 정보만을 의존하여 맨손을 추적하는 것을 특징으로 하는, 맨손 깊이 인페인팅 시스템
12 12
제11항에 있어서,상기 이미지 처리부는단일 RGB-D(RGB-depth) 카메라를 사용하여 물체와 상호작용하는 손의 특성 동작에 대한 RGB-D 이미지인 상기 카메라 이미지를 수신하는, 맨손 깊이 인페인팅 시스템
13 13
제12항에 있어서,상기 이미지 처리부는상기 카메라 이미지를 사전 처리하여 조명 조건을 최소화하여 깊이 데이터를 정상화하는, 맨손 깊이 인페인팅 시스템
14 14
삭제
15 15
삭제
16 16
제11항에 있어서,상기 깊이 이미지 생성부는맨손의 RGB-D 데이터 세트와 물체의 투사 형태를 나타내는 2D 실루엣을 합성하여 훈련 데이터 세트를 생성하여 상기 깊이 지도 생성기를 훈련시켜, 상호작용하는 물체의 유형을 일반화하는 것을 특징으로 하는, 맨손 깊이 인페인팅 시스템
17 17
제11항에 있어서,상기 포즈 추정부는계층적 입자 필터(Hierarchical particle filter) 기반의 상기 3D 맨손 추적기(3D bare-hand tracker)를 이용하여 상기 맨손 깊이 이미지에 대한 프레임당 26도 자유도(DoF)의 손 포즈를 추정하는, 맨손 깊이 인페인팅 시스템
18 18
제17항에 있어서,상기 포즈 추정부는상기 맨손 깊이 이미지에서 획득되는 부분 손 정보로부터 손 관절을 포함하는 맨손의 손 포즈를 추정하는, 맨손 깊이 인페인팅 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 고려대학교 차세대정보컴퓨팅기술개발사업 초실감 원격가상 인터랙션을 위한 사용자 복원 기술 개발
2 과학기술정보통신부 한국과학기술원 SW컴퓨팅산업원천기술개발사업(SW스타랩) 스마트 안경을 위한 WISE AR UI/UX 플랫폼 개발