맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

딥러닝 기반 단안 RGB 이미지 3차원 장면 복원 방법 및 장치

  • 기술번호 : KST2023006049
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 카메라의 자세가 주어진 RGB 이미지 시퀀스를 기반으로 GRU Fusion 및 프로젝션 손실을 적용하여 3차원 장면을 복원하는 방법 및 장치가 개시된다. 3차원 장면 복원 방법은, RGB 이미지들 중 일부 이미지들을 키 프레임으로 선정하고 선정한 키 프레임에 해당하는 이미지들을 볼륨의 특정 영역에 대응하는 로컬 조각으로 지정하는 단계, CNN을 통해 RGB 이미지 시퀀스의 각 이미지의 특징을 추출하는 단계, 각 이미지의 특징을 각 이미지의 주어진 자세를 활용하여 3차원 공간으로 역투사하고 누적하는 단계, 3차원 CNN 레이어와 MLP를 통해 특징이 누적된 3차원 공간인 볼륨으로부터 TSDF 볼륨을 생성하는 단계, 생성된 TSDF 볼륨을 3차원 메쉬로 생성하는 단계, 및 특정 로컬 조각에 해당하는 특정 영역이 3차원 메쉬로 복원될 때, 복원 시작부터 특정 영역의 복원 직전까지 복원이 완료된 3차원 지도와 특정 영역에 대해 복원된 3차원 지도를 합치는 단계를 포함한다.
Int. CL G06T 17/05 (2011.01.01) G06T 7/593 (2017.01.01) G06T 7/90 (2017.01.01) G06T 17/20 (2006.01.01) G06N 3/08 (2023.01.01) G06N 3/04 (2023.01.01) G06T 15/08 (2011.01.01)
CPC G06T 17/05(2013.01) G06T 7/593(2013.01) G06T 7/90(2013.01) G06T 17/20(2013.01) G06N 3/08(2013.01) G06N 3/045(2013.01) G06T 15/08(2013.01) G06T 2207/20081(2013.01) G06T 2207/20084(2013.01)
출원번호/일자 1020220113323 (2022.09.07)
출원인 한양대학교 산학협력단
등록번호/일자
공개번호/일자 10-2023-0036543 (2023.03.14) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020210119173   |   2021.09.07
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2022.09.07)
심사청구항수 7

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한양대학교 산학협력단 대한민국 서울특별시 성동구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 임종우 서울특별시 성동구
2 성창호 서울특별시 성동구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인이상 대한민국 서울특별시 서초구 바우뫼로 ***(양재동, 우도빌딩 *층)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2022.09.07 수리 (Accepted) 1-1-2022-0942467-99
2 선행기술조사의뢰서
Request for Prior Art Search		 2023.05.17 수리 (Accepted) 9-1-9999-9999999-89
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
딥러닝 기반으로 단안 RGB 이미지의 3차원 장면을 복원하는 방법으로서,RGB 이미지들 중 일부 특정 이미지들을 키 프레임(key frame)으로 선정하는 단계;선정한 키 프레임에 해당하는 영역을 로컬 조각(local fragment)으로 지정하는 단계;합성곱 신경망(convolutional neural network, CNN)으로 이루어진 특징 추출 네트워크(feature extraction network)를 통해 로컬 조각들로 구성된 RGB 이미지 시퀀스의 각 이미지의 특징을 추출하는 단계;상기 각 이미지의 특징을 각 이미지의 주어진 자세를 활용하여 3차원 공간으로 역투사(back projection)하고 누적하는 단계;3차원 CNN 레이어와 다중 레이어 퍼셉트론(multi-layer perceptron, MLP)를 통해 상기 특징이 누적된 3차원 공간인 볼륨으로부터 트룬케이티드 부호화 거리ㅍ필드(truncated signed distance fields, TSDF) 볼륨을 생성하는 단계;생성된 TSDF 볼륨을 3차원 메쉬(mesh)로 생성하는 단계; 및특정 로컬 조각에 해당하는 특정 영역이 상기 3차원 메쉬로 복원될 때, 복원 시작부터 상기 특정 영역의 복원 직전까지 복원이 완료된 3차원 지도와 상기 특정 영역에 대해 복원된 3차원 지도를 합치는 단계;를 포함하는, 3차원 장면 복원 방법
2 2
청구항 1에 있어서,상기 TSDF 볼륨과 각 이미지에서 주어진 자세 또는 각 이미지에서 카메라가 바라보는 시점을 이용하여 2차원 공간의 깊이 이미지로 투영하는 단계; 및상기 2차원 공간의 깊이 이미지와 원본의 깊이 이미지 간의 차이를 구하는 단계를 더 포함하고,여기서 상기 차이는 상기 특징 추출 네트워크, 상기 3차원 CNN 레이어 및 상기 다중 레이어 퍼셉트론을 포함한 3차원 장면 복원을 위한 딥러닝 모델의 학습에 이용되는, 3차원 장면 복원 방법
3 3
RGB 이미지 기반 3차원 환경지도 복원 시스템으로서,합성곱 신경망(convolutional neural network, CNN)으로 이루어진 특징 추출 네트워크(feature extraction network)를 통해 각 이미지의 특징을 추출하는 특징 추출부;추출된 각 이미지의 특징을 이미지의 주어진 자세를 활용하여 3차원 공간으로 역투사(back projection)하여 누적하는 특징 백 프로젝션부;특징이 누적된 3차원 공간인 볼륨을 3차원 CNN 레이어를 거쳐 다중레이어 퍼셉트론(multi-layer perceptron, MLP)를 통해 트룬케이티드 부호화 거리필드(truncated signed distance fields, TSDF) 볼륨을 생성하는 TSDF 볼륨 예측부; 및생성된 TSDF 볼륨을 3차원 메쉬(mesh)로 생성하는 3D 메쉬 예측부;를 포함하는 3차원 환경지도 복원 시스템
4 4
청구항 3에 있어서,상기 3D 메쉬 예측부는, 상기 TSDF 볼륨과 각 이미지에서 주어진 자세를 이용하여 2차원 공간의 깊이 이미지로 투영하는, 3차원 환경지도 복원 시스템
5 5
청구항 4에 있어서,상기 2차원 공간의 깊이 이미지와 원본의 깊이 이미지 간의 차이를 구하는 학습관리부를 더 포함하며, 상기 학습관리부에서 구해진 차이는 3차원 환경지도 복원을 위한 적어도 하나의 딥러닝 모델의 학습에 사용되는, 3차원 환경지도 복원 시스템
6 6
청구항 3에 있어서,상기 RGB 이미지 시퀀스 내에 있는 모든 이미지들 중 특정 이미지를 키 프레임(key frame)으로 선정하고, 선정한 키 프레임에 해당하는 영역을 로컬 조각(local fragment)으로 지정하는 RGB 이미지 정렬부를 더 포함하며, 상기 키 프레임은 상기 RGB 이미시 시퀀스 내에서 연속적인 구간을 가장 많이 형성하는 이미지인, 3차원 환경지도 복원 시스템
7 7
청구항 6에 있어서,상기 RGB 이미지 시퀀스로부터 생성되는 하나의 3차원 공간을 복수의 로컬 조각들로 분할하여 상기 3차원 메쉬를 생성한 후 다시 합치는 게이트 순환 유닛(gated recurrent unit, GRU) 융합부를 더 포함하며,상기 GRU 융합부는 제N 로컬 조각에 해당하는 제N 영역이 복원될 때, 복원 시작부터 상기 제N 영역의 복원 직전까지 복원이 완료된 3차원 지도와 상기 제N 영역에 대해 복원된 지도를 합치도록 구성되는, 3차원 환경지도 복원 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부(2017Y) (재)한국연구재단 이공분야기초연구사업 / 중견연구자지원사업 / (유형1-2)중견연구(연평균연구비 1억원~2억원 이내) 극한 환경에서의 이벤트 카메라 및 물리 센서와 딥러닝의 융합을 통한 강건한 자세 추정 및 3차원 환경 복원 알고리즘