| 1 |
1
시공간 정보를 이용한 깊이 완성 장치로서, 프로세서; 및상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 카메라 및 라이다를 통해 RGB 이미지 및 희소 이미지를 입력 받고, 인코더-디코더 기반의 제1 분기를 통해 상기 RGB 이미지의 색상 정보를 처리하여 조밀한 제1 깊이 맵을 생성하고, 인코더-디코더 기반의 제2 분기를 통해 상기 희소 이미지를 업샘플링하여 조밀한 제2 깊이 맵을 생성하고, 상기 제1 깊이 맵 및 제2 깊이 맵을 융합하여 제3 깊이 맵을 생성하고, 상기 제3 깊이 맵을 콘볼루션 LSTM(Convolution Long Term Short Memory)에 입력하여 이동 중에 연속적으로 캡쳐된 RGB 이미지에 포함된 움직이는 객체의 궤적을 포함하는 최종 깊이 맵을 생성하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 시공간 정보를 이용한 깊이 완성 장치
|
| 2 |
2
제1항에 있어서, 상기 제1 분기의 제1 인코더와 상기 제2 분기의 제2 인코더는 복수의 레이어를 포함하고, 상기 제1 및 제2 인코더는 콘볼루션 레이어, 스킵 연결이 있는 복수의 잔차 블록을 포함하는 시공간 정보를 이용한 깊이 완성 장치
|
| 3 |
3
제2항에 있어서, 상기 RGB 이미지의 풍부한 특징을 보존하는데 도움이 되도록 상기 제1 인코더의 각 레이어는 상기 제2 인코더의 각 레이어에 연결되는 시공간 정보를 이용한 깊이 완성 장치
|
| 4 |
4
제1항에 있어서, 상기 콘볼루션 LSTM은 상기 RGB 이미지의 이전 프레임에서 해당 로컬 인접 픽셀의 과거 상태에 따라 입력 픽셀의 미래 상태를 계산하는 시공간 정보를 이용한 깊이 완성 장치
|
| 5 |
5
제4항에 있어서, 상기 콘볼루션 LSTM은 상기 이전 프레임에서 은닉 상태 및 셀 통계을 계산하고, 상기 RGB 이미지를 슬라이딩하는 윈도우를 사용하여 셀의 미리 상태를 계산하여 움직이는 객체의 궤적을 획득하는 시공간 정보를 이용한 깊이 완성 장치
|
| 6 |
6
프로세서 및 메모리를 포함하는 장치에서 시공간 정보를 이용하여 깊이를 완성하는 방법으로서, 카메라 및 라이다를 통해 RGB 이미지 및 희소 이미지를 입력 받는 단계; 인코더-디코더 기반의 제1 분기를 통해 상기 RGB 이미지의 색상 정보를 처리하여 조밀한 제1 깊이 맵을 생성하는 단계; 인코더-디코더 기반의 제2 분기를 통해 상기 희소 이미지를 업샘플링하여 조밀한 제2 깊이 맵을 생성하는 단계; 상기 제1 깊이 맵 및 제2 깊이 맵을 융합하여 제3 깊이 맵을 생성하는 단계; 및상기 제3 깊이 맵을 콘볼루션 LSTM(Convolution Long Term Short Memory)에 입력하여 이동 중에 연속적으로 캡쳐된 RGB 이미지에 포함된 움직이는 객체의 궤적을 포함하는 최종 깊이 맵을 생성하는 단계를 포함하는 시공간 정보를 이용한 깊이 완성 방법
|
| 7 |
7
제6항에 따른 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체
|
