| 1 |
1
미리 학습된 인공 신경망으로 구현되고, 이미지 데이터와 지정된 수의 픽셀에 대한 깊이 정보가 포함된 희소 깊이맵이 결합된 이미지 깊이 정보를 인가받아, 상기 이미지 깊이 정보로부터 상기 이미지 데이터의 각 픽셀에 대한 깊이값을 추정하여 임시 깊이맵을 획득하고, 각 픽셀에 대한 유사 픽셀의 위치를 나타내는 오프셋으로 구성되는 오프셋맵 및 유사도를 나타내는 가중치로 구성되는 가중치맵 획득하는 타겟 추정부; 상기 희소 깊이맵에서 깊이 정보가 포함된 유효 픽셀을 선택하고, 선택된 유효 픽셀 각각에 대응하는 유사 픽셀의 위치와 깊이 정보를 상기 오프셋맵과 상기 가중치맵을 이용하여 획득하여, 깊이 정보가 획득된 유사 픽셀이 유효 픽셀로서 상기 희소 깊이맵에 추가된 유효 깊이맵을 획득하는 전파 모듈; 및 상기 임시 깊이맵과 상기 유효 깊이맵을 인가받아 결합하여 결합 깊이맵을 획득하고, 미리 학습된 인공 신경망으로 구현되어, 상기 결합 깊이맵으로부터 학습된 방식에 따라 고밀도 깊이맵을 획득하는 깊이맵 획득부를 포함하는 깊이맵 채움 장치
|
| 2 |
2
제1항에 있어서, 상기 타겟 추정부는 상기 이미지 깊이 정보를 인가받아 미리 학습된 방식으로 인코딩하여 이미지 깊이 특징맵을 획득하는 인코더; 상기 이미지 깊이 특징맵을 인가받고, 학습된 방식에 따라 상기 이미지 깊이 특징맵을 디코딩하여 특징 디코딩맵을 획득하는 디코더; 및 상기 특징 디코딩맵을 인가받고 미리 학습된 서로 다른 여러 방식으로 상기 특징 디코딩맵을 추가 디코딩하여 상기 임시 깊이맵과 상기 오프셋맵 및 상기 가중치맵을 획득하는 픽셀 추정부를 포함하는 깊이맵 채움 장치
|
| 3 |
3
제2항에 있어서, 상기 픽셀 추정부는 상기 특징 디코딩맵을 인가받아 학습된 방식에 따라 각 픽셀의 깊이 정보를 추정하여 상기 임시 깊이맵을 획득하는 깊이 추정부; 상기 특징 디코딩맵을 인가받아 학습된 방식에 따라 픽셀 각각에 대해 가장 유사한 기지정된 개수의 상기 유사 픽셀 각각의 위치를 나타내는 오프셋을 판별하여 상기 오프셋맵을 획득하는 오프셋 추정부; 및 상기 특징 디코딩맵을 인가받아 학습된 방식에 따라 픽셀 각각에 대해 가장 유사한 기지정된 개수의 상기 유사 픽셀 각각과의 유사도를 나타내는 가중치를 판별하여 상기 가중치맵을 획득하는 가중치 추정부를 포함하는 깊이맵 채움 장치
|
| 4 |
4
제3항에 있어서, 상기 전파 모듈은 상기 희소 깊이맵을 인가받아 깊이 정보가 포함된 유효 픽셀을 선택하고, 선택된 유효 픽셀의 깊이 정보와 위치에 따른 유효 픽셀 정보를 획득하는 유효 픽셀 선택부; 상기 유효 픽셀 정보와 상기 오프셋맵을 인가받아 상기 유효 픽셀의 위치에 대응하는 기지정된 개수의 유사 픽셀의 위치를 판별하는 오프셋 분석부; 상기 유효 픽셀 정보와 상기 가중치맵을 인가받아 상기 유효 픽셀의 깊이 정보에 대응하는 가중치를 가중하여 상기 유사 픽셀의 깊이 정보를 획득하는 가중치 분석부; 및 깊이 정보가 획득된 상기 유사 픽셀을 유효 픽셀로 추가 설정하여, 상기 희소 깊이맵에 추가하여 상기 유효 깊이맵을 획득하는 깊이값 설정부를 포함하는 깊이맵 채움 장치
|
| 5 |
5
제4항에 있어서, 상기 깊이값 설정부는 상기 유사 픽셀의 위치가 서로 다른 다수의 유효 픽셀에 대한 유사 픽셀로 중첩되는 것으로 판별되면, 각 유효 픽셀에서 가중치가 가중된 깊이 정보의 누적 평균을 계산하여 해당 유사 픽셀의 깊이 정보로 획득하는 깊이맵 채움 장치
|
| 6 |
6
제5항에 있어서, 상기 깊이값 설정부는 이전 설정된 모든 유효 픽셀에 대한 깊이 정보가 유사 픽셀로 전파되어 유효 픽셀로 추가되면, 반복 횟수가 기지정된 기준 횟수 이하인지 판별하여, 상기 기준 횟수 이하이면, 추가 설정된 유효 픽셀의 위치 정보 및 깊이 정보가 포함된 유효 픽셀 정보를 상기 오프셋 분석부로 전달하고, 상기 기준 횟수를 초과하면, 현재 획득된 상기 유효 깊이맵을 상기 깊이맵 획득부로 전달하는 깊이맵 채움 장치
|
| 7 |
7
제1항에 있어서, 상기 깊이맵 채움 장치는 상기 이미지 데이터를 획득하는 이미지 획득부; 상기 이미지 데이터에 대응하는 영역에 대해 라이다를 이용하여 감지된 깊이 정보가 포함된 상기 희소 깊이맵을 획득하는 깊이 정보 획득부; 및 상기 이미지 데이터와 상기 희소 깊이맵을 결합하여 상기 이미지 깊이 정보를 획득하는 이미지 깊이 결합부를 더 포함하는 깊이맵 채움 장치
|
| 8 |
8
이미지 데이터와 지정된 수의 픽셀에 대한 깊이 정보가 포함된 희소 깊이맵을 인가받아 고밀도 깊이맵을 획득하는 깊이맵 채움 장치의 깊이맵 채움 방법에 있어서, 상기 이미지 데이터와 상기 희소 깊이맵이 결합된 이미지 깊이 정보를 획득하는 단계; 미리 학습된 인공 신경망을 이용하여, 상기 이미지 깊이 정보로부터 상기 이미지 데이터의 각 픽셀에 대한 깊이값이 추정된 임시 깊이맵과 각 픽셀에 대한 유사 픽셀의 위치를 나타내는 오프셋으로 구성되는 오프셋맵 및 각 픽셀에 대한 유사 픽셀의 유사도를 나타내는 가중치로 구성되는 가중치맵을 획득하는 단계; 상기 희소 깊이맵에서 깊이 정보가 포함된 유효 픽셀을 선택하고, 선택된 유효 픽셀 각각에 대응하는 유사 픽셀의 위치와 깊이 정보를 상기 오프셋맵과 상기 가중치맵을 이용하여 획득하여, 깊이 정보가 획득된 유사 픽셀이 유효 픽셀로서 상기 희소 깊이맵에 추가된 유효 깊이맵을 획득하는 단계; 및 상기 임시 깊이맵과 상기 유효 깊이맵을 인가받아 결합하여 결합 깊이맵을 획득하고, 미리 학습된 인공 신경망을 이용하여 상기 결합 깊이맵으로부터 학습된 방식에 따라 고밀도 깊이맵을 획득하는 단계를 포함하는 깊이맵 채움 방법
|
| 9 |
9
제8항에 있어서, 상기 가중치맵을 획득하는 단계는 상기 이미지 깊이 정보를 인가받아 미리 학습된 방식으로 인코딩하여 이미지 깊이 특징맵을 획득하는 단계; 상기 이미지 깊이 특징맵을 인가받고, 학습된 방식에 따라 상기 이미지 깊이 특징맵을 디코딩하여 특징 디코딩맵을 획득하는 단계; 및 상기 특징 디코딩맵을 인가받이 상기 임시 깊이맵과 상기 오프셋맵 및 상기 가중치맵을 획득하기 위해 미리 학습된 서로 다른 여러 방식으로 상기 특징 디코딩맵을 추가 디코딩하는 단계를 포함하는 깊이맵 채움 방법
|
| 10 |
10
제9항에 있어서, 상기 추가 디코딩하는 단계는 상기 특징 디코딩맵을 인가받아 학습된 방식에 따라 각 픽셀의 깊이 정보를 추정하여 상기 임시 깊이맵을 획득하는 단계; 상기 특징 디코딩맵을 인가받아 학습된 방식에 따라 픽셀 각각에 대해 가장 유사한 기지정된 개수의 상기 유사 픽셀 각각의 위치를 나타내는 오프셋을 판별하여 상기 오프셋맵을 획득하는 단계; 및 상기 특징 디코딩맵을 인가받아 학습된 방식에 따라 픽셀 각각에 대해 가장 유사한 기지정된 개수의 상기 유사 픽셀 각각과의 유사도를 나타내는 가중치를 판별하여 상기 가중치맵을 획득하는 단계를 포함하는 깊이맵 채움 방법
|
| 11 |
11
제10항에 있어서, 상기 유효 깊이맵을 획득하는 단계는 상기 희소 깊이맵을 인가받아 깊이 정보가 포함된 유효 픽셀을 선택하고, 선택된 유효 픽셀의 깊이 정보와 위치에 따른 유효 픽셀 정보를 획득하는 단계; 상기 유효 픽셀 정보와 상기 오프셋맵을 인가받아 상기 유효 픽셀의 위치에 대응하는 기지정된 개수의 유사 픽셀의 위치를 판별하는 단계; 상기 유효 픽셀 정보와 상기 가중치맵을 인가받아 상기 유효 픽셀의 깊이 정보에 대응하는 가중치를 가중하여 상기 유사 픽셀의 깊이 정보를 획득하는 단계; 및 상기 유효 깊이맵을 획득하기 위해, 깊이 정보가 획득된 상기 유사 픽셀을 유효 픽셀로 추가 설정하여 상기 희소 깊이맵에 추가하는 단계를 포함하는 깊이맵 채움 방법
|
| 12 |
12
제11항에 있어서, 상기 희소 깊이맵에 추가하는 단계는 상기 유사 픽셀의 위치가 서로 다른 다수의 유효 픽셀에 대한 유사 픽셀로 중첩되는지 판별하는 단계; 중첩되는 것으로 판별되는 경우, 각 유효 픽셀에서 가중치가 가중된 깊이 정보의 누적 평균을 계산하여 해당 유사 픽셀의 깊이 정보로 획득하는 단계를 더 포함하는 깊이맵 채움 방법
|
| 13 |
13
제12항에 있어서, 상기 희소 깊이맵에 추가하는 단계는 이전 설정된 모든 유효 픽셀에 대한 깊이 정보가 유사 픽셀로 전파되어 유효 픽셀로 추가되면, 반복 횟수가 기지정된 기준 횟수 이하인지 판별하는 단계; 상기 기준 횟수 이하이면, 추가 설정된 유효 픽셀의 위치 정보 및 깊이 정보가 포함된 유효 픽셀 정보와 오프셋맵 및 가중치맵을 이용하여 유사 픽셀을 유효 픽셀로 추가 설정하는 단계; 및 상기 기준 횟수를 초과하면, 현재 획득된 상기 유효 깊이맵을 최종 업데이트된 유효 깊이맵으로 설정하는 단계를 포함하는 깊이맵 채움 방법
|
| 14 |
14
제8항에 있어서, 상기 이미지 깊이 정보를 획득하는 단계는 상기 이미지 데이터를 획득하는 단계; 상기 이미지 데이터에 대응하는 영역에 대해 라이다를 이용하여 감지된 깊이 정보가 포함된 상기 희소 깊이맵을 획득하는 단계; 및 상기 이미지 데이터와 상기 희소 깊이맵을 결합하여 상기 이미지 깊이 정보를 획득하는 단계를 포함하는 깊이맵 채움 방법
|
| 15 |
15
제8항 내지 제14항 중 어느 한 항에 따른 상기 깊이맵 채움 방법을 수행하기 위한 컴퓨팅 장치에서 판독 가능한 프로그램 명령어가 기록된 기록 매체
|
