| 1 |
1
복수의 대상물들에 대해 단안 카메라로 촬영된 영상들 중에서 시간적으로 인접한 두 개의 프레임들에 각각 상응하는 소스 이미지와 타겟 이미지를 포함하는 이미지 쌍을 복수 개 저장하는 학습 데이터베이스;상기 이미지 쌍에 포함되는 상기 소스 이미지에 기초하여 상기 소스 이미지의 화소 좌표 별로 깊이를 추정하여 추정 소스 깊이를 출력하는 깊이 추정 네트워크;상기 이미지 쌍에 포함되는 상기 타겟 이미지 및 상기 추정 소스 깊이에 기초하여 상기 타겟 이미지의 화소 좌표 별로 깊이를 추정하여 추정 타겟 깊이를 출력하는 피드백 깊이 추정 네트워크;상기 이미지 쌍에 포함되는 상기 소스 이미지 및 상기 타겟 이미지와 상기 단안 카메라의 고유 파라미터에 기초하여 상기 소스 이미지와 상기 타겟 이미지 사이의 상대적인 자세 변화를 추정하여 상기 타겟 이미지에 대한 상기 소스 이미지의 상대적인 자세 변화를 나타내는 제1 추정 자세 변환 식 및 상기 소스 이미지에 대한 상기 타겟 이미지의 상대적인 자세 변화를 나타내는 제2 추정 자세 변환 식을 출력하는 자세 추정 네트워크;상기 추정 타겟 깊이, 상기 제1 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 상기 소스 이미지를 변환하여 재구성 타겟 이미지를 생성하는 이미지 재구성 모듈;상기 추정 소스 깊이, 상기 제2 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 재구성 타겟 깊이를 생성하는 깊이 재구성 모듈;상기 타겟 이미지, 상기 재구성 타겟 이미지, 상기 추정 타겟 깊이, 및 상기 재구성 타겟 깊이에 기초하여 최종 손실을 계산하는 손실 결정 모듈; 및상기 최종 손실에 기초하여 상기 최종 손실이 최소화되도록 상기 깊이 추정 네트워크, 상기 피드백 깊이 추정 네트워크, 및 상기 자세 추정 네트워크를 훈련시키는 네트워크 훈련 모듈을 포함하는 깊이 추정 학습 장치
|
| 2 |
2
제1 항에 있어서, 상기 제1 추정 자세 변환 식은, 상기 타겟 이미지에 대한 상기 소스 이미지의 회전 이동의 정도를 나타내는 회전 변환 식 및 상기 타겟 이미지에 대한 상기 소스 이미지의 병진 이동의 정도를 나타내는 병진 변환 식을 포함하고,상기 제2 추정 자세 변환 식은, 상기 제1 추정 자세 변환 식의 역변환에 상응하는 깊이 추정 학습 장치
|
| 3 |
3
제1 항에 있어서, 상기 이미지 재구성 모듈은,상기 추정 타겟 깊이, 상기 제1 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 상기 타겟 이미지의 타겟 화소 좌표가 상기 소스 이미지 상에 투영되는 투영 좌표를 결정하고, 상기 소스 이미지에서 상기 투영 좌표에 인접한 화소들의 화소값들을 보간하여 상기 타겟 화소 좌표에 대한 재구성 화소값을 결정하고, 상기 타겟 이미지에 포함되는 모든 타겟 화소 좌표들에 대한 상기 재구성 화소값들을 포함하는 이미지를 상기 재구성 타겟 이미지로 생성하는 깊이 추정 학습 장치
|
| 4 |
4
제3 항에 있어서, 상기 이미지 재구성 모듈은,상기 고유 파라미터 및 상기 타겟 이미지의 상기 타겟 화소 좌표에 대한 상기 추정 타겟 깊이에 기초하여 상기 타겟 화소 좌표를 3D 좌표로 변환하여 제1 3D 좌표를 생성하고, 상기 제1 3D 좌표에 상기 제1 추정 자세 변환 식을 적용하여 제2 3D 좌표를 생성하고, 상기 고유 파라미터에 기초하여 상기 제2 3D 좌표를 2D 좌표로 변환하여 상기 투영 좌표를 결정하는 깊이 추정 학습 장치
|
| 5 |
5
제3 항에 있어서, 상기 이미지 재구성 모듈은,상기 소스 이미지에 포함되는 화소들 중에서 상기 투영 좌표에 상하좌우로 가장 인접한 4개의 화소들을 선택하고, 상기 투영 좌표와 상기 선택된 4개의 화소들 각각 사이의 거리에 반비례하는 가중치를 사용하여 상기 선택된 4개의 화소들의 화소값들을 가중 평균한 값을 상기 타겟 화소 좌표에 대한 상기 재구성 화소값으로 결정하는 깊이 추정 학습 장치
|
| 6 |
6
제1 항에 있어서, 상기 깊이 재구성 모듈은,상기 고유 파라미터 및 상기 소스 이미지의 소스 화소 좌표에 대한 상기 추정 소스 깊이에 기초하여 상기 소스 화소 좌표를 3D 좌표로 변환하여 제3 3D 좌표를 생성하고, 상기 제3 3D 좌표에 상기 제2 추정 자세 변환 식을 적용하여 제4 3D 좌표를 생성하고, 상기 제4 3D 좌표의 깊이 축에 상응하는 좌표값을 상기 재구성 타겟 깊이로 생성하는 깊이 추정 학습 장치
|
| 7 |
7
제1 항에 있어서, 상기 손실 결정 모듈은,상기 타겟 이미지와 상기 재구성 타겟 이미지 사이의 유사도에 기초하여 이미지 재구성 손실을 계산하는 이미지 재구성 손실 계산부;상기 추정 타겟 깊이와 상기 재구성 타겟 깊이 사이의 유사도에 기초하여 깊이 재구성 손실을 계산하는 깊이 재구성 손실 계산부; 및상기 이미지 재구성 손실 및 상기 깊이 재구성 손실의 가중 평균을 상기 최종 손실로 결정하는 최종 손실 결정부를 포함하는 깊이 추정 학습 장치
|
| 8 |
8
제7 항에 있어서, 상기 이미지 재구성 손실 계산부는,상기 타겟 이미지와 상기 재구성 타겟 이미지에 대한 SSIM(Structural Similarity Index Measure) 계산값을 포함하는 성분 및 상기 타겟 이미지와 상기 재구성 타겟 이미지에서 서로 대응되는 화소 좌표에 대한 화소값들의 차이의 합에 상응하는 성분을 가중 평균한 값을 상기 이미지 재구성 손실로 결정하고,상기 깊이 재구성 손실 계산부는,상기 추정 타겟 깊이와 상기 재구성 타겟 깊이에 대한 SSIM(Structural Similarity Index Measure) 계산값을 포함하는 성분 및 서로 대응되는 화소 좌표에 대한 상기 추정 타겟 깊이와 상기 재구성 타겟 깊이의 차이의 합에 상응하는 성분을 가중 평균한 값을 상기 깊이 재구성 손실로 결정하는 깊이 추정 학습 장치
|
| 9 |
9
제1 항에 있어서,상기 이미지 쌍에 포함되는 상기 소스 이미지 및 상기 타겟 이미지에 기초하여 상기 단안 카메라의 상기 고유 파라미터를 추정하고, 상기 고유 파라미터를 상기 자세 추정 네트워크, 상기 이미지 재구성 모듈, 및 상기 깊이 재구성 모듈에 제공하는 카메라 파라미터 추정 네트워크를 더 포함하고,상기 네트워크 훈련 모듈은 상기 최종 손실에 기초하여 상기 최종 손실이 최소화되도록 상기 카메라 파라미터 추정 네트워크를 훈련시키는 깊이 추정 학습 장치
|
| 10 |
10
복수의 대상물들에 대해 단안 카메라로 촬영된 영상들 중에서 시간적으로 인접한 두 개의 프레임들에 각각 상응하는 소스 이미지와 타겟 이미지를 포함하는 이미지 쌍을 복수 개 저장하는 학습 데이터베이스;상기 이미지 쌍에 포함되는 상기 소스 이미지에 기초하여 상기 소스 이미지의 화소 좌표 별로 깊이를 추정하여 추정 소스 깊이를 출력하는 깊이 추정 네트워크;상기 이미지 쌍에 포함되는 상기 타겟 이미지 및 상기 추정 소스 깊이에 기초하여 상기 타겟 이미지의 화소 좌표 별로 깊이를 추정하여 추정 타겟 깊이를 출력하는 피드백 깊이 추정 네트워크;상기 이미지 쌍에 포함되는 상기 소스 이미지 및 상기 타겟 이미지와 상기 단안 카메라의 고유 파라미터에 기초하여 상기 소스 이미지와 상기 타겟 이미지 사이의 상대적인 자세 변화를 추정하여 상기 타겟 이미지에 대한 상기 소스 이미지의 상대적인 자세 변화를 나타내는 제1 추정 자세 변환 식 및 상기 소스 이미지에 대한 상기 타겟 이미지의 상대적인 자세 변화를 나타내는 제2 추정 자세 변환 식을 출력하는 자세 추정 네트워크;상기 추정 타겟 깊이, 상기 제1 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 상기 소스 이미지를 변환하여 재구성 타겟 이미지를 생성하는 이미지 재구성 모듈;상기 추정 소스 깊이, 상기 제2 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 재구성 타겟 깊이를 생성하는 깊이 재구성 모듈;상기 타겟 이미지, 상기 재구성 타겟 이미지, 상기 추정 타겟 깊이, 및 상기 재구성 타겟 깊이에 기초하여 최종 손실을 계산하는 손실 결정 모듈;상기 최종 손실에 기초하여 상기 최종 손실이 최소화되도록 상기 깊이 추정 네트워크, 상기 피드백 깊이 추정 네트워크, 및 상기 자세 추정 네트워크를 훈련시키는 네트워크 훈련 모듈;상기 네트워크 훈련 모듈이 상기 학습 데이터베이스에 저장된 상기 복수의 이미지 쌍들을 사용하여 상기 깊이 추정 네트워크 및 상기 피드백 깊이 추정 네트워크에 대한 훈련을 완료한 후, 연속적으로 촬영된 이미지들에 대해 직전 이미지를 상기 소스 이미지로서 상기 깊이 추정 네트워크에 제공하고, 현재 이미지를 상기 타겟 이미지로서 상기 피드백 깊이 추정 네트워크에 제공하는 이미지 제공 모듈; 및상기 피드백 깊이 추정 네트워크로부터 출력되는 상기 추정 타겟 깊이를 상기 이미지 제공 모듈로부터 출력되는 상기 타겟 이미지와 연관시켜 깊이 정보를 포함하는 이미지로서 저장하는 이미지 저장 모듈을 포함하는 깊이 추정 시스템
|
| 11 |
11
학습 데이터베이스에 복수의 대상물들에 대해 단안 카메라로 촬영된 영상들 중에서 시간적으로 인접한 두 개의 프레임들에 각각 상응하는 소스 이미지와 타겟 이미지를 포함하는 이미지 쌍을 복수 개 저장하는 단계;깊이 추정 네트워크가 상기 이미지 쌍에 포함되는 상기 소스 이미지에 기초하여 상기 소스 이미지의 화소 좌표 별로 깊이를 추정하여 추정 소스 깊이를 출력하는 단계;피드백 깊이 추정 네트워크가 상기 이미지 쌍에 포함되는 상기 타겟 이미지 및 상기 추정 소스 깊이에 기초하여 상기 타겟 이미지의 화소 좌표 별로 깊이를 추정하여 추정 타겟 깊이를 출력하는 단계;자세 추정 네트워크가 상기 이미지 쌍에 포함되는 상기 소스 이미지 및 상기 타겟 이미지와 상기 단안 카메라의 고유 파라미터에 기초하여 상기 소스 이미지와 상기 타겟 이미지 사이의 상대적인 자세 변화를 추정하여 상기 타겟 이미지에 대한 상기 소스 이미지의 상대적인 자세 변화를 나타내는 제1 추정 자세 변환 식 및 상기 소스 이미지에 대한 상기 타겟 이미지의 상대적인 자세 변화를 나타내는 제2 추정 자세 변환 식을 출력하는 단계;이미지 재구성 모듈이 상기 추정 타겟 깊이, 상기 제1 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 상기 소스 이미지를 변환하여 재구성 타겟 이미지를 생성하는 단계;깊이 재구성 모듈이 상기 추정 소스 깊이, 상기 제2 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 재구성 타겟 깊이를 생성하는 단계;손실 결정 모듈이 상기 타겟 이미지, 상기 재구성 타겟 이미지, 상기 추정 타겟 깊이, 및 상기 재구성 타겟 깊이에 기초하여 최종 손실을 계산하는 단계; 및네트워크 훈련 모듈이 상기 최종 손실에 기초하여 상기 최종 손실이 최소화되도록 상기 깊이 추정 네트워크, 상기 피드백 깊이 추정 네트워크, 및 상기 자세 추정 네트워크를 훈련시키는 단계를 포함하는 깊이 추정 학습 방법
|
| 12 |
12
제11 항에 있어서, 상기 제1 추정 자세 변환 식은, 상기 타겟 이미지에 대한 상기 소스 이미지의 회전 이동의 정도를 나타내는 회전 변환 식 및 상기 타겟 이미지에 대한 상기 소스 이미지의 병진 이동의 정도를 나타내는 병진 변환 식을 포함하고,상기 제2 추정 자세 변환 식은, 상기 제1 추정 자세 변환 식의 역변환에 상응하는 깊이 추정 학습 방법
|
| 13 |
13
제11 항에 있어서, 상기 이미지 재구성 모듈이 상기 재구성 타겟 이미지를 생성하는 단계는,상기 추정 타겟 깊이, 상기 제1 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 상기 타겟 이미지의 타겟 화소 좌표가 상기 소스 이미지 상에 투영되는 투영 좌표를 결정하는 단계;상기 소스 이미지에서 상기 투영 좌표에 인접한 화소들의 화소값들을 보간하여 상기 타겟 화소 좌표에 대한 재구성 화소값을 결정하는 단계; 및상기 타겟 이미지에 포함되는 모든 타겟 화소 좌표들에 대한 상기 재구성 화소값들을 포함하는 이미지를 상기 재구성 타겟 이미지로 생성하는 단계를 포함하는 깊이 추정 학습 방법
|
| 14 |
14
제13 항에 있어서, 상기 추정 타겟 깊이, 상기 제1 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 상기 투영 좌표를 결정하는 단계는,상기 고유 파라미터 및 상기 타겟 이미지의 상기 타겟 화소 좌표에 대한 상기 추정 타겟 깊이에 기초하여 상기 타겟 화소 좌표를 3D 좌표로 변환하여 제1 3D 좌표를 생성하는 단계;상기 제1 3D 좌표에 상기 제1 추정 자세 변환 식을 적용하여 제2 3D 좌표를 생성하는 단계; 및상기 고유 파라미터에 기초하여 상기 제2 3D 좌표를 2D 좌표로 변환하여 상기 투영 좌표를 결정하는 단계를 포함하는 깊이 추정 학습 방법
|
| 15 |
15
제13 항에 있어서, 상기 소스 이미지에서 상기 투영 좌표에 인접한 화소들의 화소값들을 보간하여 상기 타겟 화소 좌표에 대한 상기 재구성 화소값을 결정하는 단계는,상기 소스 이미지에 포함되는 화소들 중에서 상기 투영 좌표에 상하좌우로 가장 인접한 4개의 화소들을 선택하는 단계; 및상기 투영 좌표와 상기 선택된 4개의 화소들 각각 사이의 거리에 반비례하는 가중치를 사용하여 상기 선택된 4개의 화소들의 화소값들을 가중 평균한 값을 상기 타겟 화소 좌표에 대한 상기 재구성 화소값으로 결정하는 단계를 포함하는 깊이 추정 학습 방법
|
| 16 |
16
제11 항에 있어서, 상기 깊이 재구성 모듈이 상기 재구성 타겟 깊이를 생성하는 단계는,상기 고유 파라미터 및 상기 소스 이미지의 소스 화소 좌표에 대한 상기 추정 소스 깊이에 기초하여 상기 소스 화소 좌표를 3D 좌표로 변환하여 제3 3D 좌표를 생성하는 단계;상기 제3 3D 좌표에 상기 제2 추정 자세 변환 식을 적용하여 제4 3D 좌표를 생성하는 단계; 및상기 제4 3D 좌표의 깊이 축에 상응하는 좌표값을 상기 재구성 타겟 깊이로 생성하는 단계를 포함하는 깊이 추정 학습 방법
|
| 17 |
17
제11 항에 있어서, 상기 손실 결정 모듈이 상기 최종 손실을 계산하는 단계는,상기 타겟 이미지와 상기 재구성 타겟 이미지 사이의 유사도에 기초하여 이미지 재구성 손실을 계산하는 단계;상기 추정 타겟 깊이와 상기 재구성 타겟 깊이 사이의 유사도에 기초하여 깊이 재구성 손실을 계산하는 단계; 및상기 이미지 재구성 손실 및 상기 깊이 재구성 손실의 가중 평균을 상기 최종 손실로 결정하는 단계를 포함하는 깊이 추정 학습 방법
|
| 18 |
18
제17 항에 있어서, 상기 이미지 재구성 손실을 계산하는 단계는,상기 타겟 이미지와 상기 재구성 타겟 이미지에 대한 SSIM(Structural Similarity Index Measure) 계산값을 포함하는 성분 및 상기 타겟 이미지와 상기 재구성 타겟 이미지에서 서로 대응되는 화소 좌표에 대한 화소값들의 차이의 합에 상응하는 성분을 가중 평균한 값을 상기 이미지 재구성 손실로 결정하는 단계를 포함하고,상기 깊이 재구성 손실을 계산하는 단계는,상기 추정 타겟 깊이와 상기 재구성 타겟 깊이에 대한 SSIM(Structural Similarity Index Measure) 계산값을 포함하는 성분 및 서로 대응되는 화소 좌표에 대한 상기 추정 타겟 깊이와 상기 재구성 타겟 깊이의 차이의 합에 상응하는 성분을 가중 평균한 값을 상기 깊이 재구성 손실로 결정하는 단계를 포함하는 깊이 추정 학습 방법
|
| 19 |
19
제11 항에 있어서,카메라 파라미터 추정 네트워크가 상기 이미지 쌍에 포함되는 상기 소스 이미지 및 상기 타겟 이미지에 기초하여 상기 단안 카메라의 상기 고유 파라미터를 추정하고, 상기 고유 파라미터를 상기 자세 추정 네트워크, 상기 이미지 재구성 모듈, 및 상기 깊이 재구성 모듈에 제공하는 단계; 및상기 네트워크 훈련 모듈이 상기 최종 손실에 기초하여 상기 최종 손실이 최소화되도록 상기 카메라 파라미터 추정 네트워크를 훈련시키는 단계를 더 포함하는 깊이 추정 학습 방법
|
| 20 |
20
학습 데이터베이스에 복수의 대상물들에 대해 단안 카메라로 촬영된 영상들 중에서 시간적으로 인접한 두 개의 프레임들에 각각 상응하는 소스 이미지와 타겟 이미지를 포함하는 이미지 쌍을 복수 개 저장하는 단계;깊이 추정 네트워크가 상기 이미지 쌍에 포함되는 상기 소스 이미지에 기초하여 상기 소스 이미지의 화소 좌표 별로 깊이를 추정하여 추정 소스 깊이를 출력하는 단계;피드백 깊이 추정 네트워크가 상기 이미지 쌍에 포함되는 상기 타겟 이미지 및 상기 추정 소스 깊이에 기초하여 상기 타겟 이미지의 화소 좌표 별로 깊이를 추정하여 추정 타겟 깊이를 출력하는 단계;자세 추정 네트워크가 상기 이미지 쌍에 포함되는 상기 소스 이미지 및 상기 타겟 이미지와 상기 단안 카메라의 고유 파라미터에 기초하여 상기 소스 이미지와 상기 타겟 이미지 사이의 상대적인 자세 변화를 추정하여 상기 타겟 이미지에 대한 상기 소스 이미지의 상대적인 자세 변화를 나타내는 제1 추정 자세 변환 식 및 상기 소스 이미지에 대한 상기 타겟 이미지의 상대적인 자세 변화를 나타내는 제2 추정 자세 변환 식을 출력하는 단계;이미지 재구성 모듈이 상기 추정 타겟 깊이, 상기 제1 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 상기 소스 이미지를 변환하여 재구성 타겟 이미지를 생성하는 단계;깊이 재구성 모듈이 상기 추정 소스 깊이, 상기 제2 추정 자세 변환 식, 및 상기 고유 파라미터에 기초하여 재구성 타겟 깊이를 생성하는 단계;손실 결정 모듈이 상기 타겟 이미지, 상기 재구성 타겟 이미지, 상기 추정 타겟 깊이, 및 상기 재구성 타겟 깊이에 기초하여 최종 손실을 계산하는 단계;네트워크 훈련 모듈이 상기 최종 손실에 기초하여 상기 최종 손실이 최소화되도록 상기 깊이 추정 네트워크, 상기 피드백 깊이 추정 네트워크, 및 상기 자세 추정 네트워크를 훈련시키는 단계;상기 네트워크 훈련 모듈이 상기 학습 데이터베이스에 저장된 상기 복수의 이미지 쌍들을 사용하여 상기 깊이 추정 네트워크 및 상기 피드백 깊이 추정 네트워크에 대한 훈련을 완료한 후, 이미지 제공 모듈이 연속적으로 촬영된 이미지들에 대해 직전 이미지를 상기 소스 이미지로서 상기 깊이 추정 네트워크에 제공하고, 현재 이미지를 상기 타겟 이미지로서 상기 피드백 깊이 추정 네트워크에 제공하는 단계; 및이미지 저장 모듈이 상기 피드백 깊이 추정 네트워크로부터 출력되는 상기 추정 타겟 깊이를 상기 이미지 제공 모듈로부터 출력되는 상기 타겟 이미지와 연관시켜 깊이 정보를 포함하는 이미지로서 저장하는 단계를 포함하는 깊이 추정 방법
|
