| 1 |
1
하나의 입력 이미지로부터 복수의 베이스라인에 대응하는 복수의 차이맵과 마스크 영역을 표시하는 마스크를 생성하는 차이맵 생성 네트워크; 및상기 복수의 차이맵 중 하나를 이용하여 깊이맵을 생성하는 깊이 변환 회로를 포함하되, 상기 복수의 차이맵은 제 1 베이스라인에 대응하는 제 1 차이맵과 상기 제 1 베이스라인보다 긴 제 2 베이스라인에 대응하는 제 2 차이맵을 포함하는 깊이 추정 장치
|
| 2 |
2
청구항 1에 있어서, 상기 제 1 차이맵, 상기 제 2 차이맵, 및 상기 마스크를 조합하여 합성 차이맵을 생성하는 합성 회로를 더 포함하는 깊이 추정 장치
|
| 3 |
3
청구항 2에 있어서, 상기 합성 회로는 상기 제 1 차이맵에서 마스킹 영역의 데이터를 상기 제 2 차이맵의 데이터와 합성하여 상기 합성 차이맵을 생성하는 깊이 추정 장치
|
| 4 |
4
청구항 1에 있어서, 상기 차이맵 생성 네트워크는제 1 신경망을 이용하여 상기 입력 이미지를 인코딩하여 특징 데이터를 생성하는 인코더;제 2 신경망을 이용하여 상기 특징 데이터로부터 상기 제 1 차이맵을 생성하는 제 1 디코더;제 3 신경망을 이용하여 상기 특징 데이터로부터 왼쪽 차이맵과 오른쪽 차이맵을 생성하는 제 2 디코더;제 4 신경망을 이용하여 상기 특징 데이터로부터 상기 제 2 차이맵을 생성하는 제 3 디코더; 및상기 왼쪽 차이맵과 상기 오른쪽 차이맵으로부터 상기 마스크를 생성하는 마스크 생성 회로를 포함하는 깊이 추정 장치
|
| 5 |
5
청구항 4에 있어서, 상기 마스크 생성 회로는상기 오른쪽 차이맵을 상기 왼쪽 차이맵에 따라 변환하여 재구성된 왼쪽 차이맵을 생성하는 변환회로; 및상기 왼쪽 차이맵과 상기 재구성된 왼쪽 차이맵으로부터 상기 마스크를 생성하는 비교 회로를 포함하는 깊이 추정 장치
|
| 6 |
6
청구항 5에 있어서, 상기 비교 회로는 상기 왼쪽 차이맵과 상기 재구성된 왼쪽 차이맵의 차이를 임계점과 비교하여 상기 마스크의 데이터를 결정하는 깊이 추정 장치
|
| 7 |
7
청구항 4에 있어서, 상기 제 1 신경망, 상기 제 2 신경망, 상기 제 3 신경망, 및 상기 제 4 신경망에 대한 학습 동작은 제 1 이미지, 상기 제 1 이미지와 상기 제 1 베이스라인 이미지 쌍을 이루는 제 2 이미지, 및 상기 제 1 이미지와 상기 제 2 베이스라인 이미지 쌍을 이루는 제 3 이미지를 이용하는 깊이 추정 장치
|
| 8 |
8
청구항 7에 있어서, 학습 과정에서 상기 제 1 디코더의 출력에 따라 제 1 손실 함수를 연산하는 제 1 손실 연산 회로를 더 포함하되,상기 제 1 손실 연산 회로는 제 1 차이맵에 따라 상기 제 2 이미지를 변환하여 생성된 제 1 재구성 이미지와 상기 제 1 이미지를 이용하여 이미지 재구성 손실 함수를 연산하는 깊이 추정 장치
|
| 9 |
9
청구항 7에 있어서, 상기 왼쪽 차이맵에 따라 상기 제 3 이미지를 변환하여 생성된 제 2 재구성 이미지와 상기 제 1 이미지를 이용한 재구성 손실 함수를 연산하는 제 2 손실 연산 회로; 및상기 오른쪽 차이맵에 따라 상기 제 1 이미지를 변환하여 생성된 제 3 재구성 이미지와 상기 제 3 이미지를 이용하여 이미지 재구성 손실 함수를 연산하는 제 3 손실 연산 회로를 더 포함하는 깊이 추정 장치
|
| 10 |
10
청구항 7에 있어서, 상기 제 3 이미지 상기 제 2 차이맵에 따라 변환하여 생성된 제 4 재구성 이미지와 상기 제 1 이미지를 이용하여 손실 함수를 연산하고, 상기 제 2 차이맵과 상기 제 1 이미지를 이용하여 손실 함수를 연산하고, 상기 제 1 차이맵과 상기 제 2 차이맵을 이용하여 손실 함수를 연산하는 제 4 손실 연산 회로를 더 포함하는 깊이 추정 장치
|
| 11 |
11
단일 카메라 이미지에 대응하는 입력 이미지를 수신하는 단계;상기 입력 이미지로부터 제 1 베이스라인에 대응하는 제 1 차이맵과 제 2 베이스라인에 대응하는 제 2 차이맵을 포함하는 다수의 차이맵을 생성하는 단계; 및상기 다수의 차이맵 중 하나를 이용하여 깊이맵을 생성하는 단계를 포함하는 깊이 추정 방법
|
| 12 |
12
청구항 11에 있어서, 상기 입력 이미지로부터 마스크 영역을 나타내는 마스크를 생성하는 단계; 및상기 제 1 차이맵, 상기 제 2 차이맵, 및 상기 마스크를 이용하여 합성 차이맵을 생성하는 단계를 더 포함하는 깊이 추정 방법
|
| 13 |
13
청구항 12에 있어서, 상기 합성 차이맵을 생성하는 단계는 상기 마스크 영역에 대응하는 상기 제 1 차이맵의 데이터와 상기 제 2 차이맵을 합성하는 단계를 포함하는 깊이 추정 방법
|
| 14 |
14
청구항 12에 있어서, 제 1 신경망을 이용하여 상기 입력 이미지를 인코딩하여 특징 데이터를 생성하는 단계를 더 포함하고,상기 다수의 차이맵을 생성하는 단계는 제 2 신경망을 이용하여 상기 특징 데이터를 디코딩하여 상기 제 1 차이맵을 생성하는 단계; 및 상기 제 4 신경망을 이용하여 상기 특징 데이터를 디코딩하여 상기 제 2 차이맵을 생성하는 단계를 포함하고,상기 마스크를 생성하는 단계는 제 3 신경망을 이용하여 상기 특징 데이터를 디코딩하여 왼쪽 차이맵과 오른쪽 차이맵을 생성하는 단계; 및 상기 왼쪽 차이맵과 상기 오른쪽 차이맵에 따라 상기 마스크를 생성하는 단계를 포함하는 깊이 추정 방법
|
| 15 |
15
청구항 14에 있어서, 상기 마스크를 생성하는 단계는상기 오른쪽 차이맵을 상기 왼쪽 차이맵에 따라 변환하여 재구성된 왼쪽 차이맵을 생성하는 단계; 및상기 왼쪽 차이맵과 상기 재구성된 왼쪽 차이맵의 차이와 임계점을 비교하여 상기 마스크를 생성하는 단계를 포함하는 깊이 추정 방법
|
| 16 |
16
청구항 14에 있어서, 상기 제 1 신경망, 상기 제 2 신경망, 상기 제 3 신경망, 및 상기 제 4 신경망에 대한 학습 동작은 제 1 이미지, 상기 제 1 이미지와 제 1 베이스라인 이미지 쌍을 이루는 제 2 이미지, 및 상기 제 1 이미지와 제 2 베이스라인 이미지 쌍을 이루는 제 3 이미지를 이용하는 깊이 추정 방법
|
| 17 |
17
청구항 16에 있어서, 상기 학습 동작은제 1 차이맵에 따라 상기 제 2 이미지를 변환하여 생성된 제 1 재구성 이미지와 상기 제 1 이미지를 이용하여 제 1 손실 함수를 연산하는 단계;상기 왼쪽 차이맵에 따라 상기 제 3 이미지를 변환하여 생성된 제 2 재구성 이미지와 상기 제 1 이미지를 이용하여 제 2 손실 함수를 연산하는 단계;상기 오른쪽 차이맵에 따라 상기 제 1 이미지를 변환하여 생성된 제 3 재구성 이미지와 상기 제 3 이미지를 이용하여 제 3 손실 함수를 연산하는 단계; 상기 제 1 손실 함수, 상기 제 2 손실 함수, 및 상기 제 3 손실 함수에 따라 상기 제 1 신경망, 상기 제 2 신경망, 및 상기 제 3 신경망을 학습시키는 단계; 상기 제 3 이미지 상기 제 2 차이맵에 따라 변환하여 생성된 제 4 재구성 이미지와 상기 제 1 이미지를 이용하여 손실 함수를 연산하고, 상기 제 2 차이맵과 상기 제 1 이미지를 이용하여 손실 함수를 연산하고, 상기 제 1 차이맵과 상기 제 2 차이맵을 이용하여 손실 함수를 연산하여 제 4 손실 함수를 연산하는 단계; 및상기 제 4 손실 함수에 따라 상기 제 4 신경망을 학습시키는 단계를 포함하는 깊이 추정 방법
|
