| 1 |
1
영상 처리 장치에 있어서,제1 시점 영상 및 제2 시점 영상을 포함하는 2차원의 레퍼런스 영상을 입력받아 상기 제1 시점 영상과 제2 시점 영상간 매칭 확률을 추정하는 방법을 학습시키는 매칭 확률 학습부;상기 매칭 확률을 보정하기 위한 유사도를 추정하는 방법을 학습시키는 유사도 학습부;상기 매칭 확률과 상기 유사도를 이용하여 매칭 확률을 보정하는 방법을 학습시키는 최종 추론부; 및상기 보정된 매칭 확률을 이용하여 확률 기반 랜더링을 통해 외각 시점을 합성한 영상을 생성하는 방법을 학습시키는 랜더링 학습부를 포함하되,상기 매칭 확률은상기 제1 시점 영상을 픽셀 단위로 이동시켰을 때 상기 제2 시점 영상과 매칭될 확률로서 픽셀의 이동 거리에 대한 함수로 표시되고 픽셀별로 존재하며,상기 유사도는상기 픽셀별로 존재하는 매칭 확률이 타 픽셀과 유사한 정도이고,상기 매칭 확률 학습부는상기 레퍼런스 영상에 대해 특정 사이즈의 필터를 이용하여 컨벌루션을 수행하고,상기 컨벌루션 결과에 대해 다운 샘플링을 수행하며,상기 다운 샘플링 결과에 대해 업 샘플링을 수행하되상기 컨벌루션과 다운 샘플링은 미리 정해진 회수만큼 수행하는 방법을 학습시키는 것을 특징으로 하는 영상 처리 장치
|
| 2 |
2
제1 항에 있어서,상기 랜더링 학습부는상기 외각 시점이 합성된 영상과 상기 레퍼런스 영상 중 상기 외각 시점에 상응하는 레퍼런스 영상간의 오차가 최소가 되도록 상기 외각 시점을 합성하는 방법을 학습시키는 것을 특징으로 하는 영상 처리 장치
|
| 3 |
3
제1 항에 있어서,상기 매칭 확률 학습부는상기 제1 시점 영상을 이동 범위 내에서 픽셀 단위로 이동시켜가며 픽셀별로 상기 매칭 확률을 추정하되,상기 픽셀 단위로 이동 시, 다음 픽셀에서의 매칭 확률은 이전 픽셀에서의 매칭 확률과의 곱이며, 상기 매칭 확률이 최대인 픽셀의 위치를 상기 제1 시점 영상의 이동 거리로 추정하는 방법을 학습시키는 것을 특징으로 하는 영상 처리 장치
|
| 4 |
4
제3 항에 있어서,상기 매칭 확률 학습부는상기 매칭 확률이 최대인 픽셀이 복수로 연속 존재하는 경우, 상기 복수의 픽셀의 위치에 대하여 계산된 평균의 위치를 상기 제1 시점 영상의 이동 거리로 추정하는 방법을 학습시키는 것을 특징으로 하는 영상 처리 장치
|
| 5 |
5
삭제
|
| 6 |
6
제1 항에 있어서,상기 유사도 학습부는컨벌루션 및 비선형 매핑을 수행하고,N×N(N은 전체 영상의 픽셀 수)의 대칭 행렬(symmetric matrix)인 유사도 행렬(affinity matrix)과 N×N의 대각 행렬(diagonal matrix)인 디그리 행렬(degree matrix)을 이용하여 상기 유사도를 추정하는 방법을 학습시키는 것을 특징으로 하는 영상 처리 장치
|
| 7 |
7
제2 항에 있어서,상기 최종 추론부는상기 오차가 최소가 되도록 상기 보정된 매칭 확률을 추정하는 방법을 학습시키되,상기 매칭 확률 학습부에서 학습된 매칭 확률 또는 상기 유사도 학습부에서 학습된 유사도 중 어느 하나에 가중치를 적용하는 것을 특징으로 하는 영상 처리 장치
|
| 8 |
8
영상 처리 장치가 단일 영상 기반의 외각 시점을 합성하는 방법에 있어서,(a) 제1 시점 영상 및 제2 시점 영상을 포함하는 2차원의 레퍼런스 영상을 입력받아 상기 제1 시점 영상과 제2 시점 영상간 매칭 확률을 추정하는 방법을 학습시키는 단계;(b) 상기 매칭 확률을 보정하기 위한 유사도를 추정하는 방법을 학습시키는 단계;(c) 상기 매칭 확률과 상기 유사도를 이용하여 상기 매칭 확률을 보정하는 방법을 학습시키는 단계; 및(d) 상기 보정된 매칭 확률을 이용하여 확률 기반 랜더링을 통해 외각 시점을 합성한 영상을 생성하는 방법을 학습시키는 단계를 포함하되,상기 매칭 확률은상기 제1 시점 영상을 픽셀 단위로 이동시켰을 때 상기 제2 시점 영상과 매칭될 확률로서 픽셀의 이동 거리에 대한 함수로 표시되고 픽셀별로 존재하며,상기 유사도는상기 픽셀별로 존재하는 매칭 확률이 타 픽셀과 유사한 정도이고,상기 단계(a)는, 상기 레퍼런스 영상에 대해 특정 사이즈의 필터를 이용하여 컨벌루션을 수행하고,상기 컨벌루션 결과에 대해 다운 샘플링을 수행하며,상기 다운 샘플링 결과에 대해 업 샘플링을 수행하되상기 컨벌루션과 다운 샘플링은 미리 정해진 회수만큼 수행하는 방법을 학습시키는 것을 특징으로 하는 단일 영상 기반의 외각 시점 합성 방법
|
| 9 |
9
제8 항에 있어서,상기 (d) 단계는상기 외각 시점이 합성된 영상과 상기 외각 시점에 상응하는 레퍼런스 영상인 제2 시점 영상간의 오차가 최소가 되도록 상기 외각 시점을 합성하는 방법을 학습시키는 것을 특징으로 하는 단일 영상 기반의 외각 시점 합성 방법
|
| 10 |
10
제9 항에 있어서,상기 (c) 단계는상기 오차가 최소가 되도록 상기 보정된 매칭 확률을 추정하는 방법을 학습시키되,상기 매칭 확률 학습부에서 학습된 매칭 확률 또는 상기 (b) 단계에서 학습된 유사도 중 어느 하나에 가중치를 적용하는 것을 특징으로 하는 단일 영상 기반의 외각 시점 합성 방법
|
| 11 |
11
영상 처리 장치가 단일 영상 기반의 외각 시점을 합성하는 방법에 있어서,(a) 단일 영상인 2차원의 좌 영상 또는 우 영상을 입력받는 단계; 및(b) 딥 러닝(deep learning) 알고리즘을 이용하여 학습된 매칭 확률에 따라서 상기 좌 영상 또는 우 영상에 대응되는 우 영상 또는 좌 영상을 생성하는 단계를 포함하되,상기 (b) 단계는(b-1) 제1 시점 영상과 제2 시점 영상을 포함하는 2차원의 레퍼런스 영상을 입력받아 상기 제1 시점 영상과 제2 시점 영상간의 상기 매칭 확률을 추정하는 방법을 학습시키는 단계;(b-2) 상기 매칭 확률을 보정하기 위한 유사도를 추정하는 방법을 학습시키는 단계;(b-3) 상기 매칭 확률과 상기 유사도를 이용하여 상기 매칭 확률을 보정하는 방법을 학습시키는 단계; 및(b-4) 상기 보정된 매칭 확률을 이용하여 확률 기반 랜더링을 통해 외각 시점을 합성한 영상을 생성하는 방법을 학습시키는 단계를 포함하되,상기 매칭 확률은상기 제1 시점 영상을 픽셀 단위로 이동시켰을 때 상기 제2 시점 영상과 매칭될 확률로서 픽셀의 이동 거리에 대한 함수로 표시되고 픽셀별로 존재하며,상기 유사도는상기 픽셀별로 존재하는 매칭 확률이 타 픽셀과 유사한 정도이고,상기 단계(b-1)은, 상기 레퍼런스 영상에 대해 특정 사이즈의 필터를 이용하여 컨벌루션을 수행하고,상기 컨벌루션 결과에 대해 다운 샘플링을 수행하며,상기 다운 샘플링 결과에 대해 업 샘플링을 수행하되상기 컨벌루션과 다운 샘플링은 미리 정해진 회수만큼 수행하는 방법을 학습시키는 것을 특징으로 하는 단일 영상 기반의 외각 시점 합성 방법
|
| 12 |
12
제11 항에 있어서,상기 (b-4) 단계는상기 외각 시점이 합성된 영상과 상기 외각 시점에 상응하는 레퍼런스 영상인 제2 시점 영상간의 오차가 최소가 되도록 상기 외각 시점을 합성하는 방법을 학습시키는 것을 특징으로 하는 단일 영상 기반의 외각 시점 합성 방법
|
| 13 |
13
제12 항에 있어서,상기 (b-3) 단계는상기 오차가 최소가 되도록 상기 보정된 매칭 확률을 추정하는 방법을 학습시키되,상기 매칭 확률 학습부에서 학습된 매칭 확률 또는 상기 (b-2) 단계에서 학습된 유사도 중 어느 하나에 가중치를 적용하는 것을 특징으로 하는 단일 영상 기반의 외각 시점 합성 방법
|
