| 1 |
1
스테레오스코픽 3차원 영상의 홀 영역을 채우는 방법에 있어서,상기 3차원 영상의 깊이도를 예측하여 깊이 맵을 생성하는 깊이 맵 생성 단계;상기 깊이 맵을 기반으로 상기 홀 영역의 깊이도를 이용하여 상기 홀 영역의 가장자리 화소의 희소성을 계산하고 상기 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정하는 우선 순위 결정 단계; 및상기 우선 순위에 따라 상기 3차원 영상의 홀 영역에 대해 홀 채우기를 실시하는 홀 채우기 단계를 포함하며,상기 깊이 맵 생성 단계는 상기 3차원 영상의 배경을 낮은 깊이도를 갖는 배경 텍스처 및 높은 깊이도를 갖는 배경 텍스처로 구분하고, 상기 낮은 깊이도를 갖는 배경 텍스처를 이용하여 상기 홀 영역의 낮은 깊이도를 갖는 부분의 깊이도를 예측하고, 상기 높은 깊이도를 갖는 배경 텍스처를 이용하여 상기 홀 영역의 높은 깊이도를 갖는 부분의 깊이도를 예측하여 상기 깊이 맵을 생성하고,상기 홀 채우기 단계는 동일하거나 낮은 깊이도를 갖는 배경 텍스쳐만을 참조하여 홀 영역을 인페인팅하며, 상기 홀 채우기 단계는 상기 우선 순위를 기반으로 상기 낮은 깊이도의 홀 영역부터 홀 채우기를 실행하되, 같은 깊이도의 홀 영역이 모두 채우고 나서, 다음 깊이도의 홀 영역을 채우는 것을 특징으로 하는 홀 채우기 방법
|
| 2 |
2
제 1 항에 있어서, 상기 깊이 맵 생성 단계는상기 3차원 영상이 3차원 영상 와핑을 통해 생성된 영상인 경우, 원본 컬러 화소의 수평 이동 맵핑과 원본 깊이맵 정보의 수평 이동 맵핑을 적용하여 상기 3차원 영상의 깊이맵을 생성하는 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법
|
| 3 |
3
제 1 항에 있어서, 상기 깊이 맵 생성 단계는상기 홀 영역의 좌측과 우측의 깊이도를 비교한 후, 낮은 깊이도를 상기 홀 영역의 깊이도로 결정하는 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법
|
| 4 |
4
제 1 항에 있어서, 상기 우선 순위 결정 단계는상기 홀 영역의 깊이도를 기반으로 상기 깊이도가 낮은 영역이 높은 우선 순위를 갖도록 깊이 우선 순위를 결정하는 깊이 우선 순위 결정 단계;상기 깊이 우선 순위를 기반으로 같은 깊이도의 홀 영역의 희소성을 계산하는 희소성 계산 단계; 및상기 깊이 우선 순위와 상기 계산된 희소성을 기반으로 최종 우선 순위를 결정하는 최종 우선 순위 결정 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법
|
| 5 |
5
제 4 항에 있어서, 상기 희소성 계산 단계는상기 홀 영역의 가장자리의 임의의 화소 p점을 중심으로 하는 제 1 패치를 정의하는 제 1 단계;상기 p점을 중심으로 하는 윈도우 영역 내에 임의의 화소 pj점을 중심으로 화소 정보가 존재하는 제 2 패치를 정의하는 제 2 단계;상기 제 1 패치와 상기 윈도우 영역 중 화소 정보가 존재하는 영역 내의 모든 상기 pj점에 대해 상기 제 1 패치와 상기 제 2 패치의 유사도를 계산하는 제 3 단계; 상기 유사도를 기반으로 상기 p점의 희소성을 계산하는 제 4 단계; 및상기 p점의 희소성 계산 과정을 상기 홀 영역의 가장자리의 모든 화소에 대해 반복적용하여 상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 계산하는 제 5 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법
|
| 6 |
6
제 5 항에 있어서, 상기 최종 우선 순위 결정 단계는상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 기반으로 상기 홀의 가장자리의 모든 화소들의 패치 우선도를 산출하는 단계; 및상기 패치 우선도를 기반으로 상기 최종 우선 순위를 결정하는 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
제 6 항에 있어서, 상기 홀 채우기 단계는상기 패치 우선도가 가장 높은 패치를 선택하여 상기 선택된 패치를 기반으로 패치 후보-패치 후보는 상기 선택된 패치와 가장 유사한 N개의 패치를 의미함-들의 선형 결합을 통해 근사 패치를 구하는 단계; 및상기 근사 패치를 기반으로 상기 선택된 패치의 모르는 영역을 상기 근사 패치를 이용하여 채우는 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법
|
| 11 |
11
삭제
|
| 12 |
12
스테레오스코픽 3차원 영상의 홀 영역을 채우는 장치에 있어서,상기 3차원 영상의 깊이도를 예측하여 깊이 맵을 생성하는 깊이 맵 생성부;상기 깊이 맵을 기반으로 상기 홀 영역의 깊이도를 이용하여 상기 홀 영역의 가장자리 화소의 희소성을 계산하고 상기 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정하는 우선 순위 결정부; 및 상기 우선 순위에 따라 상기 3차원 영상의 홀 영역에 대해 홀 채우기를 실시하는 홀 채우기부를 포함하며,상기 깊이 맵 생성부는 상기 3차원 영상의 배경을 낮은 깊이도를 갖는 배경 텍스처 및 높은 깊이도를 갖는 배경 텍스처로 구분하고, 상기 낮은 깊이도를 갖는 배경 텍스처를 이용하여 상기 홀 영역의 낮은 깊이도를 갖는 부분의 깊이도를 예측하고, 상기 높은 깊이도를 갖는 배경 텍스처를 이용하여 상기 홀 영역의 높은 깊이도를 갖는 부분의 깊이도를 예측하여 상기 깊이 맵을 생성하고,상기 홀 채우기부는 동일하거나 낮은 깊이도를 갖는 배경 텍스쳐만을 참조하여 홀 영역을 인페인팅하며, 상기 홀 채우기 단계는 상기 우선 순위를 기반으로 낮은 깊이도의 홀 영역부터 홀 채우기를 실행하되, 같은 깊이도의 홀 영역이 모두 채우고 나서, 다음 깊이도의 홀 영역을 채우는 것을 특징으로 하는 홀 채우기 장치
|
| 13 |
13
제 12 항에 있어서, 상기 깊이 맵 생성부는상기 3차원 영상이 3차원 영상 와핑을 통해 생성된 영상인 경우, 원본 컬러 화소의 수평 이동 맵핑과 원본 깊이맵 정보의 수평 이동 맵핑을 적용하여 상기 3차원 영상의 깊이맵을 생성하는 것을 특징으로 하는 홀 채우기 장치
|
| 14 |
14
제 12 항에 있어서, 상기 깊이 맵 생성부는상기 홀 영역의 좌측과 우측의 깊이도를 비교한 후, 낮은 깊이도를 상기 홀 영역의 깊이도로 결정하는 것을 특징으로 하는 홀 채우기 장치
|
| 15 |
15
제 12 항에 있어서, 상기 우선 순위 결정부는상기 홀 영역의 깊이도를 기반으로 상기 깊이도가 낮은 영역이 높은 우선 순위를 갖도록 깊이 우선 순위를 결정하는 깊이 우선 순위 결정부;상기 깊이 우선 순위를 기반으로 같은 깊이도의 홀 영역의 희소성을 계산하는 희소성 계산부; 및상기 깊이 우선 순위와 상기 계산된 희소성을 기반으로 최종 우선 순위를 결정하는 최종 우선 순위 결정부를 포함하는 것을 특징으로 하는 홀 채우기 장치
|
| 16 |
16
제 15 항에 있어서, 상기 희소성 계산부는상기 홀 영역의 가장자리의 임의의 화소 p점을 중심으로 하는 제 1 패치를 정의하는 제 1 패치 정의부;상기 P점을 중심으로 하는 윈도우 영역 내에 임의의 화소 pj점을 중심으로 화소 정보가 존재하는 제 2 패치를 정의하는 제 2 패치 정의부;상기 제 1 패치와 상기 윈도우 영역 중 화소 정보가 존재하는 영역 내의 모든 상기 pj점에 대해 상기 제 1 패치와 상기 제 2 패치의 유사도를 계산하는 유사도 계산부; 상기 유사도를 기반으로 상기 p점의 희소성을 계산하는 p점 희소성 계산부; 및상기 p점의 희소성 계산 과정을 상기 홀 영역의 가장자리의 모든 화소에 대해 반복적용하여 상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 계산하는 전체 화소 희소성 계산부를 포함하는 것을 특징으로 하는 홀 채우기 장치
|
| 17 |
17
제 16 항에 있어서, 상기 최종 우선 순위 결정부는상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 기반으로 상기 홀의 가장자리의 모든 화소들의 패치 우선도를 산출하는 패치 우선도 산출부; 및상기 패치 우선도를 기반으로 상기 최종 우선 순위를 결정하는 순위 결정부를 포함하는 것을 특징으로 하는 홀 채우기 장치
|
| 18 |
18
삭제
|
| 19 |
19
삭제
|
| 20 |
20
삭제
|
| 21 |
21
제 17 항에 있어서, 상기 홀 채우기부는상기 패치 우선도가 가장 높은 점을 선택하여 상기 선택된 패치를 기반으로 패치 후보-패치 후보는 상기 선택된 패치 ψp와 가장 유사한 N개의 패치를 의미함-들의 선형 결합을 통해 근사 패치를 구하는 근사 패치 산출부; 및상기 근사 패치를 기반으로 상기 선택된 패치의 모르는 영역을 상기 근사 패치를 이용하여 채우는 채우기부를 포함하는 것을 특징으로 하는 홀 채우기 장치
|
| 22 |
22
삭제
|
