| 1 |
1
입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 배경 코드북을 추출하고, 이를 이용하여 시간적 배경 컬러 영상 및 깊이 영상을 추정하는 시간적 배경 정보 추정 단계;상기 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 컬러 영상 및 깊이 영상을 획득하고, 상기 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 획득하는 3D 워핑 단계;상기 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하고, 상기 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 고스트 제거 단계;고스트가 제거된 가상 시점 깊이 영상의 각 가려짐 영역으로부터 공간적 배경 정보를 추정하는 공간적 배경 정보 추정 단계;상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 이용하여 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상을 획득하여 1차 홀 채움을 수행하는 1차 홀 채움 단계; 및깊이 항을 포함하는 우선순위 함수 기반 인페인팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 2차 홀 채움 단계;를 포함하고, 상기 고스트 제거 단계는,상기 가상 시점의 컬러 영상 또는 깊이 영상에서 이진 영상을 얻는 단계;상기 이진 영상를 이용하여 경계 마스크를 생성하는 단계;상기 경계 마스크를 이용하여 각 가려짐 경계 영역을 레이블링하고, 전경 및 배경 영역의 경계 화소들에 대한 위치 정보를 얻는 단계;상기 레이블링된 각 가려짐 경계 영역을 포함하는 사각 영역을 정의하는 단계;상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화하는 단계;각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하는 단계; 및상기 높은 깊이 군집 영역의 최소 깊이 값을 임계치로 이용하여 각 자녀 사각 영역 내의 배경 경계 영역에서 고스트 현상을 제거하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법
|
| 2 |
2
제1항에 있어서,상기 시간적 배경 정보 추정 단계는,입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 코드북을 생성하는 코드북 생성 단계;상기 생성된 코드북에서 배경 코드북을 분리하는 단계; 및상기 분리된 배경 코드북을 이용하여 시간적 배경 정보를 추정하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서,상기 공간적 배경 정보 추정 단계는,고스트 현상이 제거된 가상 시점의 깊이 영상에서 이진 마스크를 얻는 단계;상기 이진 마스크를 이용하여 각 가려짐 영역을 레이블링하고, 각 가려짐 영역에 대한 위치 정보를 얻는 단계;상기 레이블링된 각 가려짐 영역을 포함하는 사각 영역을 정의하는 단계;상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화하는 단계;각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하는 단계; 및상기 분리된 낮은 깊이 군집의 깊이 정보의 최대 및 최소값을 이용하여 가상 시점에서의 공간적 배경 깊이 영상의 하한 및 상한값을 추정하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법
|
| 5 |
5
제1항에 있어서,상기 1차 홀 채움 단계는,상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 상기 가상 시점의 시간적 배경 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하는 단계; 및상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법
|
| 6 |
6
제1항에 있어서,상기 2차 홀 채움 단계는,가상 시점 시공간 컬러 영상의 각 가려짐 경계 영역 화소를 중심으로 비겹침 패치를 설정하는 단계;각 비겹침 패치에 대해, 신뢰도 항, 데이터 항, 깊이 항으로 이루어지는 우선순위 함수를 이용하여 우선순위를 결정하는 단계; 및상기 결정된 우선순위에 따라 가려짐 경계 영역 화소에 대한 인페이팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법
|
| 7 |
7
제1항, 제2항 및 제4항 내지 제6항 중 어느 하나의 항에 따른 홀 채움 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
|
| 8 |
8
입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 배경 코드북을 추출하고, 이를 이용하여 시간적 배경 컬러 영상 및 깊이 영상을 추정하는 시간적 배경 정보 추정부;상기 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 컬러 영상 및 깊이 영상을 획득하고, 상기 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 획득하는 3D 워핑부;상기 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하고, 상기 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 고스트 제거부;고스트가 제거된 가상 시점 깊이 영상의 각 가려짐 영역으로부터 공간적 배경 정보를 추정하는 공간적 배경 정보 추정부;상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 이용하여 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상을 획득하여 1차 홀 채움을 수행하는 1차 홀 채움부; 및깊이 항을 포함하는 우선순위 함수 기반 인페인팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 2차 홀 채움부;를 포함하고, 상기 고스트 제거부는,가상 시점의 컬러 영상 또는 깊이 영상에서 이진 영상을 얻고, 상기 이진 영상를 이용하여 경계 마스크를 생성한 다음, 상기 경계 마스크를 이용하여 각 가려짐 경계 영역을 레이블링하고, 전경 및 배경 영역의 경계 화소들에 대한 위치 정보를 얻으며, 상기 레이블링된 각 가려짐 경계 영역을 포함하는 사각 영역을 정의하고, 상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화한 후, 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하고, 상기 높은 깊이 군집 영역의 최소 깊이 값을 임계치로 이용하여 각 자녀 사각 영역 내의 배경 경계 영역에서 고스트 현상을 제거하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치
|
| 9 |
9
제8항에 있어서,상기 시간적 배경 정보 추정부는,입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 코드북을 생성하는 코드북 생성부;상기 생성된 코드북에서 배경 코드북을 분리하는 배경 코드북 분리부; 및분리된 배경 코드북을 이용하여 시간적 배경 정보를 추정하는 추정부;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치
|
| 10 |
10
삭제
|
| 11 |
11
제8항에 있어서,상기 공간적 배경 정보 추정부는,고스트 현상이 제거된 가상 시점의 깊이 영상에서 이진 마스크를 얻고, 상기 이진 마스크를 이용하여 각 가려짐 영역을 레이블링하고, 각 가려짐 영역에 대한 위치 정보를 얻은 다음, 상기 레이블링된 각 가려짐 영역을 포함하는 사각 영역을 정의하고, 상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화한 후, 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하고, 상기 분리된 낮은 깊이 군집의 깊이 정보의 최대 및 최소값을 이용하여 가상 시점에서의 공간적 배경 깊이 영상의 하한 및 상한값을 추정하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치
|
| 12 |
12
제8항에 있어서,상기 1차 홀 채움부는,상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 상기 가상 시점의 시간적 배경 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고, 상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치
|
| 13 |
13
제8항에 있어서,상기 2차 홀 채움부는,가상 시점 시공간 컬러 영상의 각 가려짐 경계 영역 화소를 중심으로 비겹침 패치를 설정한 후, 각 비겹침 패치에 대해, 신뢰도 항, 데이터 항, 깊이 항으로 이루어지는 우선순위 함수를 이용하여 우선순위를 결정하고, 상기 결정된 우선순위에 따라 가려짐 경계 영역 화소에 대한 인페이팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치
|
