1 |
1
각 프레임에 대한 컬러 영상 및 그에 대응하는 깊이 맵 정보를 포함하는 입력 영상으로부터 가상 시점 영상을 합성하는 과정에서 발생하는 홀 영역에 대한 홀 채움 방법에 있어서,상기 입력 영상의 현재 프레임에 대한 정적 배경 정보를 추출하고 이를 이용하여 가상 정적 배경 정보를 추출하며,상기 현재 프레임에 대한 컬러 영상 및 깊이 맵을 워핑하여 가상 영상과 가상 깊이 맵을 획득하고, 가상 깊이 맵에 나타나는 홀 영역에 대한 레이블링을 수행하여 국부 배경 정보를 추출하며,상기 가상 정적 배경 정보와 상기 국부 배경 정보 간의 유사도를 이용하여 상기 가상 영상 및 상기 가상 깊이 맵에 대한 1차 홀 채움을 수행하고, 상기 1차 홀 채움 뒤 잔존 홀들에 대하여 깊이 항을 포함하는 우선순위 함수를 적용한 표본 기반 인페인팅 방식으로 2차 홀 채움을 수행하는 홀 채움 방법
|
2 |
2
제1항에 있어서,상기 입력 영상의 현재 프레임에 대한 정적 배경 정보를 추출하고 이를 이용하여 가상 정적 배경 정보를 추출하는 것은,상기 입력 영상의 각 프레임별로 컬러 영상 및 컬러 영상에 대응하는 깊이 맵 정보를 이용하여 코드북을 생성하고, 상기 코드북의 코드워드들을 배경 코드워드와 전경 코드워드로 분류하여 상기 입력 영상의 배경 영역에 대한 배경 코드북을 추출하는 것을 포함하는 홀 채움 방법
|
3 |
3
제2항에 있어서,상기 입력 영상의 현재 프레임에 대한 정적 배경 정보를 추출하고 이를 이용하여 가상 정적 배경 정보를 추출하는 것은,상기 배경 코드북을 이용하여 상기 입력 영상의 현재 프레임에서의 배경 영상과 그에 대응하는 배경 깊이 맵을 임시 배경 정보로 추출하고, 이전 프레임에서의 배경 정보를 이용하여 상기 임시 배경 정보를 갱신하는 방식으로 상기 현재 프레임에 대한 정적 배경 영상 및 정적 깊이 맵을 포함하는 정적 배경 정보를 추출하는 것을 포함하는 홀 채움 방법
|
4 |
4
제3항에 있어서,상기 입력 영상의 현재 프레임에 대한 정적 배경 정보를 추출하고 이를 이용하여 가상 정적 배경 정보를 추출하는 것은,상기 정적 배경 영상과 상기 정적 깊이 맵을 워핑하여 가상 정적 배경 영상 및 그에 대응하는 가상 정적 배경 깊이 맵을 포함하는 상기 가상 정적 배경 정보를 추출하는 것을 포함하는 홀 채움 방법
|
5 |
5
제1항에 있어서,상기 가상 깊이 맵에 나타나는 홀 영역에 대한 레이블링을 수행하여 국부 배경 정보를 추출하는 것은,상기 가상 깊이 맵에 나타나는 홀 영역을 포함하는 사각 영역을 레이블링하고, 상기 레이블링된 사각 영역의 깊이 정보에 따라 배경 화소와 전경 화소를 구별하여 국부 배경 깊이값을 획득하고, 상기 사각 영역의 전경 화소로 구별된 영역을 상기 국부 배경 깊이값으로 채움으로써 상기 국부 배경 정보를 추출하는 것인 홀 채움 방법
|
6 |
6
제1항에 있어서,상기 가상 정적 배경 정보와 상기 국부 배경 정보 간의 유사도를 이용하여 상기 가상 영상 및 상기 가상 깊이 맵에 대한 1차 홀 채움을 수행하는 것은,상기 국부 배경 정보에 대응하는 화소로부터 일정 범위 내에 위치하는 화소에 대응하는 상기 가상 정적 배경 정보를 이용하여 상기 가상 영상 및 상기 가상 깊이 맵을 갱신하는 것인 홀 채움 방법
|
7 |
7
제6항에 있어서,상기 1차 홀 채움 뒤 잔존 홀들에 대하여 깊이 항을 포함하는 우선순위 함수를 적용한 표본 기반 인페인팅 방식으로 2차 홀 채움을 수행하는 것은,갱신된 상기 가상 영상 및 상기 가상 깊이 맵에서 잔존 홀 화소들을 레이블링하고, 그 결과에 따라 가장 작은 홀 영역에서 시작하여 가장 큰 홀 영역으로 옮겨가며 상기 표본 기반 인페인팅 방식으로 2차 홀 채움을 수행하는 것인 홀 채움 방법
|
8 |
8
제1항 내지 제7항 중 어느 하나의 항에 따른 홀 채움 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
|
9 |
9
각 프레임에 대한 컬러 영상 및 그에 대응하는 깊이 맵 정보를 포함하는 입력 영상으로부터 가상 시점 영상을 합성하는 과정에서 발생하는 홀 영역에 대한 홀 채움을 수행하는 홀 채움 장치에 있어서,상기 입력 영상의 현재 프레임에 대한 정적 배경 정보를 추출하고 이를 이용하여 가상 정적 배경 정보를 추출하는 정적 배경 정보 추출부;상기 현재 프레임에 대한 컬러 영상 및 깊이 맵을 워핑하여 가상 영상과 가상 깊이 맵을 획득하고, 가상 깊이 맵에 나타나는 홀 영역에 대한 레이블링을 수행하여 국부 배경 정보를 추출하는 국부 배경 정보 추출부; 및상기 가상 정적 배경 정보와 상기 국부 배경 정보 간의 유사도를 이용하여 상기 가상 영상 및 상기 가상 깊이 맵에 대한 1차 홀 채움을 수행하고, 상기 1차 홀 채움 뒤 잔존 홀들에 대하여 깊이 항을 포함하는 우선순위 함수를 적용한 표본 기반 인페인팅 방식으로 2차 홀 채움을 수행하는 홀 채움부를 포함하는 홀 채움 장치
|
10 |
10
제9항에 있어서,상기 정적 배경 정보 추출부는,상기 입력 영상의 각 프레임별로 컬러 영상 및 컬러 영상에 대응하는 깊이 맵 정보를 이용하여 코드북을 생성하고, 상기 코드북의 코드워드들을 배경 코드워드와 전경 코드워드로 분류하여 상기 입력 영상의 배경 영역에 대한 배경 코드북을 추출하는 것을 포함하는 홀 채움 장치
|
11 |
11
[청구항 11은(는) 설정등록료 납부시 포기되었습니다
|
12 |
12
[청구항 12은(는) 설정등록료 납부시 포기되었습니다
|
13 |
13
제9항에 있어서,상기 국부 배경 정보 추출부는,상기 가상 깊이 맵에 나타나는 홀 영역을 포함하는 사각 영역을 레이블링하고, 상기 레이블링된 사각 영역의 깊이 정보에 따라 배경 화소와 전경 화소를 구별하여 국부 배경 깊이값을 획득하고, 상기 사각 영역의 전경 화소로 구별된 영역을 상기 국부 배경 깊이값으로 채움으로써 상기 국부 배경 정보를 추출하는 것인 홀 채움 장치
|
14 |
14
제9항에 있어서,상기 홀 채움부는,상기 국부 배경 정보에 대응하는 화소로부터 일정 범위 내에 위치하는 화소에 대응하는 상기 가상 정적 배경 정보를 이용하여 상기 가상 영상 및 상기 가상 깊이 맵을 갱신하는 것을 포함하는 홀 채움 장치
|
15 |
15
[청구항 15은(는) 설정등록료 납부시 포기되었습니다
|