| 1 |
1
연속된 프레임들의 입력 영상을 수신하는 단계;상기 입력 영상에 대응하는 참조 영상을 수신하는 단계;상기 입력 영상과 상기 참조 영상에 기초하여, 픽셀 단위의 광학 흐름 정보를 추정하는 단계;상기 입력 영상의 프레임 간 시간 일관성에 대응하는 텀(term)을 추정하는 단계;상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보에 기초하여 메쉬를 결정하는 단계;상기 메쉬에 기초하여, 상기 참조 영상을 변형하는 단계; 및상기 입력 영상, 상기 변형된 참조 영상, 및 상기 입력 영상의 프레임들에 포함된 홀(hole)을 지시하는 마스크 데이터에 기초하여, 영상 블렌딩을 수행하는 단계를 포함하는 영상 처리 방법
|
| 2 |
2
제1항에 있어서,상기 메쉬를 결정하는 단계는상기 시간 일관성에 대응하는 텀의 제1 가중치 및 상기 광학 흐름 정보의 제2 가중치에 기초하여, 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보의 조합에 따른 상기 메쉬의 타겟 포인트들의 위치를 결정하는 단계를 포함하는, 영상 처리 방법
|
| 3 |
3
제1항에 있어서,상기 시간 일관성에 대응하는 텀은이전 프레임의 메쉬 위치에 기초하여 결정되는, 영상 처리 방법
|
| 4 |
4
제1항에 있어서,상기 참조 영상을 변형하는 단계는상기 메쉬의 기하학적 구조에 따라, 상기 메쉬에 포함되는 픽셀들의 값을 상기 참조 영상으로부터 획득하는 단계를 포함하는, 영상 처리 방법
|
| 5 |
5
제1항에 있어서,상기 영상 블렌딩을 수행하는 단계는상기 홀에 해당하는 픽셀의 값을 상기 변형된 참조 영상으로부터 획득하는 단계; 및상기 홀의 주변에 위치하는 픽셀의 값을 상기 입력 영상 및 상기 변형된 참조 영상의 조합에 따라 결정하는 단계를 포함하는, 영상 처리 방법
|
| 6 |
6
제1항에 있어서,상기 입력 영상으로부터 제1 특징점들을 추출하는 단계;상기 참조 영상으로부터 제2 특징점들을 추출하는 단계; 및상기 제1 특징점들과 상기 제2 특징점들을 매칭함으로써, 전처리를 수행하는 단계를 더 포함하는 영상 처리 방법
|
| 7 |
7
제6항에 있어서,상기 전처리를 수행하는 단계는상기 매칭 결과에 기초하여, 상기 입력 영상과 상기 참조 영상 사이의 회전을 제거하는 단계를 포함하는, 영상 처리 방법
|
| 8 |
8
제6항에 있어서,상기 전처리를 수행하는 단계는상기 매칭 결과에 기초하여, 상기 입력 영상과 상기 참조 영상 사이의 색상 차이를 추정하는 단계를 포함하고,상기 참조 영상을 변형하는 단계는상기 색상 차이에 더 기초하여, 상기 참조 영상을 변형하는 단계를 포함하는, 영상 처리 방법
|
| 9 |
9
제8항에 있어서,상기 색상 차이에 더 기초하여, 상기 참조 영상을 변형하는 단계는상기 메쉬의 기하학적 구조에 따라, 상기 참조 영상 및 상기 색상 차이에 기초하여 상기 메쉬에 포함되는 픽셀들의 값을 결정하는 단계를 포함하는, 영상 처리 방법
|
| 10 |
10
제1항에 있어서,상기 홀은상기 입력 영상으로부터 제거된 영역에 해당하는, 영상 처리 방법
|
| 11 |
11
제1항에 있어서,상기 광학 흐름 정보를 추정하는 단계는상기 입력 영상에 포함된 픽셀들에 대응하여, 상기 참조 영상에 포함된 참조 픽셀들과 상기 픽셀들 사이의 광학 흐름들을 나타내는 벡터들을 추정하는 단계를 포함하는, 영상 처리 방법
|
| 12 |
12
제1항에 있어서,상기 입력 영상은360도 파노라마 비디오 데이터를 포함하는, 영상 처리 방법
|
| 13 |
13
제1항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
|
| 14 |
14
연속된 프레임들의 입력 영상을 수신하고, 상기 입력 영상에 대응하는 참조 영상을 수신하는 수신부;상기 입력 영상과 상기 참조 영상에 기초하여, 픽셀 단위의 광학 흐름 정보를 추정하고, 상기 입력 영상의 프레임 간 시간 일관성에 대응하는 텀(term)을 추정하며, 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보에 기초하여 메쉬를 결정하고, 상기 메쉬에 기초하여 상기 참조 영상을 변형하는 변형부; 및상기 입력 영상, 상기 변형된 참조 영상, 및 상기 입력 영상의 프레임들에 포함된 홀(hole)을 지시하는 마스크 데이터에 기초하여, 영상 블렌딩을 수행하는 영상 블렌딩부를 포함하는 영상 처리 장치
|
| 15 |
15
제14항에 있어서,상기 변형부는상기 메쉬를 결정하기 위하여,상기 시간 일관성에 대응하는 텀의 제1 가중치 및 상기 광학 흐름 정보의 제2 가중치에 기초하여, 상기 시간 일관성에 대응하는 텀 및 상기 광학 흐름 정보의 조합에 따른 상기 메쉬의 타겟 포인트들의 위치를 결정하는,영상 처리 장치
|
| 16 |
16
제14항에 있어서,상기 변형부는상기 참조 영상을 변형하기 위하여,상기 메쉬의 기하학적 구조에 따라, 상기 메쉬에 포함되는 픽셀들의 값을 상기 참조 영상으로부터 획득하는,영상 처리 장치
|
| 17 |
17
제14항에 있어서,상기 영상 블렌딩부는상기 홀에 해당하는 픽셀의 값을 상기 변형된 참조 영상으로부터 획득하고, 상기 홀의 주변에 위치하는 픽셀의 값을 상기 입력 영상 및 상기 변형된 참조 영상의 조합에 따라 결정하는,영상 처리 장치
|
| 18 |
18
제14항에 있어서,상기 홀은상기 입력 영상으로부터 제거된 영역에 해당하는, 영상 처리 장치
|
| 19 |
19
제14항에 있어서,상기 변형부는상기 광학 흐름 정보를 추정하기 위하여,상기 입력 영상에 포함된 픽셀들에 대응하여, 상기 참조 영상에 포함된 참조 픽셀들과 상기 픽셀들 사이의 광학 흐름들을 나타내는 벡터들을 추정하는,영상 처리 장치
|
| 20 |
20
제14항에 있어서,상기 입력 영상은360도 파노라마 비디오 데이터를 포함하는, 영상 처리 장치
|
