| 1 |
1
블러 비디오 프레임을 수신하면, 카메라의 노출시간 동안의 레이어의 결합으로 이루어진 이미지들을 이용하여, 각 프레임의 레이어별 잠상(latent image), 물체의 움직임 및 마스크를 추정하는 단계;추정된 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크를 레이어 블러 모델에 적용하여 블러 프레임을 생성하는 단계;생성된 블러 프레임과 수신된 블러 비디오 프레임을 비교하는 단계; 및상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임이 일치하는 경우, 상기 추정된 각 프레임의 레이어별 물체의 움직임 및 마스크를 기초로, 최종 잠상을 출력하는 단계를 포함하고,상기 생성된 블러 프레임과 수신된 블러 비디오 프레임을 비교하는 단계는,상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임의 데이터 차이가 임계값(threshold) 이하인 경우를, 상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임이 일치하는 경우로 판단하고,상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임이 일치하지 않는 경우, 상기 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크를 추정하는 단계;상기 추정된 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크를 레이어 블러 모델에 적용하여 블러 프레임을 생성하는 단계; 및상기 생성된 블러 프레임과 수신된 블러 비디오 프레임을 비교하는 단계를 반복적으로 수행하는 단계를 더 포함하는, 레이어 블러 모델에 기반한 비디오 디블러링 방법
|
| 2 |
2
제1항에 있어서, 상기 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크를 추정하는 단계는,상기 각 프레임의 레이어별 잠상을 추정하는 단계;상기 각 프레임의 레이어별 움직임을 추정하는 단계; 및상기 각 프레임의 레이어별 마스크를 추정하는 단계를 포함하는, 레이어 블러 모델에 기반한 비디오 디블러링 방법
|
| 3 |
3
제1항에 있어서, 상기 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크를 추정하는 단계는,상기 각 프레임의 전경 레이어의 잠상 및 배경 레이어의 잠상을 추정하는 단계;상기 각 프레임의 전경 레이어의 움직임 및 배경 레이어의 움직임을 추정하는 단계; 및상기 각 프레임의 레이어 마스크를 추정하는 단계를 포함하는, 레이어 블러 모델에 기반한 비디오 디블러링 방법
|
| 4 |
4
제1항에 있어서, 상기 레이어 블러 모델은 아래의 수학식을 이용하고,는 생성된 번째 블러 프레임, 은 상기 카메라의 노출시간을 균등하게 분할한 간격의 개수, , 은 레이어 의 잠상 및 마스크, 는 번째 레이어의 이미지를 시점의 중간 이미지(intermediate image)로 변환하는 왜곡 행렬(warping matrix), 는 번째 프레임의 시점, 는 노출 시간을 개의 간격으로 균등하게 나눈 각 시점을 나타내는, 레이어 블러 모델에 기반한 비디오 디블러링 방법
|
| 5 |
5
제4항에 있어서,상기 왜곡 행렬은 프레임 사이의 움직임을 선형 보간(linear interpolation)하여 얻어지는, 레이어 블러 모델에 기반한 비디오 디블러링 방법
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
제1항에 있어서,미리 설정한 횟수만큼 상기 단계들을 반복적으로 수행한 경우, 상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임의 데이터 차이가 상기 임계값(threshold)과 가장 근접한 블러 프레임의 레이어별 물체의 움직임 및 마스크를 이용하는, 레이어 블러 모델에 기반한 비디오 디블러링 방법
|
| 9 |
9
제1항 내지 제5항 및 제8항 중 어느 하나의 항에 따른 레이어 블러 모델에 기반한 비디오 디블러링 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
|
| 10 |
10
블러 비디오 프레임을 수신하면, 카메라의 노출시간 동안의 레이어의 결합으로 이루어진 이미지들을 이용하여, 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크를 추정하는 역추정부;추정된 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크를 레이어 블러 모델에 적용하여 블러 프레임을 생성하는 블러 프레임 생성부;생성된 블러 프레임과 수신된 블러 비디오 프레임을 비교하는 데이터 비교부; 및상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임이 일치하는 경우, 상기 추정된 각 프레임의 레이어별 물체의 움직임 및 마스크를 기초로, 최종 잠상을 출력하는 디블러링부를 포함하고,상기 데이터 비교부는, 상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임의 데이터 차이가 임계값(threshold) 이하인 경우를, 상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임이 일치하는 경우로 판단하고,상기 데이터 비교부가 상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임이 일치하지 않는 경우로 판단하는 경우, 상기 역추정부는 상기 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크의 추정을 반복적으로 수행하고, 상기 블러 프레임 생성부는 상기 역추정부로부터 추정된 상기 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크를 레이어 블러 모델에 적용하여 블러 프레임을 반복적으로 생성하는, 레이어 블러 모델에 기반한 비디오 디블러링 장치
|
| 11 |
11
제10항에 있어서, 상기 역추정부는,상기 각 프레임의 레이어별 잠상을 추정하는 이미지 추정부;상기 각 프레임의 레이어별 움직임을 추정하는 모션 추정부; 및상기 각 프레임의 레이어별 마스크를 추정하는 마스크 추정부를 포함하는, 레이어 블러 모델에 기반한 비디오 디블러링 장치
|
| 12 |
12
제10항에 있어서, 상기 역추정부는,상기 각 프레임의 전경 레이어의 잠상 및 배경 레이어의 잠상을 추정하는 이미지 추정부;상기 각 프레임의 전경 레이어의 움직임 및 배경 레이어의 움직임을 추정하는 모션 추정부; 및상기 각 프레임의 레이어 마스크를 추정하는 마스크 추정부를 포함하는, 레이어 블러 모델에 기반한 비디오 디블러링 장치
|
| 13 |
13
제10항에 있어서, 상기 블러 프레임 생성부는,아래의 수학식을 이용하는 레이어 블러 모델을 이용하고,는 생성된 번째 블러 프레임, 은 상기 카메라의 노출시간을 균등하게 분할한 간격의 개수, , 은 레이어 의 잠상 및 마스크, 는 번째 레이어의 이미지를 시점의 중간 이미지(intermediate image)로 변환하는 왜곡 행렬(warping matrix), 는 번째 프레임의 시점, 는 노출 시간을 개의 간격으로 균등하게 나눈 각 시점을 나타내는, 레이어 블러 모델에 기반한 비디오 디블러링 장치
|
| 14 |
14
제13항에 있어서,상기 왜곡 행렬은 프레임 사이의 움직임을 선형 보간(linear interpolation)하여 얻어지는, 레이어 블러 모델에 기반한 비디오 디블러링 장치
|
| 15 |
15
삭제
|
| 16 |
16
삭제
|
| 17 |
17
제10항에 있어서, 상기 디블러링부는,상기 역추정부가 미리 설정한 횟수만큼 상기 각 프레임의 레이어별 잠상, 물체의 움직임 및 마스크의 추정을 수행한 경우, 상기 생성된 블러 프레임과 상기 수신된 블러 비디오 프레임의 데이터 차이가 상기 임계값(threshold)과 가장 근접한 블러 프레임의 레이어별 물체의 움직임 및 마스크를 이용하여 최종 잠상을 출력하는, 레이어 블러 모델에 기반한 비디오 디블러링 장치
|
