| 1 |
1
가이드영상을 이용하여 타겟 영상을 보정하는 조인트 필터링 장치로서,상기 가이드 영상으로부터 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 제1 특징 정보 출력 네트워크;상기 타겟 영상으로부터 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 제2 특징 정보 출력 네트워크;상기 가이드 영상의 가중치 특징 정보와 오프셋 특징 정보 및 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 이용하여 N X N 가중치 윈도우를 구성하는 가중치와 상기 가중치가 곱해질 상기 타겟 영상의 픽셀 이동 거리인 오프셋을 연산하는 가중치/오프셋 연산부;상기 연산된 가중치 및 오프셋을 상기 타겟 영상에 적용하여 보정된 타겟 영상을 생성하는 가중치/오프셋 적용부를 포함하되,상기 제1 특징 정보 출력 네트워크 및 상기 제2 특징 정보 출력 네트워크는 학습에 의해 형성되는 네트워크이고,상기 오프셋은 상기 가중치 윈도우와 곱해질 상기 타겟 영상의 타겟 픽셀에 대한 주변 픽셀을 정의하는 윈도우 내의 각 픽셀의 이동 거리 정보이며,상기 가중치 윈도우는 상기 타겟 영상의 상기 타겟 픽셀과 상기 주변 픽셀에 곱해지는 윈도우이며, 상기 오프셋은 상기 타겟 영상의 상기 타겟 픽셀 및 상기 주변 픽셀별로 연산되고, 상기 가중치/오프셋 연산부는 상기 타겟 픽셀 및 상기 주변 픽셀별로 연산된 오프셋만큼 이동한 픽셀에 상기 가중치 윈도우의 가중치를 적용하는 것을 특징으로 하는 조인트 필터링 장치
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서,상기 타겟 영상 및 가이드 영상의 가중치 특징 정보는 N2의 사이즈를 가지는 벡터이고, 상기 타겟 영상 및 가이드 영상의 오프셋 특징 정보는 2N2의 사이즈를 가지는 벡터인 것을 특징으로 하는 조인트 필터링 장치
|
| 4 |
4
제1항에 있어서,상기 가중치/오프셋 연산부는 상기 타겟 영상의 가중치 특징 정보와 상기 가이드 영상의 가이드 특징 정보 각각에 시그모이드(Sigmoid) 연산을 수행한 값들에 대한 엘리먼트 와이즈 곱셉(Element Wise Multiplication)에 의해 상기 가중치를 연산하는 것을 특징으로 하는 조인트 필터링 장치
|
| 5 |
5
제4항에 있어서,상기 가중치/오프셋 연산부는 상기 엘리먼트 와이즈 곱셈 결과에 대한 평균 차감(Mean Substraction)을 추가적으로 적용하여 상기 가중치를 연산하는 것을 특징으로 하는 조인트 필터링 장치
|
| 6 |
6
제1항에 있어서,상기 가중치/오프셋 연산부는 상기 가이드 영상의 오프셋 특징 정보와 상기 타겟 영상의 오프셋 특징 정보에 대한 엘리먼트 와이즈 곱셈에 의해 상기 오프셋을 연산하는 것을 특징으로 하는 조인트 필터링 장치
|
| 7 |
7
제1항에 있어서,상기 가중치/오프셋 적용부는 상기 연산된 오프셋에 기초하여 상기 가중치 윈도우에 적용될 상기 타겟 영상의 픽셀을 결정하는 샘플러를 포함하는 것을 특징으로 하는 조인트 필터링 장치
|
| 8 |
8
제7항에 있어서,상기 가중치/오프셋 적용부는 상기 샘플러에 의해 결정된 상기 타겟 영상의 픽셀을 상기 가중치 윈도우에 적용하여 잔류 영상을 생성하고, 상기 생성된 잔류 영상을 상기 타겟 영상에 합산하여 보정된 타겟 영상을 생성하는 것을 특징으로 하는 조인트 필터링 장치
|
| 9 |
9
가이드영상을 이용하여 타겟 영상을 보정하는 조인트 필터링 방법으로서,상기 가이드 영상으로부터 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 단계(a);상기 타겟 영상으로부터 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 단계(b);상기 가이드 영상의 가중치 특징 정보와 오프셋 특징 정보 및 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 이용하여 N X N 가중치 윈도우를 구성하는 가중치와 상기 가중치가 곱해질 상기 타겟 영상의 픽셀 이동 거리인 오프셋을 연산하는 단계(c);상기 연산된 가중치 및 오프셋을 상기 타겟 영상에 적용하여 보정된 타겟 영상을 생성하는 단계(d)를 포함하되,상기 단계(a) 및 (b)는 학습에 의해 형성되는 네트워크를 통해 상기 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보와 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하고,상기 오프셋은 상기 가중치 윈도우와 곱해질 상기 타겟 영상의 타겟 픽셀에 대한 주변 픽셀을 정의하는 윈도우 내의 각 픽셀의 이동 거리 정보이며,상기 가중치 윈도우는 상기 타겟 영상의 상기 타겟 픽셀과 상기 주변 픽셀에 곱해지는 윈도우이며, 상기 오프셋은 상기 타겟 영상의 상기 타겟 픽셀 및 상기 주변 픽셀별로 연산되고, 상기 단계(d)는 상기 타겟 픽셀 및 상기 주변 픽셀별로 연산된 오프셋만큼 이동한 픽셀에 상기 가중치 윈도우의 가중치를 적용하는 것을 특징으로 하는 조인트 필터링 방법
|
| 10 |
10
삭제
|
| 11 |
11
제9항에 있어서,상기 타겟 영상 및 가이드 영상의 가중치 특징 정보는 N2의 사이즈를 가지는 벡터이고, 상기 타겟 영상 및 가이드 영상의 오프셋 특징 정보는 2N2의 사이즈를 가지는 벡터인 것을 특징으로 하는 조인트 필터링 방법
|
| 12 |
12
제9항에 있어서,상기 단계(c)는 상기 타겟 영상의 가중치 특징 정보와 상기 가이드 영상의 가중치 특징 정보 각각에 시그모이드(Sigmoid) 연산을 수행한 값들에 대한 엘리먼트 와이즈 곱셉(Element Wise Multiplication)에 의해 상기 가중치를 연산하는 것을 특징으로 하는 조인트 필터링 방법
|
| 13 |
13
제12항에 있어서,상기 단계(c)는 상기 엘리먼트 와이즈 곱셈 결과에 대한 평균 차감(Mean Substraction)을 추가적으로 적용하여 상기 가중치를 연산하는 것을 특징으로 하는 조인트 필터링 방법
|
| 14 |
14
제9항에 있어서,상기 단계(c)는 상기 가이드 영상의 오프셋 특징 정보와 상기 타겟 영상의 오프셋 특징 정보에 대한 엘리먼트 와이즈 곱셈에 의해 상기 오프셋을 연산하는 것을 특징으로 하는 조인트 필터링 방법
|
| 15 |
15
제9항에 있어서,상기 단계(d)는 상기 연산된 오프셋에 기초하여 상기 가중치 윈도우에 적용될 상기 타겟 영상의 픽셀을 결정하는 단계를 포함하는 것을 특징으로 하는 조인트 필터링 방법
|
| 16 |
16
제15항에 있어서,상기 단계(d)는 상기 결정된 상기 타겟 영상의 픽셀을 상기 가중치 윈도우에 적용하여 잔류 영상을 생성하고, 상기 생성된 잔류 영상을 상기 타겟 영상에 합산하여 보정된 타겟 영상을 생성하는 것을 특징으로 하는 조인트 필터링 방법
|
| 17 |
17
제9항의 방법을 실행하기 위한 프로그램이 기록되어 있으며 컴퓨터에 의해 판독 가능한 프로그램이 기록된 기록 매체
|
