| 1 |
1
고해상도 제 1 베이시스(Basis)들의 집합인 제 1 데이터를 제공받는 단계;저해상도 제 2 베이시스들의 집합인 제 2 데이터를 제공받는 단계; 및상기 제 1 데이터 및 상기 제 2 데이터에 대해 스파스 코딩을 수행하여 특정 스파스 코드를 공유하는 고품질용 조인트 딕셔너리 및 저품질용 조인트 딕셔너리를 생성하는 단계를 포함하며,상기 제 1 베이시스들과 상기 제 2 베이시스들은 일대일 대응되는 이미지 처리를 위한 조인트 딕셔너리 생성 방법
|
| 2 |
2
제 1항에 있어서, 상기 고품질용 조인트 딕셔너리 및 저품질용 조인트 딕셔너리를 생성하는 단계는상기 제 1 데이터() 및 상기 제 2 데이터()에 대해 아래의 수학식에 따른 최적화를 수행하는 것을 특징으로 하는 이미지 처리를 위한 조인트 딕셔너리 생성 방법
|
| 3 |
3
제 1항에 있어서,상기 제 1 데이터는 실제 촬영된 제 1 이미지 프레임에서 샘플링한 이미지 패치이며, 상기 제 2 데이터는 상기 제 1 이미지 프레임에 인터레이스 아티팩트 또는 노이즈를 부가하여 생성한 제 2 이미지 프레임에서 샘플링한 이미지 패치인 것을 특징으로 하는 이미지 처리를 위한 조인트 딕셔너리 생성 방법
|
| 4 |
4
제 3항에 있어서, 상기 제 2 이미지 프레임은상기 제 1 이미지 프레임 내에서 짝수 번째 매크로 행에 홀수 번째 매크로 행을 복사하여 생성한 것을 특징으로 하는 이미지 처리를 위한 조인트 딕셔너리 생성 방법
|
| 5 |
5
제 3항에 있어서, 상기 제 2 이미지 프레임은상기 제 1 이미지 프레임에 특정 변수를 갖는 AGWN(Additive Gaussian White Noise)를 부가하여 생성한 것을 특징으로 하는 이미지 처리를 위한 조인트 딕셔너리 생성 방법
|
| 6 |
6
하나의 이미지 프레임 내에 고노출 영역과 저노출 영역이 인터레이스된 인터레이스 베이어 로우 프레임을 디인터레이싱하여 고노출 베이어 프레임과 저노출 베이어 프레임을 생성하는 디인터레이싱부;상기 고노출 베이어 프레임과 상기 저노출 베이어 프레임을 각각 고노출 RGB 프레임 및 저노출 RGB 프레임으로 변환하는 디모자이킹부;일대일 대응되지만 대응되는 값들이 서로 다른 복수의 베이시스들을 포함하는 트레이닝 데이터 세트에 대한 조인트 딕셔너리 학습을 통해 생성된 조인트 딕셔너리들을 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트 및 노이즈를 제거하는 복원부; 및상기 복원부에서 인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임 및 저노출 RGB 프레임을 결합하여 HDR(High Dynamic Range) 이미지 프레임을 생성하는 HDR 생성부를 포함하는 하이 다이나믹 레인지 이미징 장치
|
| 7 |
7
제 6항에 있어서,상기 조인트 딕셔너리들을 저장하는 메모리를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치
|
| 8 |
8
제 6항에 있어서, 상기 복원부는제 1 스파스 코드를 공유하는 고해상도용 조인트 딕셔너리 및 저해상도용 조인트 딕셔너리를 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트를 제거하는 해상도 복원부; 및제 2 스파스 코드를 공유하는 고노이즈용 조인트 딕셔너리 및 저노이즈용 조인트 딕셔너리를 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임 내에 존재하는 노이즈를 제거하는 제 1 디노이징부를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치
|
| 9 |
9
제 8항에 있어서, 상기 해상도 복원부는상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 이미지 패치들을 샘플링한 후, 샘플링된 이미지 패치에 대해 상기 저해상도용 조인트 딕셔너리를 이용한 스파스 디컴포지션(sparse decomposition)을 수행하여 상기 제 1 스파스 코드를 구하고, 구해진 제 1 스파스 코드를 상기 고해상도용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 인터레이스 아티팩트(interlace artifact)를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치
|
| 10 |
10
제 9항에 있어서, 상기 해상도 복원부는상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에 포함된 픽셀수와 동일한 수만큼의 이미지 패치들을 샘플링하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치
|
| 11 |
11
제 9항에 있어서, 상기 제 1 디노이징부는상기 해상도 복원부에서 인터레이스 아티팩트가 제거된 이미지 패치들에 대해 고노이즈용 조인트 딕셔너리를 이용한 스파스 디컴포지션을 수행하여 상기 제 2 스파스 코드를 구하고, 구해진 제 2 스파스 코드를 상기 저노이즈용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 노이즈를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치
|
| 12 |
12
제 8항에 있어서, 상기 제 1 디노이징부는상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 이미지 패치들을 샘플링한 후, 샘플링된 이미지 패치에 대해 상기 고노이즈용 조인트 딕셔너리를 이용한 스파스 디컴포지션을 수행하여 상기 제 2 스파스 코드를 구하고, 구해진 제 2 스파스 코드를 상기 저노이즈용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 노이즈를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치
|
| 13 |
13
제 12항에 있어서, 상기 제 1 디노이징부는상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에 포함된 픽셀수와 동일한 수만큼의 이미지 패치들을 샘플링하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치
|
| 14 |
14
제 6항에 있어서,상기 복원부에서 출력되는 고노출 RGB 프레임들 및 저노출 RGB 프레임들에 대한 멀티 스케일 호모그래피 플로우를 이용하여 상기 고노출 RGB 프레임들 및 상기 저노출 RGB 프레임들에 대한 프레임들 간 노이즈를 제거하는 제 2 디노이징부를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치
|
| 15 |
15
제 6항에 있어서,상기 HDR 생성부에서 생성된 HDR 이미지 프레임들에 대한 멀티 스케일 호모그래피 플로우를 이용하여 상기 HDR 이미지 프레임들에 대한 프레임들 간 노이즈를 제거하는 제 3 디노이징부를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치
|
| 16 |
16
하나의 이미지 프레임 내에 고노출 영역과 저노출 영역이 인터레이스된 인터레이스 베이어 로우 프레임을 이용하여 고노출 베이어 프레임과 저노출 베이어 프레임을 생성하는 디인터레이싱 단계;상기 고노출 베이어 프레임과 상기 저노출 베이어 프레임을 각각 고노출 RGB 프레임 및 저노출 RGB 프레임으로 변환하는 디모자이킹 단계;일대일 대응되지만 대응되는 값들이 서로 다른 복수의 베이시스들을 포함하는 트레이닝 데이터 세트에 대한 조인트 딕셔너리 학습을 통해 생성된 조인트 딕셔너리들을 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트 및 노이즈를 제거하는 복원 단계; 및인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임 및 저노출 RGB 프레임을 결합하여 HDR(High Dynamic Range) 이미지 프레임을 생성하는 HDR 생성 단계를 포함하는 하이 다이나믹 레인지 이미지 처리 방법
|
| 17 |
17
제 16항에 있어서, 상기 조인트 딕셔너리를 생성하는 방법은제 1 해상도를 갖는 제 1 베이시스들 및 상기 제 1 베이시스들과 일대일 대응되며 상기 제 1 해상도보다 낮은 제 2 해상도를 갖는 제 2 베이시스들에 대해 스파스 코딩을 수행하여 제 1 스파스 코드를 공유하는 고해상도용 조인트 딕셔너리 및 저해상도용 조인트 딕셔너리를 생성하고,제 1 노이즈를 갖는 제 3 베이시스들 및 상기 제 3 베이시스들과 일대일 대응되며 상기 제 1 노이즈보다 적은 제 2 노이즈를 갖는 제 4 베이시스들에 대해 스파스 코딩을 수행하여 제 2 스파스 코드를 공유하는 고노이즈용 조인트 딕셔너리 및 저노이즈용 조인트 딕셔너리를 생성하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법
|
| 18 |
18
제 17항에 있어서, 상기 복원 단계는상기 고해상도용 조인트 딕셔너리 및 상기 저해상도용 조인트 딕셔너리를 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트를 제거하는 해상도 복원 단계; 및상기 고노이즈용 조인트 딕셔너리 및 상기 저노이즈용 조인트 딕셔너리를 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임 내에 존재하는 노이즈를 제거하는 제 1 디노이징 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법
|
| 19 |
19
제 18항에 있어서, 상기 해상도 복원 단계는상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 이미지 패치들을 샘플링한 후, 샘플링된 이미지 패치에 대해 상기 저해상도용 조인트 딕셔너리를 이용한 스파스 디컴포지션(sparse decomposition)을 수행하여 상기 제 1 스파스 코드를 구하고, 구해진 제 1 스파스 코드를 상기 고해상도용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 인터레이스 아티팩트(interlace artifact)를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법
|
| 20 |
20
제 19항에 있어서, 상기 제 1 디노이징 단계는상기 해상도 복원 단계를 통해 인터레이스 아티팩트가 제거된 이미지 패치들에 대해 상기 고노이즈용 조인트 딕셔너리를 이용한 스파스 디컴포지션을 수행하여 상기 제 2 스파스 코드를 구하고, 구해진 제 2 스파스 코드를 상기 저노이즈용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 노이즈를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법
|
| 21 |
21
제 18항에 있어서, 상기 제 1 디노이징 단계는상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 이미지 패치들을 샘플링한 후, 샘플링된 이미지 패치에 대해 상기 고노이즈용 조인트 딕셔너리를 이용한 스파스 디컴포지션을 수행하여 상기 제 2 스파스 코드를 구하고, 구해진 제 2 스파스 코드를 상기 저노이즈용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 노이즈를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법
|
| 22 |
22
제 16항에 있어서,상기 복원 단계에서 인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임들 및 저노출 RGB 프레임들에 대한 멀티 스케일 호모그래피 플로우를 이용하여 상기 고노출 RGB 프레임들 및 상기 저노출 RGB 프레임들에 대한 프레임들 간 노이즈를 제거하는 제 2 디노이징 단계를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법
|
| 23 |
23
제 16항에 있어서,상기 HDR 이미지 프레임에 대한 멀티 스케일 호모그래피 플로우를 이용하여 상기 HDR 이미지 프레임들에 대한 프레임들 간 노이즈를 제거하는 제 3 디노이징부를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법
|
