| 1 |
1
교류 조명을 포함하는 조명 환경에서 시간의 흐름에 따라 촬영된 복수의 프레임들을 포함하는 이미지를 수신하는 단계;상기 복수의 프레임들에 기초하여 상기 이미지의 스페큘러 색도(specular chromaticity) 및 디퓨즈 색도(diffuse chromaticity)를 추정하는 단계;상기 복수의 프레임들 중 하나의 프레임에 기초하여 상기 스페큘러 색도 및 상기 디퓨즈 색도 각각에 대한 가중치를 추정하는 단계; 및상기 스페큘러 색도, 상기 디퓨즈 색도 및 상기 가중치에 기초하여 상기 이미지를 보정하는 단계를 포함하는, 이미지 처리 방법
|
| 2 |
2
제1항에 있어서,상기 스페큘러 색도에 대한 가중치는,상기 하나의 프레임 내 픽셀의 픽셀 값에 포함되는 상기 스페큘러 색도의 크기를 결정하는 것인, 이미지 처리 방법
|
| 3 |
3
제1항에 있어서,상기 디퓨즈 색도는,상기 하나의 프레임 내 존재하는 물체의 실제 색상들에 대응하는 복수의 디퓨즈 색도들을 포함하는, 이미지 처리 방법
|
| 4 |
4
제3항에 있어서,상기 디퓨즈 색도에 대한 가중치는,상기 복수의 디퓨즈 색도들 중 상기 하나의 프레임 내 픽셀의 픽셀 값에 포함되는 디퓨즈 색도의 크기를 결정하는 것인, 이미지 처리 방법
|
| 5 |
5
제1항에 있어서,상기 스페큘러 색도 및 상기 디퓨즈 색도를 추정하는 단계는,상기 복수의 프레임을 색도 사전 브랜치 네트워크(chromaticity dictionary branch network)에 입력하여 상기 스페큘러 색도 및 상기 디퓨즈 색도를 포함하는 색도 사전 행렬(chromaticity dictionary matrix)을 획득하는 단계를 포함하는, 이미지 처리 방법
|
| 6 |
6
제5항에 있어서,상기 색도 사전 행렬을 획득하는 단계는,상기 복수의 프레임들의 합(concatenation)을 제1 뉴럴 네트워크에 입력하는 단계;상기 뉴럴 네트워크의 출력을 복수의 제2 뉴럴 네트워크에 입력하는 단계; 및상기 복수의 제2 뉴럴 네트워크의 출력들을 합하는 단계를 포함하는, 이미지 처리 방법
|
| 7 |
7
제1항에 있어서,상기 가중치를 추정하는 단계는,상기 하나의 프레임을 계수 브랜치 네트워크(coefficient branch network)에 입력하여 상기 가중치를 포함하는 계수 행렬(coefficient matrix)을 획득하는 단계를 포함하는, 이미지 처리 방법
|
| 8 |
8
제1항에 있어서,상기 보정하는 단계는,상기 스페큘러 색도, 상기 디퓨즈 색도 및 상기 가중치에 기초하여 상기 이미지에 대한 색 밸런싱(color balancing) 또는 반사광 제거(highlight removal)을 수행하는 단계를 더 포함하는, 이미지 처리 방법
|
| 9 |
9
이미지 처리를 위한 뉴럴 네트워크의 학습 방법에 있어서,교류 조명을 포함하는 조명 환경에서 시간의 흐름에 따라 촬영된 복수의 프레임들을 포함하는 이미지를 수신하는 단계;상기 복수의 프레임들 중 일부 프레임들을 제1 뉴럴 네트워크에 입력하여 스페큘러 색도(specular chromaticity) 및 디퓨즈 색도(diffuse chromaticity)를 포함하는 색도 사전 행렬(chromaticity dictionary matrix)을 획득하는 단계;상기 일부 프레임들 중 하나의 프레임을 제2 뉴럴 네트워크에 입력하여 상기 스페큘러 색도에 대한 가중치 및 상기 디퓨즈 색도에 대한 가중치를 포함하는 계수 행렬(coefficient matrix)를 획득하는 단계; 및상기 색도 사전 행렬 및 상기 계수 행렬에 대한 손실 함수에 기초하여 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크를 학습하는 단계를 포함하는, 학습 방법
|
| 10 |
10
제9항에 있어서,상기 손실 함수는,상기 색도 사전 행렬 및 상기 계수 행렬의 곱 및 상기 하나의 프레임 사이 오차에 기초하여 결정되는 복원 손실 함수;상기 스페큘러 색도와 상기 교류 조명의 실제 색도 사이의 차이에 기초하여 결정되는 색 항상성 손실 함수;상기 계수 행렬의 각 성분에 기초하여 결정되는 계수 손실 함수; 및상기 복수의 프레임들 중 서로 다른 일부 프레임들에 대하여 획득한 색도 사전 행렬 및 상기 복수의 프레임들 중 서로 다른 하나의 프레임에 대하여 획득한 계수 행렬에 기초하여 결정되는 시간적 손실 함수의 합으로 결정되는, 학습 방법
|
| 11 |
11
제10항에 있어서,상기 계수 손실 함수는,상기 하나의 프레임 내 픽셀의 픽셀 값의 성분의 합 및 상기 픽셀에 대응되는 계수 행렬의 열(column) 성분의 합에 기초하여 결정되는 정규화 손실 함수;상기 스페큘러 색도에 대한 가중치에 기초하여 결정되는 스페큘러 손실 함수; 및 상기 디퓨즈 색도에 대한 가중치에 기초하여 결정되는 디퓨즈 손실 함수의 합으로 결정되는, 학습 방법
|
| 12 |
12
인스트럭션들을 포함하는 메모리; 및상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고,상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는,교류 조명을 포함하는 조명 환경에서 시간의 흐름에 따라 촬영된 복수의 프레임들을 포함하는 이미지를 수신하고,상기 복수의 프레임들에 기초하여 상기 이미지의 스페큘러 색도(specular chromaticity) 및 디퓨즈 색도(diffuse chromaticity)를 추정하고,상기 복수의 프레임들 중 하나의 프레임에 기초하여 상기 스페큘러 색도 및 상기 디퓨즈 색도 각각에 대한 가중치를 추정하고,상기 스페큘러 색도, 상기 디퓨즈 색도 및 상기 가중치에 기초하여 상기 이미지를 보정하는, 이미지 처리 장치
|
| 13 |
13
제12항에 있어서,상기 스페큘러 색도에 대한 가중치는,상기 하나의 프레임 내 픽셀의 픽셀 값에 포함되는 상기 스페큘러 색도의 크기를 결정하는 것인, 이미지 처리 장치
|
| 14 |
14
제12항에 있어서,상기 디퓨즈 색도는,상기 하나의 프레임 내 존재하는 물체의 실제 색상들에 대응하는 복수의 디퓨즈 색도들을 포함하는, 이미지 처리 장치
|
| 15 |
15
제14항에 있어서,상기 디퓨즈 색도에 대한 가중치는,상기 복수의 디퓨즈 색도들 중 상기 하나의 프레임 내 픽셀의 픽셀 값에 포함되는 디퓨즈 색도의 크기를 결정하는 것인, 이미지 처리 장치
|
| 16 |
16
제12항에 있어서,상기 프로세서는,상기 복수의 프레임을 색도 사전 브랜치 네트워크(chromaticity dictionary branch network)에 입력하여 상기 스페큘러 색도 및 상기 디퓨즈 색도를 포함하는 색도 사전 행렬(chromaticity dictionary matrix)을 획득하는, 이미지 처리 장치
|
| 17 |
17
제16항에 있어서,상기 프로세서는,상기 복수의 프레임들의 합(concatenation)을 제1 뉴럴 네트워크에 입력하고,상기 뉴럴 네트워크의 출력을 복수의 제2 뉴럴 네트워크에 입력하고,상기 복수의 제2 뉴럴 네트워크의 출력들을 합하는(concatenating), 이미지 처리 장치
|
| 18 |
18
제12항에 있어서,상기 프로세서는,상기 하나의 프레임을 계수 브랜치 네트워크(coefficient branch network)에 입력하여 상기 가중치를 포함하는 계수 행렬(coefficient matrix)을 획득하는, 이미지 처리 장치
|
| 19 |
19
제12항에 있어서,상기 프로세서는,상기 스페큘러 색도, 상기 디퓨즈 색도 및 상기 가중치에 기초하여 상기 이미지에 대한 색 밸런싱(color balancing) 또는 반사광 제거(highlight removal)을 수행하는, 이미지 처리 장치
|
| 20 |
20
제12항에 있어서,상기 이미지를 촬영하는 촬영 장치를 더 포함하는, 이미지 처리 장치
|
