| 1 |
1
10nm 내지 1000nm의 파장 대역 기반의 적어도 4개 채널의 영상들을 획득하는 멀티스펙트럴 이미지 센서; 및상기 적어도 4개 채널의 영상들을 미리 학습된 딥러닝 네트워크에 입력하여 조명 정보를 추정하고, 상기 추정된 조명 정보를 이용하여 상기 획득된 영상들에 대해 색변환을 수행하는 프로세서를 포함하는, 영상 획득 장치
|
| 2 |
2
제 1 항에 있어서상기 멀티스펙트럴 이미지 센서는, 16개 채널의 영상들을 획득하고,상기 프로세서는,상기 멀티스펙트럴 이미지 센서로부터 획득된 16개 채널의 영상들을 상기 딥러닝 네트워크에 입력하는, 영상 획득 장치
|
| 3 |
3
제 2 항에 있어서,상기 프로세서는,상기 획득된 16개 채널의 영상들을 보간하여 31개 채널의 영상들을 생성하고, 상기 생성된 31개 채널의 영상들을 상기 딥러닝 네트워크에 입력하는, 영상 획득 장치
|
| 4 |
4
제 1 항에 있어서,상기 조명 정보는,조명의 스펙트럼의 세기에 상응하는 조명 벡터, 조명의 색상을 나타내는 XYZ 벡터, 조명의 색상을 나타내는 RGB 벡터, 조명의 색온도, 미리 저장된 조명 정보를 나타내는 인덱스 값 중 하나인, 영상 획득 장치
|
| 5 |
5
제 1 항에 있어서,상기 프로세서는,상기 적어도 4개 채널의 영상들에 상응하는 파장 대역을 소정의 간격으로 샘플링한 영상들 또는 상기 적어도 4개의 채널의 영상들을 정규화한 영상들을 상기 딥러닝 네트워크에 입력하는, 영상 획득 장치
|
| 6 |
6
제 1 항에 있어서,상기 딥러닝 네트워크는,적어도 3개의 컨볼루션 레이어, 활성화 함수인 렐루 함수(Rectified Linear Unit function), 및 맥스 풀링(Max pooling) 레이어를 포함하는, 영상 획득 장치
|
| 7 |
7
제 1 항에 있어서,상기 딥러닝 네트워크는,각도 손실(Angular error), L1 손실 및 L2 손실을 포함하는 손실함수을 이용하여 미리 학습된, 영상 획득 장치
|
| 8 |
8
제 7 항에 있어서,상기 각도 손실은 다음 수학식 3에 따라 계산되고,[수학식 3]상기 L1 손실은 다음 수학식 4에 따라 계산되고,[수학식 4]상기 L2 손실은 다음 수학식 5에 따라 계산되는, 영상 획득 장치
|
| 9 |
9
제 1 항에 있어서,상기 프로세서는,상기 딥러닝 네트워크의 학습 영상의 수를 증가시키 위해, 미리 계산된 합성 조명과 반사도 맵을 곱인 합성 영상을 생성하는, 영상 획득 장치
|
| 10 |
10
제 9 항에 있어서,상기 합성 조명은 램덤 조명 스펙트럼이고, 다음 수학식 6에 따라 계산되는, 영상 획득 장치
|
| 11 |
11
제 9 항에 있어서,상기 반사도 맵은,제어된 환경의 조명 정보 또는 주간 환경에서의 태양광하에서 획득된 영상에서의 조명 정보를 기초로 계산되는, 영상 획득 장치
|
| 12 |
12
제 1 항에 있어서, 제1 파장 대역 기반의 영상을 획득하는 이미지 센서를 더 포함하고, 상기 프로세서는, 상기 추정된 조명 정보를 이용하여, 상기 이미지 센서로부터 획득된 영상에 대해 색변환을 수행하는, 영상 획득 장치
|
| 13 |
13
제 1 항에 있어서,상기 추정된 조명 정보는,상기 딥러닝 네트워크에 입력된 영상 전체를 기초로 조명 정보를 추정하는 글로벌 조명 추정인, 영상 획득 장치
|
| 14 |
14
제 1 항에 있어서,상기 추정된 조명 정보는,상기 딥러닝 네트워크에 입력될 영상을 패치 단위로 자르고, 입력된 패치를 기초로 조명 정보를 추정하는 로컬 조명 추정인, 영상 획득 장치
|
| 15 |
15
제 14 항에 있어서, 복수의 패치 중 물체, 색상 히스토그램을 기준으로 선별적으로 상기 딥러닝 네트워크에 입력하는, 영상 획득 장치
|
| 16 |
16
제 1 항에 있어서,상기 추정된 조명 정보는,글로벌 조명 추정의 결과값 및 로컬 조명 추정의 결과값을 모두 합한 최종 결과값, 선별적으로 합한 최종 결과값, 가중합한 최종 결과값, 밴드패스 필터링한 결과값 중 하나인, 영상 획득 장치
|
| 17 |
17
제 1 항에 있어서,반사도 맵을 추정하는 별도의 딥러닝 네트워크를 더 포함하는, 영상 획득 장치
|
| 18 |
18
제 17 항에 있어서,상기 추정된 조명 정보와 상기 추정된 반사도 맵을 이용하여 상기 색변환된 결과 영상을 획득하는, 영상 획득 장치
|
| 19 |
19
제 1 항 내지 제 18 항 중 어느 하나의 영상 획득 장치를 포함하는 전자 장치
|
| 20 |
20
영상 획득 장치의 제어 방법에 있어서,10nm 내지 1000nm의 제2 파장 대역 기반의 적어도 4개 채널의 영상들을 획득하는 단계;상기 적어도 4개 채널의 영상들을 미리 학습된 딥러닝 네트워크에 입력하여 조명 정보를 추정하는 단계; 및상기 추정된 조명 정보를 이용하여 상기 획득된 영상들에 대해 색변환을 수행하는 단계를 포함하는 영상 획득 장치의 제어 방법
|
