| 1 |
1
적어도 하나의 프로세서에 의해 동작하는 거리 추정 장치로서,촬영된 제1 컬러 영상, 상기 제1 컬러 영상에 기하학적으로 정렬된 학습용 열화상 영상, 그리고 상기 제1 컬러 영상과 동시에 촬영된 제2 컬러 영상을 학습 영상 셋트로 저장하는 데이터베이스, 그리고상기 학습용 열화상 영상을 입력받아 색차 영상(Chromaticity)과 양안 시차 영상(Disparity)를 출력하는 신경망을 비 교사(Unsupervised) 학습시키는 학습 장치를 포함하고,상기 학습 장치는 상기 제2 컬러 영상, 상기 색차 영상 그리고 상기 양안 시차 영상을 기초로 상기 제1 컬러 영상을 추정하고, 추정한 영상과 상기 제1 컬러 영상의 차이를 최소화하도록 상기 신경망을 학습시키는 거리 추정 장치
|
| 2 |
2
제1항에서,상기 학습 장치는상기 양안 시차 영상을 기초로, 상기 제2 컬러 영상의 휘도 성분으로부터 상기 제1 컬러 영상의 휘도 성분을 추정하고, 추정한 휘도 성분과 상기 색차 영상을 결합하여 상기 제1 컬러 영상을 추정하는 거리 추정 장치
|
| 3 |
3
제1항에서,상기 데이터베이스는상기 학습용 열화상 영상을 광도 보정(Photometric correction)하여 획득한 복수의 열화상 영상을 더 저장하고,상기 학습 장치는 상기 광도 보정된 복수의 열화상 영상을 이용하여 상기 신경망을 학습시키는 거리 추정 장치
|
| 4 |
4
제1항에서,거리 추정을 위한 단일 열화상 영상을 입력받고, 상기 단일 열화상 영상을 상기 신경망으로 전달하여 거리 추정용 양안 시차 영상을 획득하며, 상기 거리 추정용 양안 시차 영상을 기초로 거리 영상을 생성하는 출력 장치를 더 포함하는 거리 추정 장치
|
| 5 |
5
제1항에서,상기 신경망은입력된 열화상 영상의 특징을 부호화하는 부호기, 상기 부호기에서 부호화된 정보 및 상기 부호기의 중간 정보들을 입력받아 상기 색차 영상을 출력하는 인터리버, 그리고 상기 부호기에서 부호화된 정보 및 상기 부호기의 중간 정보들을 입력받아 상기 양안 시차 영상을 출력하는 복호기를 포함하는 거리 추정 장치
|
| 6 |
6
삭제
|
| 7 |
7
적어도 하나의 프로세서에 의해 동작하는 거리 추정 장치로서,열화상 영상을 입력받아 양안 시차 영상(Disparity)를 출력하도록 학습된 신경망, 그리고거리 추정을 위한 단일 열화상 영상을 입력받고, 상기 단일 열화상 영상을 상기 신경망으로 전달하여 거리 추정용 양안 시차 영상을 획득하며, 상기 거리 추정용 양안 시차 영상을 기초로 거리 영상을 생성하는 출력 장치를 포함하고,상기 신경망은입력된 열화상 영상의 특징을 부호화하는 부호기, 상기 부호기에서 부호화된 정보 및 상기 부호기의 중간 정보들을 입력받아 색차 영상을 출력하는 인터리버, 그리고 상기 부호기에서 부호화된 정보 및 상기 부호기의 중간 정보들을 입력받아 상기 부호기에 입력된 영상에 관련된 양안 시차 영상을 출력하는 복호기를 포함하는 거리 추정 장치
|
| 8 |
8
제7항에서,촬영된 제1 컬러 영상, 상기 제1 컬러 영상에 기하학적으로 정렬된 학습용 열화상 영상, 그리고 상기 제1 컬러 영상과 동시에 촬영된 제2 컬러 영상을 포함하는 학습 영상 셋트를 기초로 상기 신경망을 비 교사 학습시키는 학습 장치를 더 포함하고, 상기 학습 장치는상기 학습용 열화상 영상을 상기 신경망에 입력하여 학습용 색차 영상과 학습용 양안 시차 영상을 획득하고, 상기 제2 컬러 영상, 상기 색차 영상 그리고 상기 양안 시차 영상을 기초로 상기 제1 컬러 영상을 추정하고, 추정한 영상과 상기 제1 컬러 영상의 차이를 최소화하도록 상기 신경망을 학습시키는 거리 추정 장치
|
| 9 |
9
제7항에서,상기 복호기는출력단에 양안 시차 영상을 출력하는 이중 선형 보간 샘플러(Bilinear interpolation sampler)를 포함하는 거리 추정 장치
|
| 10 |
10
제9항에서,상기 복호기는상기 이중 선형 보간 샘플러를 안정적으로 학습시키기 위하여, 활성 함수의 최대 값을 점진적으로 증가시키는 적응적 활성 함수 모듈을 더 포함하는 거리 추정 장치
|
| 11 |
11
제7항에서,상기 출력 장치는이동체에 탑재된 열화상 카메라로부터 상기 단일 열화상 영상을 입력받는, 거리 추정 장치
|
| 12 |
12
적어도 하나의 프로세서에 의해 동작하는 신경망 장치로서,열화상 영상을 입력받고, 계층적으로 연결된 복수의 컨볼루션(Convolution) 레이어를 통해 상기 열화상 영상의 특징을 부호화한 정보를 출력하며, 각 컨볼루션 레이어에서 부호화된 중간 정보를 출력하는 부호기,계층적으로 연결된 복수의 디컨볼루션(DeConvolution) 레이어를 포함하고, 상기 부호기에서 출력된 상기 열화상 영상의 부호화한 정보와 상기 부호기의 각 컨볼루션 레이어에서 출력된 중간 정보를 입력받아 상기 열화상 영상에 관련된 양안 시차 영상(Disparity)을 출력하는 복호기, 그리고계층적으로 연결된 복수의 인터리빙(Interleaving) 레이어를 포함하고, 상기 부호기에서 출력된 상기 입력 열화상 영상의 부호화한 정보와 상기 부호기의 각 컨볼루션 레이어에서 출력된 중간 정보를 입력받아 상기 열화상 영상에 관련된 색차 영상(Chromaticity)을 출력하는 인터리버를 포함하는 신경망 장치
|
| 13 |
13
제12항에서,각 인터리빙 레이어는상기 부호기의 대응되는 컨볼루션 레이어로부터 출력된 중간 정보를 광역 통합(Global pooling)과 역통합(Un-pooling)하여 광역 맥락(Global context) 정보를 생성하고, 상기 광역 맥락 정보를 상위 인터리빙 레이어로부터 전달된 정보에 추가하여 디컨볼루션한 후 하위 인터리빙 레이어로 전달하며,상기 상위 인터리빙 레이어로부터 전달된 정보는 상기 부호기에서 부호화된 정보에 해당 인터리빙 레이어에서 생성된 광역 맥락 정보가 추가된 정보인, 신경망 장치
|
| 14 |
14
제12항에서,상기 복호기는최하위 디컨볼루션 레이어에서 출력된 복호화 정보를 이중 선형 보간 샘플링(Bilinear interpolation sampling)하여 상기 양안 시차 영상을 출력하는 이중 선형 보간 샘플러를 더 포함하는 신경망 장치
|
| 15 |
15
제14항에서,상기 복호기는상기 이중 선형 보간 샘플러를 안정적으로 학습시키기 위하여, 활성 함수의 최대 값을 점진적으로 증가시키는 적응적 활성 함수 모듈을 더 포함하는 신경망 장치
|
| 16 |
16
제12항에서,상기 신경망은추정된 제1 컬러 영상과 촬영된 제1 컬러 영상과의 차이를 최소화하도록 학습하고, 상기 추정된 제1 컬러 영상은 제2 컬러 영상, 상기 양안 시차 영상 그리고 상기 색차 영상으로부터 획득되고,상기 제1 컬러 영상은 상기 열화상 영상에 기하학적으로 정렬된 영상이고, 상기 제1 컬러 영상과 상기 제2 컬러 영상은 동시에 촬영된 영상인, 신경망 장치
|
| 17 |
17
적어도 하나의 프로세서에 의해 동작하는 거리 추정 장치의 동작 방법으로서,학습용 열화상 영상을 신경망으로 입력하여 색차 영상과 양안 시차 영상을 획득하는 단계,상기 색차 영상과 상기 양안 시차 영상을 이용하여 제1 컬러 영상으로부터 제2 컬러 영상을 추정하는 단계, 그리고추정된 상기 제2 컬러 컬러 영상과 촬영된 제2 컬러 영상의 차이를 최소화하도록 상기 신경망을 학습시키는 단계를 포함하고,상기 학습용 열화상 영상과 상기 제2 컬러 영상은 기하학적으로 정렬되고, 상기 제1 컬러 영상과 상기 제2 컬러 영상은 동시에 촬영된 스테레오 영상인, 동작 방법
|
| 18 |
18
제17항에서,상기 제2 컬러 영상을 추정하는 단계는상기 양안 시차 영상을 이용하여 상기 제1 컬러 영상의 휘도 성분으로부터 제2 컬러 영상의 휘도 성분을 추정하는 단계, 그리고상기 제2 컬러 영상의 휘도 성분과 상기 색차 영상을 결합하여 상기 제2 컬러 영상을 추정하는 단계를 포함하는 동작 방법
|
| 19 |
19
제17항에서,상기 학습용 열화상 영상은 촬영된 특정 열화상 영상을 광도 보정(Photometric correction)하여 생성한 영상인, 동작 방법
|
| 20 |
20
제17항에서,거리 추정을 위한 단일 열화상 영상을 입력받는 단계,상기 단일 열화상 영상을 상기 신경망으로 전달하여 거리 추정용 양안 시차 영상을 획득하는 단계, 그리고상기 거리 추정용 양안 시차 영상을 기초로 거리 영상을 생성하는 단계를 더 포함하는 동작 방법
|
