| 1 |
1
스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 장치로서,상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 방법을 학습하는 제1 깊이 정보 생성부; 및상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 방법을 학습하는 제2 깊이 정보 생성부를 포함하되,상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되고,상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되며,상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치
|
| 2 |
2
제1항에 있어서,상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 합성곱 신경망 알고리즘을 이용하여 학습되는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치
|
| 3 |
3
제2항에 있어서,상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 다이레이트 컨벌루션을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치
|
| 4 |
4
제1항에 있어서,상기 제1 깊이 정보 생성부는,상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 제1 필터부;상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 제2 필터부;상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 제1 융합부; 및상기 제1 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치
|
| 5 |
5
제1항에 있어서,상기 제2 깊이 정보 생성부는,상기 기준 영상에 다이레이트 컨벌루션을 수행하는 제4 필터부;상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 제5 필터부;상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 제2 융합부; 및상기 제2 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치
|
| 6 |
6
제1항에 있어서,상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치
|
| 7 |
7
스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 장치로서,상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 제1 깊이 정보 생성부; 및상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 제2 깊이 정보 생성부를 포함하되,상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고,상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며,상기 제1 깊이 정보 생성부는 사전 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 장치
|
| 8 |
8
제7항에 있어서,상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 합성곱 신경망 알고리즘을 이용하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 장치
|
| 9 |
9
제8항에 있어서,상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 다이레이트 컨벌루션을 이용하는 것을 특징으로 하는 깊이 정보 생성 장치
|
| 10 |
10
제7항에 있어서,상기 제1 깊이 정보 생성부는,상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 제1 필터부;상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 제2 필터부;상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 제1 융합부; 및상기 제1 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치
|
| 11 |
11
제7항에 있어서,상기 제2 깊이 정보 생성부는,상기 기준 영상에 다이레이트 컨벌루션을 수행하는 제4 필터부;상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 제5 필터부;상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 제2 융합부; 및상기 제2 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치
|
| 12 |
12
제7항에 있어서,상기 제1 깊이 정보 생성부는 사전 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성 장치
|
| 13 |
13
스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 방법으로서,(a)레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및(b)레퍼런스 좌영상 및 레퍼런스 우영상 중 상기 레퍼런스 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 단계;(c)레퍼런스 실제 깊이 정보와 상기 제2 깊이 정보의 차이값인 제2 에러값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (b)단계를 학습시키는 단계; 및(d)상기 (c)단계에서 전달된 제2 에러값 및 상기 레퍼런스 실제 깊이 정보와 상기 제1 깊이 정보의 차이값인 제1 에러값을 합산한 값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (a)단계를 학습시키는 단계를 포함하는 깊이 정보 생성을 위한 학습 방법
|
| 14 |
14
제13항에 있어서,상기 (a)단계는,(a1)상기 레퍼런스 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(a2)상기 레퍼런스 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(a3)상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 단계; 및(a4)상기 (a3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 방법
|
| 15 |
15
제13항에 있어서,상기 (b)단계는,(b1)상기 기준 영상에 다이레이트 컨벌루션을 수행하는 단계;(b2)상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(b3)상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 단계; 및(b4)상기 (b3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 방법
|
| 16 |
16
제13항에 있어서,상기 (d)단계는 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 방법
|
| 17 |
17
스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 방법으로서,(a)상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및(b)상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 단계를 포함하되,상기 (a)단계는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고,상기 (b)단계는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며,상기 (a)단계는 사전 학습 과정 중 에러 역전파 과정에서 상기 (b)단계의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 방법
|
| 18 |
18
제17항에 있어서,상기 (a)단계는,(a1)상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(a2)상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(a3)상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 단계; 및(a4)상기 (a3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 단계를 포함하고,상기 (b)단계는,(b1)상기 기준 영상에 다이레이트 컨벌루션을 수행하는 단계;(b2)상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(b3)상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 단계; 및(b4)상기 (b3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성 방법
|
| 19 |
19
제17항에 있어서,상기 (a)단계는 사전 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성 방법
|
| 20 |
20
제13항 내지 제16항 중 어느 한 항의 깊이 정보 생성을 위한 학습 방법 또는 제17항 내지 제19항 중 어느 한 항의 깊이 정보 생성 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
|
