맞춤기술찾기
이전대상기술
컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하는 방법 및 이를 이용한 장치
- 기술번호 : KST2022009227
- 담당센터 : 광주기술혁신센터
- 전화번호 : 062-360-4654
| 요약 | 본 발명에 따르면, 컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하는 방법에 있어서, (a) 스테레오 카메라를 구성하는 컬러 카메라에 대응되는 학습용 컬러 이미지와 상기 스테레오 카메라를 구성하는 모노크롬 카메라에 대응되는 학습용 모노크롬 이미지를 포함하는 적어도 하나의 학습용 컬러 및 모노크롬 스테레오 페어가 획득되면, 학습 장치가, (i) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 학습용 컬러 및 모노크롬 스테레오 페어의 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 학습용 모노크롬 이미지에 대응하는 학습용 디스패리티 맵을 생성하도록 하고, (ii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 디퍼런스에 따른 학습용 오클루션 맵을 생성하도록 하며, (iii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디노이징 네트워크에 입력하여, 상기 디노이징 네트워크로 하여금 상기 학습용 컬러 이미지 및 상기 학습용 모노크롬 이미지 각각에서의 노이즈를 제거한 학습용 디노이즈드 모노크롬 이미지 및 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 단계; (b) 상기 학습 장치가, (i) (i-1) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 디노이즈드 컬러 이미지를 와핑하여 학습용 와프드 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 학습용 와프드 디노이즈드 컬러 이미지와 상기 학습용 디노이즈드 모노크롬 이미지를 컨캐터네이션하여 학습용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컬러화 네트워크에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 학습용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 학습용 모노크롬 이미지의 컬러를 복원하여 학습용 최종 컬러 복원 이미지를 생성하도록 하는 단계; 및 (c) 상기 학습 장치가, 상기 학습용 디스패리티 맵과 디스패리티 GT 맵을 참조하여 생성한 제1 로스, 상기 학습용 오클루션 맵과 오클루션 GT 맵을 참조하여 생성한 제2 로스, 상기 학습용 디노이즈드 모노크롬 이미지 및 상기 학습용 디노이즈드 컬러 이미지와 이에 대응하는 디노이즈드 GT 이미지를 참조하여 생성한 제3 로스 및 상기 학습용 최종 컬러 복원 이미지의 학습용 복원 크로미넌스 값과 이에 대응하는 GT 크로미넌스 값을 참조하여 생성한 제4 로스에 각각 가중치를 부여하여 생성한 합산 로스를 이용하여 상기 디스패리티 네트워크, 상기 오클루션 네트워크, 상기 디노이징 네트워크 및 상기 컬러화 네트워크에 포함된 적어도 하나의 파라미터를 학습시키는 단계;를 포함하는 방법 및 이를 이용한 장치가 개시된다. |
|---|---|
| Int. CL | H04N 13/271 (2018.01.01) H04N 13/257 (2018.01.01) H04N 13/156 (2018.01.01) H04N 13/15 (2018.01.01) H04N 13/239 (2018.01.01) G06T 5/00 (2019.01.01) G06T 3/00 (2019.01.01) G06N 3/08 (2006.01.01) |
| CPC | H04N 13/271(2013.01) H04N 13/257(2013.01) H04N 13/156(2013.01) H04N 13/15(2013.01) H04N 13/239(2013.01) G06T 5/002(2013.01) G06T 3/0093(2013.01) G06N 3/08(2013.01) G06T 2207/20084(2013.01) G06T 2207/10024(2013.01) |
| 출원번호/일자 | 1020220032396 (2022.03.15) |
| 출원인 | 광주과학기술원 |
| 등록번호/일자 | 10-2418000-0000 (2022.07.01) |
| 공개번호/일자 | |
| 공고번호/일자 | (20220707) 문서열기 |
| 국제출원번호/일자 | |
| 국제공개번호/일자 | |
| 우선권정보 | |
| 법적상태 | 등록 |
| 심사진행상태 | 수리 |
| 심판사항 | |
| 구분 | 국내출원/신규 |
| 원출원번호/일자 | |
| 관련 출원번호 | |
| 심사청구여부/일자 | Y (2022.03.15) |
| 심사청구항수 | 28 |
출원인
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 광주과학기술원 | 대한민국 | 광주광역시 북구 |
발명자
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 전해곤 | 광주광역시 북구 | |
| 2 | 임성훈 | 대구광역시 달성군 현풍읍 테 |
대리인
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 특허법인 수 | 대한민국 | 서울특별시 강남구 강남대로**길 **, *층(역삼동, 케이앤와이빌딩) |
최종권리자
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 광주과학기술원 | 광주광역시 북구 |
| 번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
|---|---|---|---|---|
| 1 | [특허출원]특허출원서 [Patent Application] Patent Application |
2022.03.15 | 수리 (Accepted) | 1-1-2022-0280766-96 |
| 2 | [우선심사신청]심사청구서·우선심사신청서 |
2022.03.25 | 수리 (Accepted) | 1-1-2022-0328043-19 |
| 3 | 의견제출통지서 Notification of reason for refusal |
2022.04.25 | 발송처리완료 (Completion of Transmission) | 9-5-2022-0309318-15 |
| 4 | [명세서등 보정]보정서 [Amendment to Description, etc.] Amendment |
2022.05.03 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2022-0476178-45 |
| 5 | [거절이유 등 통지에 따른 의견]의견서·답변서·소명서 |
2022.05.03 | 수리 (Accepted) | 1-1-2022-0476175-19 |
| 6 | 등록결정서 Decision to grant |
2022.06.30 | 발송처리완료 (Completion of Transmission) | 9-5-2022-0480847-78 |
| 번호 | 청구항 |
|---|---|
| 1 |
1 컬러 이미지와 모노크롬(monochrome) 이미지를 이용하여 스테레오 매칭(stereo matching)을 수행하는 방법에 있어서,(a) 스테레오 카메라를 구성하는 컬러 카메라에 대응되는 학습용 컬러 이미지와 상기 스테레오 카메라를 구성하는 모노크롬 카메라에 대응되는 학습용 모노크롬 이미지를 포함하는 적어도 하나의 학습용 컬러 및 모노크롬 스테레오 페어가 획득되면, 학습 장치가, (i) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디스패리티 네트워크(disparity network)에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 학습용 컬러 및 모노크롬 스테레오 페어의 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 학습용 모노크롬 이미지에 대응하는 학습용 디스패리티 맵을 생성하도록 하고, (ii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 오클루션 네트워크(occlusion network)에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 디퍼런스(difference)에 따른 학습용 오클루션 맵(occlusion map)을 생성하도록 하며, (iii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디노이징 네트워크(denoising network)에 입력하여, 상기 디노이징 네트워크로 하여금 상기 학습용 컬러 이미지 및 상기 학습용 모노크롬 이미지 각각에서의 노이즈를 제거한 학습용 디노이즈드(denoised) 모노크롬 이미지 및 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 단계; (b) 상기 학습 장치가, (i) (i-1) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 디노이즈드 컬러 이미지를 와핑(warping)하여 학습용 와프드(warped) 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 학습용 와프드 디노이즈드 컬러 이미지와 상기 학습용 디노이즈드 모노크롬 이미지를 컨캐터네이션(concatenation)하여 학습용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컬러화 네트워크(colorization network)에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 학습용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 학습용 모노크롬 이미지의 컬러를 복원하여 학습용 최종 컬러 복원 이미지를 생성하도록 하는 단계; 및(c) 상기 학습 장치가, 상기 학습용 디스패리티 맵과 디스패리티 GT(ground truth) 맵을 참조하여 생성한 제1 로스, 상기 학습용 오클루션 맵과 오클루션 GT 맵을 참조하여 생성한 제2 로스, 상기 학습용 디노이즈드 모노크롬 이미지 및 상기 학습용 디노이즈드 컬러 이미지와 이에 대응하는 디노이즈드 GT 이미지를 참조하여 생성한 제3 로스 및 상기 학습용 최종 컬러 복원 이미지의 학습용 복원 크로미넌스(chrominance) 값과 이에 대응하는 GT 크로미넌스 값을 참조하여 생성한 제4 로스에 각각 가중치를 부여하여 생성한 합산 로스를 이용하여 상기 디스패리티 네트워크, 상기 오클루션 네트워크, 상기 디노이징 네트워크 및 상기 컬러화 네트워크에 포함된 적어도 하나의 파라미터를 학습시키는 단계;를 포함하는 방법 |
| 2 |
2 제1항에 있어서,상기 (a) 단계에서,상기 학습 장치는, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지를 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, (i) 상기 디스패리티 네트워크의 인코더(encoder)에 포함된 제1_1 서브 인코더를 통해 상기 학습용 모노크롬 이미지를 인코딩하여 상기 학습용 모노크롬 이미지에 대한 학습용 제1_1 피쳐 맵(feature map)을 생성하고, 상기 디스패리티 네트워크의 상기 인코더에 포함된 제1_2 서브 인코더를 통해 상기 학습용 컬러 이미지를 인코딩하여 상기 학습용 컬러 이미지에 대한 학습용 제1_2 피쳐 맵을 생성하도록 하며, (ii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 코릴레이션 레이어(correlation layer)를 통해 상기 학습용 제1_1 피쳐 맵과 상기 학습용 제1_2 피쳐 맵에 코릴레이션 연산을 수행하여 상기 매칭 코스트를 연산함으로써 상기 학습용 컬러 및 모노크롬 스테레오 페어에 대응되는 학습용 코릴레이션 피쳐 맵을 생성하고, (iii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 제2 서브 인코더를 통해 상기 학습용 코릴레이션 피쳐 맵을 인코딩하여 학습용 제2 피쳐 맵을 생성하도록 하며, (iv) 상기 디스패리티 네트워크의 디코더(decoder)를 통해 상기 학습용 제2 피쳐 맵을 디코딩하여 상기 학습용 디스패리티 맵을 생성하도록 하는 것을 특징으로 하는 방법 |
| 3 |
3 제2항에 있어서,상기 학습 장치는, 상기 디스패리티 네트워크로 하여금, 상기 코릴레이션 연산으로서 상기 학습용 제1_1 피쳐 맵 상의 적어도 하나의 제1 영역에 포함된 적어도 하나의 제1 패치에 대응하는 학습용 제1 피쳐 벡터와 상기 제1 영역에 대응되는 상기 학습용 제1_2 피쳐 맵 상의 적어도 하나의 제2 영역에 포함된 적어도 하나의 제2 패치에 대응하는 학습용 제2 피쳐 벡터를 내적 연산함으로써 상기 학습용 코릴레이션 피쳐 맵을 생성하도록 하는 것을 특징으로 하는 방법 |
| 4 |
4 제2항에 있어서, 상기 학습 장치는, 상기 디스패리티 네트워크로 하여금, (i) 상기 제1_1 서브 인코더, 상기 제1_2 서브 인코더 및 상기 제2 서브 인코더에 포함된 학습용 제1 인터미디어트 피쳐 맵(intermediate feature map) - 상기 학습용 제1 인터미디어트 피쳐 맵은 상기 학습용 제1_1 피쳐 맵, 상기 학습용 제1_2 피쳐 맵 및 상기 학습용 제2 피쳐 맵을 포함함 - 을 생성하는 적어도 하나의 인코딩 레이어 중 적어도 일부인 소정의 인코딩 레이어에서 생성되는 소정의 학습용 제1 인터미디어트 피쳐 맵을 상기 디코더에 포함되어 상기 학습용 제1 인터미디어트 피쳐 맵에 대응하는 학습용 제2 인터미디어트 피쳐 맵을 생성하는 적어도 하나의 디코딩 레이어 중 상기 소정의 인코딩 레이어에 대응되는 소정의 디코딩 레이어에서 생성되는 소정의 학습용 제2 인터미디어트 피쳐 맵과 컨캐터네이션(concatenation)하여 적어도 하나의 학습용 컨캐터네이션 피쳐 맵을 생성하고, 상기 학습용 컨캐터네이션 피쳐 맵 각각을 상기 학습용 컨캐터네이션 피쳐 맵을 생성하는데 사용된 상기 소정의 학습용 제2 인터미디어트 피쳐 맵에 대응되는 각각의 상기 소정의 디코딩 레이어의 후속 레이어에 입력하도록 하는 것을 특징으로 하는 방법 |
| 5 |
5 제2항에 있어서,상기 학습 장치는, (i) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 컬러 이미지를 와핑하여 생성한 학습용 와프드(warped) 컬러 이미지 상의 각 픽셀의 픽셀값과 상기 학습용 모노크롬 이미지 상의 각 픽셀의 픽셀값 간의 차이를 계산한 학습용 디퍼런스 맵을 생성하고, (ii) 상기 학습용 디스패리티 맵을 생성하는데 사용한 상기 학습용 제2 피쳐 맵과 상기 학습용 디퍼런스 맵을 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 디퍼런스 맵에서 추출된 피쳐와 상기 학습용 제2 피쳐 맵의 피쳐를 참조하여 상기 학습용 와프드 컬러 이미지와 상기 학습용 모노크롬 이미지 간의 오클루션을 각 픽셀에 대한 바이너리 값으로 표시한 상기 학습용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 방법 |
| 6 |
6 제5항에 있어서,상기 학습 장치는, 상기 오클루션 네트워크로 하여금, (i) 상기 오클루션 네트워크의 인코더를 통해 상기 학습용 디퍼런스 맵을 인코딩하여 학습용 제3 피쳐 맵을 생성하도록 하고, (ii) 상기 오클루션 네트워크의 디코더를 통해 상기 학습용 제3 피쳐 맵과 상기 학습용 제2 피쳐 맵을 컨캐터네이션(concatenation)한 다음 디코딩하여 상기 학습용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 방법 |
| 7 |
7 제1항에 있어서,상기 (a) 단계에서,상기 학습 장치는, 상기 디노이징 네트워크로 하여금, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 적어도 하나의 컨벌루션(convolution) 연산, 적어도 하나의 배치 정규화(batch normalization) 연산 및 적어도 하나의 ReLU 연산을 수행하여 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각으로부터 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 대응하는 학습용 레이턴트 노이즈리스 이미지(latent noiseless image)를 제거한 출력을 예측한 학습용 잔차 이미지(residual image)를 획득하고, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 대응하는 상기 학습용 잔차 이미지를 참조하여 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지로부터 상기 노이즈를 제거하여 상기 학습용 디노이즈드 모노크롬 이미지와 상기 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 것을 특징으로 하는 방법 |
| 8 |
8 제1항에 있어서,상기 (b) 단계에서,상기 학습 장치는, 상기 컬러화 네트워크로 하여금, (i) 상기 학습용 오클루션 맵의 오클루션 영역 정보를 참조하여 상기 학습용 초기 컬러 복원 이미지로부터 추출된 적어도 하나의 픽셀 피쳐값에 대한 컬러 블리딩(color bleeding) 오류를 교정하여 교정된 픽셀 피쳐값을 생성하고, (ii) 레퍼런스 이미지(reference image)로 사용되는 상기 학습용 모노크롬 이미지 상에서 적어도 하나의 엣지로 구분된 각 영역의 컬러를 복원하기 위한 상기 각 영역의 컬러 씨드(seed)로써 상기 교정된 픽셀 피쳐값 중 적어도 일부를 이용하여 상기 학습용 모노크롬 이미지 상의 상기 각 픽셀에 대한 최종 컬러 정보를 복원하여 상기 학습용 최종 컬러 복원 이미지를 생성하도록 하는 것을 특징으로 하는 방법 |
| 9 |
9 제1항에 있어서,상기 (b) 단계에서,상기 학습 장치는, 상기 컬러화 네트워크로 하여금, (i) 상기 컬러화 네트워크의 인코더(encoder)를 이용하여 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컨캐터네이션(concatenation)한 다음 인코딩하여 학습용 제4 피쳐 맵을 생성하도록 하며, (ii) 상기 컬러화 네트워크의 디코더(decoder)를 이용하여 상기 학습용 제4 피쳐 맵을 디코딩하여 상기 학습용 최종 컬러 복원 이미지를 생성하도록 하는 것을 특징으로 하는 방법 |
| 10 |
10 제1항에 있어서,상기 (b) 단계에서,상기 학습 장치는, 상기 학습용 와프드 디노이즈드 모노크롬 이미지와 상기 학습용 디노이즈드 컬러 이미지를 채널 방향으로 컨캐터네이션하여, 상기 학습용 와프드 디노이즈드 컬러 이미지의 컬러 정보가 크로미넌스(chrominance) 채널인 U 채널과 V 채널을 구성하고 상기 학습용 디노이즈드 모노크롬 이미지의 휘도 정보가 루미넌스(luminance) 채널인 Y 채널을 구성하는 상기 학습용 초기 컬러 복원 이미지를 생성하는 것을 특징으로 하는 방법 |
| 11 |
11 컬러 이미지와 모노크롬(monochrome) 이미지를 이용하여 스테레오 매칭(stereo matching)을 수행하는 방법에 있어서,(a) 스테레오 카메라를 구성하는 컬러 카메라에 대응되는 학습용 컬러 이미지와 상기 스테레오 카메라를 구성하는 모노크롬 카메라에 대응되는 학습용 모노크롬 이미지를 포함하는 적어도 하나의 학습용 컬러 및 모노크롬 스테레오 페어가 획득되면, 학습 장치가, (1) (i) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디스패리티 네트워크(disparity network)에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 학습용 컬러 및 모노크롬 스테레오 페어의 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 학습용 모노크롬 이미지에 대응하는 학습용 디스패리티 맵을 생성하도록 하고, (ii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 오클루션 네트워크(occlusion network)에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 디퍼런스(difference)에 따른 학습용 오클루션 맵(occlusion map)을 생성하도록 하며, (iii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디노이징 네트워크(denoising network)에 입력하여, 상기 디노이징 네트워크로 하여금 상기 학습용 컬러 이미지 및 상기 학습용 모노크롬 이미지 각각에서의 노이즈를 제거한 학습용 디노이즈드(denoised) 모노크롬 이미지 및 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 프로세스, (2) (i) (i-1) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 디노이즈드 컬러 이미지를 와핑(warping)하여 학습용 와프드(warped) 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 학습용 와프드 디노이즈드 컬러 이미지와 상기 학습용 디노이즈드 모노크롬 이미지를 컨캐터네이션(concatenation)하여 학습용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컬러화 네트워크(colorization network)에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 학습용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 학습용 모노크롬 이미지의 컬러를 복원하여 학습용 최종 컬러 복원 이미지를 생성하도록 하는 프로세스, 및 (3) 상기 학습용 디스패리티 맵과 디스패리티 GT(ground truth) 맵을 참조하여 생성한 제1 로스, 상기 학습용 오클루션 맵과 오클루션 GT 맵을 참조하여 생성한 제2 로스, 상기 학습용 디노이즈드 모노크롬 이미지 및 상기 학습용 디노이즈드 컬러 이미지와 이에 대응하는 디노이즈드 GT 이미지를 참조하여 생성한 제3 로스 및 상기 학습용 최종 컬러 복원 이미지의 학습용 복원 크로미넌스(chrominance) 값과 이에 대응하는 GT 크로미넌스 값을 참조하여 생성한 제4 로스에 각각 가중치를 부여하여 생성한 합산 로스를 이용하여 상기 디스패리티 네트워크, 상기 오클루션 네트워크, 상기 디노이징 네트워크 및 상기 컬러화 네트워크에 포함된 적어도 하나의 파라미터를 학습시키는 프로세스를 수행한 상태에서, 테스트 장치가, 상기 스테레오 카메라를 구성하는 상기 컬러 카메라에 대응되는 테스트용 컬러 이미지와 상기 스테레오 카메라를 구성하는 상기 모노크롬 카메라에 대응되는 테스트용 모노크롬 이미지를 포함하는 적어도 하나의 테스트용 컬러 및 모노크롬 스테레오 페어를 획득하는 단계;(b) 상기 테스트 장치가, (i) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 테스트용 컬러 및 모노크롬 스테레오 페어의 상기 테스트용 컬러 이미지와 상기 테스트용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 테스트용 모노크롬 이미지에 대응하는 테스트용 디스패리티 맵을 생성하도록 하고, (ii) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 테스트용 컬러 이미지와 상기 테스트용 모노크롬 이미지 사이의 디퍼런스에 따른 테스트용 오클루션 맵을 생성하도록 하며, (iii) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 디노이징 네트워크에 입력하여, 상기 디노이징 네트워크로 하여금 상기 테스트용 컬러 이미지 및 상기 테스트용 모노크롬 이미지 각각에서의 노이즈를 제거한 테스트용 디노이즈드 모노크롬 이미지 및 테스트용 디노이즈드 컬러 이미지를 생성하도록 하는 단계; 및(c) 상기 테스트 장치가, (i) (i-1) 상기 테스트용 디스패리티 맵을 참조하여 상기 테스트용 디노이즈드 컬러 이미지를 와핑하여 테스트용 와프드 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 테스트용 와프드 디노이즈드 컬러 이미지와 상기 테스트용 디노이즈드 모노크롬 이미지를 컨캐터네이션하여 테스트용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 테스트용 초기 컬러 복원 이미지, 상기 테스트용 오클루션 맵 및 상기 테스트용 모노크롬 이미지를 상기 컬러화 네트워크에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 테스트용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 테스트용 모노크롬 이미지의 컬러를 복원하여 테스트용 최종 컬러 복원 이미지를 생성하도록 하는 단계;를 포함하는 방법 |
| 12 |
12 제11항에 있어서,상기 (b) 단계에서,상기 테스트 장치는, 상기 테스트용 모노크롬 이미지와 상기 테스트용 컬러 이미지를 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, (i) 상기 디스패리티 네트워크의 인코더(encoder)에 포함된 제1_1 서브 인코더를 통해 상기 테스트용 모노크롬 이미지를 인코딩하여 상기 테스트용 모노크롬 이미지에 대한 테스트용 제1_1 피쳐 맵(feature map)을 생성하고, 상기 디스패리티 네트워크의 상기 인코더에 포함된 제1_2 서브 인코더를 통해 상기 테스트용 컬러 이미지를 인코딩하여 상기 테스트용 컬러 이미지에 대한 테스트용 제1_2 피쳐 맵을 생성하도록 하며, (ii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 코릴레이션 레이어(correlation layer)를 통해 상기 테스트용 제1_1 피쳐 맵과 상기 테스트용 제1_2 피쳐 맵에 코릴레이션 연산을 수행하여 상기 매칭 코스트를 연산함으로써 상기 테스트용 컬러 및 모노크롬 스테레오 페어에 대응되는 테스트용 코릴레이션 피쳐 맵을 생성하고, (iii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 제2 서브 인코더를 통해 상기 테스트용 코릴레이션 피쳐 맵을 인코딩하여 테스트용 제2 피쳐 맵을 생성하도록 하며, (iv) 상기 디스패리티 네트워크의 디코더(decoder)를 통해 상기 테스트용 제2 피쳐 맵을 디코딩하여 상기 테스트용 디스패리티 맵을 생성하도록 하는 것을 특징으로 하는 방법 |
| 13 |
13 제12항에 있어서,상기 테스트 장치는, 상기 디스패리티 네트워크로 하여금, 상기 코릴레이션 연산으로서 상기 테스트용 제1_1 피쳐 맵 상의 적어도 하나의 제1 영역에 포함된 적어도 하나의 제1 패치에 대응하는 테스트용 제1 피쳐 벡터와 상기 제1 영역에 대응되는 상기 테스트용 제1_2 피쳐 맵 상의 적어도 하나의 제2 영역에 포함된 적어도 하나의 제2 패치에 대응하는 테스트용 제2 피쳐 벡터를 내적 연산함으로써 상기 테스트용 코릴레이션 피쳐 맵을 생성하도록 하는 것을 특징으로 하는 방법 |
| 14 |
14 제12항에 있어서,상기 테스트 장치는, (i) 상기 테스트용 디스패리티 맵을 참조하여 상기 테스트용 컬러 이미지를 와핑하여 생성한 테스트용 와프드(warped) 컬러 이미지 상의 각 픽셀의 픽셀값과 상기 테스트용 모노크롬 이미지 상의 각 픽셀의 픽셀값 간의 차이를 계산한 테스트용 디퍼런스 맵을 생성하고, (ii) 상기 테스트용 디스패리티 맵을 생성하는데 사용한 상기 테스트용 제2 피쳐 맵과 상기 테스트용 디퍼런스 맵을 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 테스트용 디퍼런스 맵에서 추출된 피쳐와 상기 테스트용 제2 피쳐 맵의 피쳐를 참조하여 상기 테스트용 와프드 컬러 이미지와 상기 테스트용 모노크롬 이미지 간의 오클루션을 각 픽셀에 대한 바이너리 값으로 표시한 상기 테스트용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 방법 |
| 15 |
15 컬러 이미지와 모노크롬(monochrome) 이미지를 이용하여 스테레오 매칭(stereo matching)을 수행하는 학습 장치에 있어서,컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하기 위한 인스트럭션들이 저장된 메모리; 및상기 메모리에 저장된 상기 인스트럭션들에 따라 컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하기 위한 동작을 수행하는 프로세서;를 포함하되,상기 프로세서는, (I) 스테레오 카메라를 구성하는 컬러 카메라에 대응되는 학습용 컬러 이미지와 상기 스테레오 카메라를 구성하는 모노크롬 카메라에 대응되는 학습용 모노크롬 이미지를 포함하는 적어도 하나의 학습용 컬러 및 모노크롬 스테레오 페어가 획득되면, (i) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디스패리티 네트워크(disparity network)에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 학습용 컬러 및 모노크롬 스테레오 페어의 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 학습용 모노크롬 이미지에 대응하는 학습용 디스패리티 맵을 생성하도록 하고, (ii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 오클루션 네트워크(occlusion network)에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 디퍼런스(difference)에 따른 학습용 오클루션 맵(occlusion map)을 생성하도록 하며, (iii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디노이징 네트워크(denoising network)에 입력하여, 상기 디노이징 네트워크로 하여금 상기 학습용 컬러 이미지 및 상기 학습용 모노크롬 이미지 각각에서의 노이즈를 제거한 학습용 디노이즈드(denoised) 모노크롬 이미지 및 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 프로세스, (II) (i) (i-1) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 디노이즈드 컬러 이미지를 와핑(warping)하여 학습용 와프드(warped) 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 학습용 와프드 디노이즈드 컬러 이미지와 상기 학습용 디노이즈드 모노크롬 이미지를 컨캐터네이션(concatenation)하여 학습용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컬러화 네트워크(colorization network)에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 학습용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 학습용 모노크롬 이미지의 컬러를 복원하여 학습용 최종 컬러 복원 이미지를 생성하도록 하는 프로세스, 및 (III) 상기 학습용 디스패리티 맵과 디스패리티 GT(ground truth) 맵을 참조하여 생성한 제1 로스, 상기 학습용 오클루션 맵과 오클루션 GT 맵을 참조하여 생성한 제2 로스, 상기 학습용 디노이즈드 모노크롬 이미지 및 상기 학습용 디노이즈드 컬러 이미지와 이에 대응하는 디노이즈드 GT 이미지를 참조하여 생성한 제3 로스 및 상기 학습용 최종 컬러 복원 이미지의 학습용 복원 크로미넌스(chrominance) 값과 이에 대응하는 GT 크로미넌스 값을 참조하여 생성한 제4 로스에 각각 가중치를 부여하여 생성한 합산 로스를 이용하여 상기 디스패리티 네트워크, 상기 오클루션 네트워크, 상기 디노이징 네트워크 및 상기 컬러화 네트워크에 포함된 적어도 하나의 파라미터를 학습시키는 프로세스를 수행하는 학습 장치 |
| 16 |
16 제15항에 있어서,상기 (I) 프로세스에서,상기 프로세서는, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지를 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, (i) 상기 디스패리티 네트워크의 인코더(encoder)에 포함된 제1_1 서브 인코더를 통해 상기 학습용 모노크롬 이미지를 인코딩하여 상기 학습용 모노크롬 이미지에 대한 학습용 제1_1 피쳐 맵(feature map)을 생성하고, 상기 디스패리티 네트워크의 상기 인코더에 포함된 제1_2 서브 인코더를 통해 상기 학습용 컬러 이미지를 인코딩하여 상기 학습용 컬러 이미지에 대한 학습용 제1_2 피쳐 맵을 생성하도록 하며, (ii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 코릴레이션 레이어(correlation layer)를 통해 상기 학습용 제1_1 피쳐 맵과 상기 학습용 제1_2 피쳐 맵에 코릴레이션 연산을 수행하여 상기 매칭 코스트를 연산함으로써 상기 학습용 컬러 및 모노크롬 스테레오 페어에 대응되는 학습용 코릴레이션 피쳐 맵을 생성하고, (iii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 제2 서브 인코더를 통해 상기 학습용 코릴레이션 피쳐 맵을 인코딩하여 학습용 제2 피쳐 맵을 생성하도록 하며, (iv) 상기 디스패리티 네트워크의 디코더(decoder)를 통해 상기 학습용 제2 피쳐 맵을 디코딩하여 상기 학습용 디스패리티 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치 |
| 17 |
17 제16항에 있어서,상기 프로세서는, 상기 디스패리티 네트워크로 하여금, 상기 코릴레이션 연산으로서 상기 학습용 제1_1 피쳐 맵 상의 적어도 하나의 제1 영역에 포함된 적어도 하나의 제1 패치에 대응하는 학습용 제1 피쳐 벡터와 상기 제1 영역에 대응되는 상기 학습용 제1_2 피쳐 맵 상의 적어도 하나의 제2 영역에 포함된 적어도 하나의 제2 패치에 대응하는 학습용 제2 피쳐 벡터를 내적 연산함으로써 상기 학습용 코릴레이션 피쳐 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치 |
| 18 |
18 제16항에 있어서, 상기 프로세서는, 상기 디스패리티 네트워크로 하여금, (i) 상기 제1_1 서브 인코더, 상기 제1_2 서브 인코더 및 상기 제2 서브 인코더에 포함된 학습용 제1 인터미디어트 피쳐 맵(intermediate feature map) - 상기 학습용 제1 인터미디어트 피쳐 맵은 상기 학습용 제1_1 피쳐 맵, 상기 학습용 제1_2 피쳐 맵 및 상기 학습용 제2 피쳐 맵을 포함함 - 을 생성하는 적어도 하나의 인코딩 레이어 중 적어도 일부인 소정의 인코딩 레이어에서 생성되는 소정의 학습용 제1 인터미디어트 피쳐 맵을 상기 디코더에 포함되어 상기 학습용 제1 인터미디어트 피쳐 맵에 대응하는 학습용 제2 인터미디어트 피쳐 맵을 생성하는 적어도 하나의 디코딩 레이어 중 상기 소정의 인코딩 레이어에 대응되는 소정의 디코딩 레이어에서 생성되는 소정의 학습용 제2 인터미디어트 피쳐 맵과 컨캐터네이션(concatenation)하여 적어도 하나의 학습용 컨캐터네이션 피쳐 맵을 생성하고, 상기 학습용 컨캐터네이션 피쳐 맵 각각을 상기 학습용 컨캐터네이션 피쳐 맵을 생성하는데 사용된 상기 소정의 학습용 제2 인터미디어트 피쳐 맵에 대응되는 각각의 상기 소정의 디코딩 레이어의 후속 레이어에 입력하도록 하는 것을 특징으로 하는 학습 장치 |
| 19 |
19 제16항에 있어서,상기 프로세서는, (i) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 컬러 이미지를 와핑하여 생성한 학습용 와프드(warped) 컬러 이미지 상의 각 픽셀의 픽셀값과 상기 학습용 모노크롬 이미지 상의 각 픽셀의 픽셀값 간의 차이를 계산한 학습용 디퍼런스 맵을 생성하고, (ii) 상기 학습용 디스패리티 맵을 생성하는데 사용한 상기 학습용 제2 피쳐 맵과 상기 학습용 디퍼런스 맵을 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 디퍼런스 맵에서 추출된 피쳐와 상기 학습용 제2 피쳐 맵의 피쳐를 참조하여 상기 학습용 와프드 컬러 이미지와 상기 학습용 모노크롬 이미지 간의 오클루션을 각 픽셀에 대한 바이너리 값으로 표시한 상기 학습용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치 |
| 20 |
20 제19항에 있어서,상기 프로세서는, 상기 오클루션 네트워크로 하여금, (i) 상기 오클루션 네트워크의 인코더를 통해 상기 학습용 디퍼런스 맵을 인코딩하여 학습용 제3 피쳐 맵을 생성하도록 하고, (ii) 상기 오클루션 네트워크의 디코더를 통해 상기 학습용 제3 피쳐 맵과 상기 학습용 제2 피쳐 맵을 컨캐터네이션(concatenation)한 다음 디코딩하여 상기 학습용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 학습 장치 |
| 21 |
21 제15항에 있어서,상기 (I) 프로세스에서,상기 프로세서는, 상기 디노이징 네트워크로 하여금, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 적어도 하나의 컨벌루션(convolution) 연산, 적어도 하나의 배치 정규화(batch normalization) 연산 및 적어도 하나의 ReLU 연산을 수행하여 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각으로부터 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 대응하는 학습용 레이턴트 노이즈리스 이미지(latent noiseless image)를 제거한 출력을 예측한 학습용 잔차 이미지(residual image)를 획득하고, 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지 각각에 대응하는 상기 학습용 잔차 이미지를 참조하여 상기 학습용 모노크롬 이미지와 상기 학습용 컬러 이미지로부터 상기 노이즈를 제거하여 상기 학습용 디노이즈드 모노크롬 이미지와 상기 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 것을 특징으로 하는 학습 장치 |
| 22 |
22 제15항에 있어서,상기 (II) 프로세스에서,상기 프로세서는, 상기 컬러화 네트워크로 하여금, (i) 상기 학습용 오클루션 맵의 오클루션 영역 정보를 참조하여 상기 학습용 초기 컬러 복원 이미지로부터 추출된 적어도 하나의 픽셀 피쳐값에 대한 컬러 블리딩(color bleeding) 오류를 교정하여 교정된 픽셀 피쳐값을 생성하고, (ii) 레퍼런스 이미지(reference image)로 사용되는 상기 학습용 모노크롬 이미지 상에서 적어도 하나의 엣지로 구분된 각 영역의 컬러를 복원하기 위한 상기 각 영역의 컬러 씨드(seed)로써 상기 교정된 픽셀 피쳐값 중 적어도 일부를 이용하여 상기 학습용 모노크롬 이미지 상의 상기 각 픽셀에 대한 최종 컬러 정보를 복원하여 상기 학습용 최종 컬러 복원 이미지를 생성하도록 하는 것을 특징으로 하는 학습 장치 |
| 23 |
23 제15항에 있어서,상기 (II) 프로세스에서,상기 프로세서는, 상기 컬러화 네트워크로 하여금, (i) 상기 컬러화 네트워크의 인코더(encoder)를 이용하여 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컨캐터네이션(concatenation)한 다음 인코딩하여 학습용 제4 피쳐 맵을 생성하도록 하며, (ii) 상기 컬러화 네트워크의 디코더(decoder)를 이용하여 상기 학습용 제4 피쳐 맵을 디코딩하여 상기 학습용 최종 컬러 복원 이미지를 생성하도록 하는 것을 특징으로 하는 학습 장치 |
| 24 |
24 제15항에 있어서,상기 (II) 프로세스에서,상기 프로세서는, 상기 학습용 와프드 디노이즈드 모노크롬 이미지와 상기 학습용 디노이즈드 컬러 이미지를 채널 방향으로 컨캐터네이션하여, 상기 학습용 와프드 디노이즈드 컬러 이미지의 컬러 정보가 크로미넌스(chrominance) 채널인 U 채널과 V 채널을 구성하고 상기 학습용 디노이즈드 모노크롬 이미지의 휘도 정보가 루미넌스(luminance) 채널인 Y 채널을 구성하는 상기 학습용 초기 컬러 복원 이미지를 생성하는 것을 특징으로 하는 학습 장치 |
| 25 |
25 컬러 이미지와 모노크롬(monochrome) 이미지를 이용하여 스테레오 매칭(stereo matching)을 수행하는 테스트 장치에 있어서,컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하기 위한 인스트럭션들이 저장된 메모리; 및상기 메모리에 저장된 상기 인스트럭션들에 따라 컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하기 위한 동작을 수행하는 프로세서;를 포함하되,상기 프로세서는, (I) 스테레오 카메라를 구성하는 컬러 카메라에 대응되는 학습용 컬러 이미지와 상기 스테레오 카메라를 구성하는 모노크롬 카메라에 대응되는 학습용 모노크롬 이미지를 포함하는 적어도 하나의 학습용 컬러 및 모노크롬 스테레오 페어가 획득되면, 학습 장치가, (1) (i) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디스패리티 네트워크(disparity network)에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 학습용 컬러 및 모노크롬 스테레오 페어의 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 학습용 모노크롬 이미지에 대응하는 학습용 디스패리티 맵을 생성하도록 하고, (ii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 오클루션 네트워크(occlusion network)에 입력하여, 상기 오클루션 네트워크로 하여금 상기 학습용 컬러 이미지와 상기 학습용 모노크롬 이미지 사이의 디퍼런스(difference)에 따른 학습용 오클루션 맵(occlusion map)을 생성하도록 하며, (iii) 상기 학습용 컬러 및 모노크롬 스테레오 페어를 디노이징 네트워크(denoising network)에 입력하여, 상기 디노이징 네트워크로 하여금 상기 학습용 컬러 이미지 및 상기 학습용 모노크롬 이미지 각각에서의 노이즈를 제거한 학습용 디노이즈드(denoised) 모노크롬 이미지 및 학습용 디노이즈드 컬러 이미지를 생성하도록 하는 프로세스, (2) (i) (i-1) 상기 학습용 디스패리티 맵을 참조하여 상기 학습용 디노이즈드 컬러 이미지를 와핑(warping)하여 학습용 와프드(warped) 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 학습용 와프드 디노이즈드 컬러 이미지와 상기 학습용 디노이즈드 모노크롬 이미지를 컨캐터네이션(concatenation)하여 학습용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 학습용 초기 컬러 복원 이미지, 상기 학습용 오클루션 맵 및 상기 학습용 모노크롬 이미지를 컬러화 네트워크(colorization network)에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 학습용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 학습용 모노크롬 이미지의 컬러를 복원하여 학습용 최종 컬러 복원 이미지를 생성하도록 하는 프로세스, 및 (3) 상기 학습용 디스패리티 맵과 디스패리티 GT(ground truth) 맵을 참조하여 생성한 제1 로스, 상기 학습용 오클루션 맵과 오클루션 GT 맵을 참조하여 생성한 제2 로스, 상기 학습용 디노이즈드 모노크롬 이미지 및 상기 학습용 디노이즈드 컬러 이미지와 이에 대응하는 디노이즈드 GT 이미지를 참조하여 생성한 제3 로스 및 상기 학습용 최종 컬러 복원 이미지의 학습용 복원 크로미넌스(chrominance) 값과 이에 대응하는 GT 크로미넌스 값을 참조하여 생성한 제4 로스에 각각 가중치를 부여하여 생성한 합산 로스를 이용하여 상기 디스패리티 네트워크, 상기 오클루션 네트워크, 상기 디노이징 네트워크 및 상기 컬러화 네트워크에 포함된 적어도 하나의 파라미터를 학습시키는 프로세스를 수행한 상태에서, 상기 스테레오 카메라를 구성하는 상기 컬러 카메라에 대응되는 테스트용 컬러 이미지와 상기 스테레오 카메라를 구성하는 상기 모노크롬 카메라에 대응되는 테스트용 모노크롬 이미지를 포함하는 적어도 하나의 테스트용 컬러 및 모노크롬 스테레오 페어를 획득하는 프로세스, (II) (i) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, 상기 테스트용 컬러 및 모노크롬 스테레오 페어의 상기 테스트용 컬러 이미지와 상기 테스트용 모노크롬 이미지 사이의 매칭 코스트에 따라 상기 테스트용 모노크롬 이미지에 대응하는 테스트용 디스패리티 맵을 생성하도록 하고, (ii) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 테스트용 컬러 이미지와 상기 테스트용 모노크롬 이미지 사이의 디퍼런스에 따른 테스트용 오클루션 맵을 생성하도록 하며, (iii) 상기 테스트용 컬러 및 모노크롬 스테레오 페어를 상기 디노이징 네트워크에 입력하여, 상기 디노이징 네트워크로 하여금 상기 테스트용 컬러 이미지 및 상기 테스트용 모노크롬 이미지 각각에서의 노이즈를 제거한 테스트용 디노이즈드 모노크롬 이미지 및 테스트용 디노이즈드 컬러 이미지를 생성하도록 하는 프로세스, 및 (III) (i) (i-1) 상기 테스트용 디스패리티 맵을 참조하여 상기 테스트용 디노이즈드 컬러 이미지를 와핑하여 테스트용 와프드 디노이즈드 컬러 이미지를 생성하고, (i-2) 상기 테스트용 와프드 디노이즈드 컬러 이미지와 상기 테스트용 디노이즈드 모노크롬 이미지를 컨캐터네이션하여 테스트용 초기 컬러 복원 이미지를 생성하며, (ii) 상기 테스트용 초기 컬러 복원 이미지, 상기 테스트용 오클루션 맵 및 상기 테스트용 모노크롬 이미지를 상기 컬러화 네트워크에 입력하여, 상기 컬러화 네트워크로 하여금, 상기 오클루션 맵을 참조하여 상기 테스트용 초기 컬러 복원 이미지의 컬러 정보에 따라 상기 테스트용 모노크롬 이미지의 컬러를 복원하여 테스트용 최종 컬러 복원 이미지를 생성하도록 하는 프로세스를 수행하는 테스트 장치 |
| 26 |
26 제25항에 있어서,상기 (II) 프로세스에서,상기 프로세서는, 상기 테스트용 모노크롬 이미지와 상기 테스트용 컬러 이미지를 디스패리티 네트워크에 입력하여, 상기 디스패리티 네트워크로 하여금, (i) 상기 디스패리티 네트워크의 인코더(encoder)에 포함된 제1_1 서브 인코더를 통해 상기 테스트용 모노크롬 이미지를 인코딩하여 상기 테스트용 모노크롬 이미지에 대한 테스트용 제1_1 피쳐 맵(feature map)을 생성하고, 상기 디스패리티 네트워크의 상기 인코더에 포함된 제1_2 서브 인코더를 통해 상기 테스트용 컬러 이미지를 인코딩하여 상기 테스트용 컬러 이미지에 대한 테스트용 제1_2 피쳐 맵을 생성하도록 하며, (ii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 코릴레이션 레이어(correlation layer)를 통해 상기 테스트용 제1_1 피쳐 맵과 상기 테스트용 제1_2 피쳐 맵에 코릴레이션 연산을 수행하여 상기 매칭 코스트를 연산함으로써 상기 테스트용 컬러 및 모노크롬 스테레오 페어에 대응되는 테스트용 코릴레이션 피쳐 맵을 생성하고, (iii) 상기 디스패리티 네트워크의 상기 인코더에 포함된 제2 서브 인코더를 통해 상기 테스트용 코릴레이션 피쳐 맵을 인코딩하여 테스트용 제2 피쳐 맵을 생성하도록 하며, (iv) 상기 디스패리티 네트워크의 디코더(decoder)를 통해 상기 테스트용 제2 피쳐 맵을 디코딩하여 상기 테스트용 디스패리티 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치 |
| 27 |
27 제26항에 있어서,상기 프로세서는, 상기 디스패리티 네트워크로 하여금, 상기 코릴레이션 연산으로서 상기 테스트용 제1_1 피쳐 맵 상의 적어도 하나의 제1 영역에 포함된 적어도 하나의 제1 패치에 대응하는 테스트용 제1 피쳐 벡터와 상기 제1 영역에 대응되는 상기 테스트용 제1_2 피쳐 맵 상의 적어도 하나의 제2 영역에 포함된 적어도 하나의 제2 패치에 대응하는 테스트용 제2 피쳐 벡터를 내적 연산함으로써 상기 테스트용 코릴레이션 피쳐 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치 |
| 28 |
28 제26항에 있어서,상기 프로세서는, (i) 상기 테스트용 디스패리티 맵을 참조하여 상기 테스트용 컬러 이미지를 와핑하여 생성한 테스트용 와프드(warped) 컬러 이미지 상의 각 픽셀의 픽셀값과 상기 테스트용 모노크롬 이미지 상의 각 픽셀의 픽셀값 간의 차이를 계산한 테스트용 디퍼런스 맵을 생성하고, (ii) 상기 테스트용 디스패리티 맵을 생성하는데 사용한 상기 테스트용 제2 피쳐 맵과 상기 테스트용 디퍼런스 맵을 상기 오클루션 네트워크에 입력하여, 상기 오클루션 네트워크로 하여금 상기 테스트용 디퍼런스 맵에서 추출된 피쳐와 상기 테스트용 제2 피쳐 맵의 피쳐를 참조하여 상기 테스트용 와프드 컬러 이미지와 상기 테스트용 모노크롬 이미지 간의 오클루션을 각 픽셀에 대한 바이너리 값으로 표시한 상기 테스트용 오클루션 맵을 생성하도록 하는 것을 특징으로 하는 테스트 장치 |
| 지정국 정보가 없습니다 |
|---|
| 패밀리정보가 없습니다 |
|---|
| 순번 | 연구부처 | 주관기관 | 연구사업 | 연구과제 |
|---|---|---|---|---|
| 1 | 산업통상자원부 | (주)위지윅스튜디오 | 산업기술국제협력(R＆D) | 뉴럴 휴먼 모델링 기반의 사용자 참여형 메타버스 공연 솔루션 개발 |
| 2 | 과학기술정보통신부 | (주)오토노머스에이투지 | 인공지능중심산업융합집적단지조성(R＆D) | 특정목적 차량 맞춤형 자율주행 소프트웨어 플랫폼 기술 개발 |
| 3 | 과학기술정보통신부 | 광주과학기술원 | 개인기초연구(과기정통부)(R＆D) | 공간변화에 강인한 인간 시각 인지 기반의 카메라 위치추정 |
| 4 | 과학기술정보통신부 | 광주과학기술원 | 정보통신방송혁신인재양성(R＆D) | 인공지능대학원지원(광주과기원) |
| 공개전문 정보가 없습니다 |
|---|
- 본 등록정보는 참고용으로 법적증빙자료로 사용할 수 없습니다.
- 데이터 이관에 따른 소요기간(1일)으로 인하여 등록원부와 일부 차이가 발생할 수 있으며, 일부 정보(부기, 상세 주소 등)를 제공하지 않고 있습니다.
- 법적증빙자료로 활용하시거나 더 자세한 정보를 보시려면 등록원부를 발급받아 사용하시기 바랍니다.
| 특허 등록번호 | 10-2418000-0000 |
|---|
권리란
| 표시번호 | 사항 |
|---|---|
| 1 |
출원 연월일 : 20220315 출원 번호 : 1020220032396 공고 연월일 : 20220707 공고 번호 : 특허결정(심결)연월일 : 20220630 청구범위의 항수 : 28 유별 : H04N 13/271 발명의 명칭 : 컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하는 방법 및 이를 이용한 장치 존속기간(예정)만료일 : |
특허권자란
| 순위번호 | 사항 |
|---|---|
| 1 |
(권리자) 광주과학기술원 광주광역시 북구... |
등록료란
| 제 1 - 3 년분 | 금 액 | 568,500 원 | 2022년 07월 04일 | 납입 |
- 본 '원본보기 서비스'는 참고용이므로, 일부 오류 및 누락이 발생할 수 있습니다.
- 정확한 서류를 확인하시려면 해당 웹사이트에서 조회하시기 바랍니다. (특허로 바로가기: http://www.patent.go.kr)
- 해당 서비스는 점검으로 인해 매주 일요일 00:00 ~ 02:00까지 이용이 중단됩니다.
| 번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
|---|---|---|---|---|
| 1 | [특허출원]특허출원서 | 2022.03.15 | 수리 (Accepted) | 1-1-2022-0280766-96 |
| 2 | [우선심사신청]심사청구서·우선심사신청서 | 2022.03.25 | 수리 (Accepted) | 1-1-2022-0328043-19 |
| 3 | 의견제출통지서 | 2022.04.25 | 발송처리완료 (Completion of Transmission) | 9-5-2022-0309318-15 |
| 4 | [명세서등 보정]보정서 | 2022.05.03 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2022-0476178-45 |
| 5 | [거절이유 등 통지에 따른 의견]의견서·답변서·소명서 | 2022.05.03 | 수리 (Accepted) | 1-1-2022-0476175-19 |
| 6 | 등록결정서 | 2022.06.30 | 발송처리완료 (Completion of Transmission) | 9-5-2022-0480847-78 |
| 기술정보가 없습니다 |
|---|
| 과제정보가 없습니다 |
|---|
중요키워드
| [KST2015174492][광주과학기술원] | 다시점 영상 오차 보정 방법 및 장치 | 새창보기 |
|---|---|---|
| [KST2020010121][광주과학기술원] | 생의학적 개체명 인식 시스템 | 새창보기 |
| [KST2022005639][광주과학기술원] | 기온예측시스템 | 새창보기 |
| [KST2021004073][광주과학기술원] | 행위 인식 방법 및 장치 | 새창보기 |
| [KST2021016087][광주과학기술원] | 이상 온도를 나타내는 객체를 식별하는 방법 및 장치 | 새창보기 |
| [KST2022004094][광주과학기술원] | 자기주의 기반 심층 신경망 모델을 이용한 약물-표적 상호작용 예측 장치 및 그 방법 | 새창보기 |
| [KST2022004756][광주과학기술원] | 보행경로예측장치 | 새창보기 |
| [KST2014043405][광주과학기술원] | 고해상도 타일드 디스플레이를 지원하는 햅틱기반 네트워크 가상환경 구현 장치 및 방법 | 새창보기 |
| [KST2019025106][광주과학기술원] | 강우예측을 이용한 하수처리시설의 제어방법 | 새창보기 |
| [KST2022005089][광주과학기술원] | 폐루프 배전계통의 보호장치 및 인공지능 장치 | 새창보기 |
| [KST2015174427][광주과학기술원] | 전역 광단층 영상기기의 이미지 해상도 향상방법 | 새창보기 |
| [KST2015174818][광주과학기술원] | 깊이맵 업샘플링 장치 및 방법 | 새창보기 |
| [KST2018007195][광주과학기술원] | 얼굴 비식별화 방법 | 새창보기 |
| [KST2022002676][광주과학기술원] | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 | 새창보기 |
| [KST2015174710][광주과학기술원] | 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법 | 새창보기 |
| [KST2020003683][광주과학기술원] | 기계학습을 이용한 단계적 태양광 발전량 예측 장치 및 방법 | 새창보기 |
| [KST2022003204][광주과학기술원] | 대상 객체의 크기를 식별하는 방법 및 장치 | 새창보기 |
| [KST2022004093][광주과학기술원] | 쌍곡 공간에서의 이미지 컨볼루션 방법 | 새창보기 |
| [KST2019019572][광주과학기술원] | 차량 인식 시스템 | 새창보기 |
| [KST2019020829][광주과학기술원] | 뉴럴 네트워크를 이용한 3차원 형상 복원 시스템의 동작 방법 | 새창보기 |
| [KST2022000008][광주과학기술원] | 음성 향상 장치 | 새창보기 |
| [KST2019025153][광주과학기술원] | 생의학적 개체명 정규화 방법 | 새창보기 |
| [KST2020001414][광주과학기술원] | 딥러닝 기반 마스크 추정 방법을 이용한 건물 부하 식별 시스템의 동작 방법 | 새창보기 |
| [KST2020010124][광주과학기술원] | 영상 이미지 학습장치 및 방법 | 새창보기 |
| [KST2020010256][광주과학기술원] | 바이너리 뉴럴 네트워크를 위한 뉴럴 아키텍처 서치 방법 및 장치 | 새창보기 |
| [KST2021016073][광주과학기술원] | 배전계통 내 미계측 모선의 전력 상태를 추정하는 방법 및 장치 | 새창보기 |
| [KST2021016079][광주과학기술원] | 환자의 낙상상황을 판별하기 위한 낙상 판별 시스템 및 방법 | 새창보기 |
| [KST2015174255][광주과학기술원] | 영상 처리 장치 및 방법 | 새창보기 |
| [KST2020010123][광주과학기술원] | 영상 개선 장치 | 새창보기 |
| [KST2021005155][광주과학기술원] | 아날로그 배치 정규화 장치를 포함하는 신경망 학습 장치 | 새창보기 |
| 심판사항 정보가 없습니다 |
|---|