맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법

  • 기술번호 : KST2022011168
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 스테레오 영상의 2개의 영상을 인가받아, 2개의 영상 사이에서 기지정된 방식에 따른 픽셀 비교를 통해 각 픽셀별 매칭 코스트를 계산하여 코스트 볼륨을 획득하는 코스트 볼륨 획득부, 미리 학습된 인공 신경망으로 구현되어, 코스트 볼륨으로부터 학습된 방식에 따라 2개의 시점 영상에서 대응하는 픽셀 사이의 거리를 추정하여 디스패리티 맵을 생성하고, 코스트 볼륨의 다수의 매칭 코스트를 학습된 방식에 따라 정제하여 정제 코스트 볼륨을 획득하는 디스패리티 맵 획득부 및 미리 학습된 인공 신경망으로 구현되어, 2개의 영상 중 하나의 영상과 디스패리티 맵 및 정제 코스트 볼륨 각각의 특징을 학습된 방식에 따라 추출하고 추출된 특징을 결합하며, 결합된 특징으로부터 학습된 방식에 따라 디스패리티 맵의 각 픽셀별 신뢰 여부를 판정하여 신뢰도 맵을 획득하는 신뢰도 판정부를 포함하여, 획득된 매칭 코스트에 대한 코스트 집계를 생성하고, 생성된 코스트 집계와 디스패리티 및 원본 스테레오 영상을 기반으로 디스패리티 맵의 신뢰도를 적대적으로 판별하도록 하여, 학습 시에 상호 상승 효과를 유발함으로써, 신뢰도 추정 정확도를 크게 향상시킬 수 있는 스테레오 매칭 신뢰도 추정 장치 및 방법을 제공할 수 있다.
Int. CL G06N 3/08 (2006.01.01) G06N 3/04 (2006.01.01) H04N 13/271 (2018.01.01)
CPC G06N 3/08(2013.01) G06N 3/04(2013.01) H04N 13/271(2013.01)
출원번호/일자 1020200162095 (2020.11.27)
출원인 연세대학교 산학협력단
등록번호/일자
공개번호/일자 10-2022-0074044 (2022.06.03) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.11.27)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 손광훈 서울특별시 서대문구
2 김선옥 서울특별시 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 민영준 대한민국 서울특별시 강남구 남부순환로 ****, *층(도곡동, 차우빌딩)(맥스국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2020.11.27 수리 (Accepted) 1-1-2020-1281279-95
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
스테레오 영상의 2개의 영상을 인가받아, 2개의 영상 사이에서 기지정된 방식에 따른 픽셀 비교를 통해 각 픽셀별 매칭 코스트를 계산하여 코스트 볼륨을 획득하는 코스트 볼륨 획득부; 미리 학습된 인공 신경망으로 구현되어, 상기 코스트 볼륨으로부터 학습된 방식에 따라 2개의 시점 영상에서 대응하는 픽셀 사이의 거리를 추정하여 디스패리티 맵을 생성하고, 상기 코스트 볼륨의 다수의 매칭 코스트를 학습된 방식에 따라 정제하여 정제 코스트 볼륨을 획득하는 디스패리티 맵 획득부; 및 미리 학습된 인공 신경망으로 구현되어, 상기 2개의 영상 중 하나의 영상과 상기 디스패리티 맵 및 상기 정제 코스트 볼륨 각각의 특징을 학습된 방식에 따라 추출하고 추출된 특징을 결합하며, 결합된 특징으로부터 학습된 방식에 따라 상기 디스패리티 맵의 각 픽셀별 신뢰 여부를 판정하여 신뢰도 맵을 획득하는 신뢰도 판정부를 포함하는 스테레오 매칭 신뢰도 추정 장치
2 2
제1항에 있어서, 상기 스테레오 매칭 신뢰도 추정 장치는 학습 시에 결합되어, 학습 스테레오 영상이 상기 코스트 볼륨 획득부에 인가되어 상기 디스패리티 맵 획득부가 상기 디스패리티 맵을 생성하는 과정에서 발생한 디스패리티 손실과 상기 신뢰도 판정부가 디스패리티 맵의 각 픽셀별 신뢰도를 적대적으로 판정하는 과정에서 발생한 신뢰도 손실을 계산하고, 계산된 디스패리티 손실과 신뢰도 손실을 이용하여 계산되는 총 손실을 역전파하여, 인공 신경망으로 구현되는 상기 디스패리티 맵 획득부와 상기 신뢰도 판정부를 학습시키는 학습부를 더 포함하는 스테레오 매칭 신뢰도 추정 장치
3 3
제2항에 있어서, 상기 학습부는 학습 스테레오 영상과 함께 제공된 진리 디스패리티 맵과 상기 디스패리티 맵 획득부가 학습 스테레오 영상으로부터 획득한 디스패리티 맵을 기반으로 진리 신뢰도 맵을 획득하고, 진리 신뢰도 맵과 상기 신뢰도 판정부에서 획득된 신뢰도 맵의 픽셀별 신뢰도를 비교하여 신뢰도 맵의 각 픽셀별 신뢰 여부를 양성 또는 음성으로 판별하며, 상기 신뢰도 손실을 판별된 양성 및 음성에 따라 구분하여 계산하는 스테레오 매칭 신뢰도 추정 장치
4 4
제3항에 있어서, 상기 학습부는 상기 디스패리티 손실과 양성 및 음성에 따라 구분하여 계산되는 상기 신뢰도 손실 중 음성으로 구분된 신뢰도 손실을 이용하여 상기 총 손실을 계산하는 스테레오 매칭 신뢰도 추정 장치
5 5
제4항에 있어서, 상기 학습부는 상기 디스패리티 손실(Ldisp(G))을 수학식 (여기서 는 스테레오 영상의 2개의 영상 중 하나를 기준 영상(Il)으로 하여 계산된 코스트 볼륨(C)에서 크로스 엔트로피를 나타내는 에너지 함수이고, GD(C)는 코스트 볼륨(C)에서 추정된 디스패리티 맵이며, D*은 진리 디스패리티 맵이다
6 6
제5항에 있어서, 상기 학습부는 판별된 양성 및 음성에 따른 상기 신뢰도 손실을 구분하여 수학식 (여기서 와 는 각각 t번째 반복 학습에서 양성으로 판별된 코스트 볼륨과 디스패리티 맵을 나타내고, 는 t번째 반복 학습에서 코스트 볼륨(Ct)과 디스패리티 맵(Dt) 및 컬러 영상(Il) 각각의 양성으로 판별된 코스트 볼륨()과 디스패리티 맵() 및 컬러 영상(Il) 픽셀의 크로스 엔트로피를 나타내는 에너지 함수이다
7 7
제6항에 있어서, 상기 학습부는 판별된 양성 및 음성에 따라 구분되어 계산되는 상기 신뢰도 손실 중 음성으로 판별된 신뢰도 손실을 에 따라 획득하고, 상기 디스패리티 손실(Ldisp(G))과 상기 음성으로 판별된 신뢰도 손실로부터 상기 총 손실(Ltotal(G,F))을 수학식 에 따라 계산하여 역전파하는 스테레오 매칭 신뢰도 추정 장치
8 8
제1항에 있어서, 상기 디스패리티 맵 획득부는 인코더 및 디코더를 구비하는 오토인코더 형식의 인공 신경망으로 구현되어 상기 코스트 볼륨의 매칭 코스트를 학습된 방식에 따라 집계하고, 집계된 코스트 볼륨의 픽셀 각각에 대해 학습된 방식에 따라 디코딩하여 픽셀별 확률 밀도를 추출하는 코스트 볼륨 변환부; 코스트 볼륨의 픽셀별 확률 밀도를 정규화 레이어로 정규화하여 정규 코스트 볼륨을 획득하는 정규화부; 상기 정규 코스트 볼륨의 픽셀별로 정규화된 다수의 매칭 코스트 중 최대가 되는 코스트를 나타내는 디스패리티를 추출하여 상기 디스패리티 맵을 획득하는 디스패리티 추출부; 및 정규 코스트 볼륨에서 학습된 방식에 따라 기설정된 K개의 코스트를 추출 및 풀링하여 상기 정제 코스트 볼륨을 획득하는 코스트 정제부를 포함하는 스테레오 매칭 신뢰도 추정 장치
9 9
제8항에 있어서, 상기 신뢰도 판정부는 상기 정제 코스트 볼륨을 인가받아 미리 학습된 방식에 따라 특징을 추출하여 코스트 특징맵을 획득하는 매칭 코스트 특징 추출부; 상기 디스패리티 맵을 인가받아 미리 학습된 방식에 따라 특징을 추출하여 디스패리티 특징맵을 획득하는 디스패리티 특징 추출부; 상기 스테레오 영상의 2개의 영상 중 매칭 코스트 획득 시 기준이 되는 기준 영상을 인가받아 미리 학습된 방식에 따라 특징을 추출하여 컬러 특징맵을 획득하는 컬러 특징 추출부; 상기 코스트 특징맵과 상기 디스패리티 특징맵 및 상기 컬러 특징맵을 인가받아 기지정된 방식으로 결합하여 결합 특징맵을 획득하는 특징 결합부; 및 상기 결합 특징맵을 인가받아 미리 학습된 방식으로 상기 디스패리티 맵의 각 픽셀별 신뢰도를 판정하여 신뢰도 맵을 획득하는 신뢰도 추출부를 포함하는 스테레오 매칭 신뢰도 추정 장치
10 10
스테레오 영상의 2개의 영상을 인가받아, 2개의 영상 사이에서 기지정된 방식에 따른 픽셀 비교를 통해 각 픽셀별 매칭 코스트를 계산하여 코스트 볼륨을 획득하는 단계; 미리 학습된 인공 신경망을 이용하여, 상기 코스트 볼륨의 다수의 매칭 코스트를 학습된 방식에 따라 정제하여 정제 코스트 볼륨을 획득하고, 상기 코스트 볼륨으로부터 학습된 방식에 따라 2개의 시점 영상에서 대응하는 픽셀 사이의 거리를 추정하여 디스패리티 맵을 생성하는 단계; 및 미리 학습된 인공 신경망을 이용하여, 상기 2개의 영상 중 하나의 영상과 상기 디스패리티 맵 및 상기 정제 코스트 볼륨 각각의 특징을 학습된 방식에 따라 추출하고 추출된 특징을 결합하고, 결합된 특징으로부터 학습된 방식에 따라 상기 디스패리티 맵의 각 픽셀별 신뢰 여부를 판정하여 신뢰도 맵을 획득하는 단계를 포함하는 스테레오 매칭 신뢰도 추정 방법
11 11
제10항에 있어서, 상기 스테레오 매칭 신뢰도 추정 방법은 상기 인공 신경망을 학습시키기 위한 학습 단계를 더 포함하고, 상기 학습 단계는 학습 스테레오 영상으로부터 상기 디스패리티 맵을 생성하는 과정에서 발생한 디스패리티 손실을 계산하는 단계; 상기 디스패리티 맵의 각 픽셀별 신뢰도를 적대적으로 판정하는 과정에서 발생한 신뢰도 손실을 계산하는 단계; 및 계산된 디스패리티 손실과 신뢰도 손실을 이용하여 계산되는 총 손실을 역전파하여 상기 인공 신경망을 학습시키는 단계를 포함하는 스테레오 매칭 신뢰도 추정 방법
12 12
제11항에 있어서, 상기 디스패리티 손실을 계산하는 단계는 상기 디스패리티 손실(Ldisp(G))을 수학식 (여기서 는 스테레오 영상의 2개의 영상 중 하나를 기준 영상(Il)으로 하여 계산된 코스트 볼륨(C)에서 크로스 엔트로피를 나타내는 에너지 함수이고, GD(C)는 코스트 볼륨(C)에서 추정된 디스패리티 맵이며, D*은 진리 디스패리티 맵이다
13 13
제12항에 있어서, 상기 신뢰도 손실을 계산하는 단계는 학습 스테레오 영상과 함께 제공된 진리 디스패리티 맵과 학습 스테레오 영상으로부터 생성된 디스패리티 맵을 기반으로 진리 신뢰도 맵을 획득하는 단계; 진리 신뢰도 맵과 획득된 상기 신뢰도 맵의 픽셀별 신뢰도를 비교하여 신뢰도 맵의 각 픽셀별 신뢰 여부를 양성 또는 음성으로 판별하는 단계; 및 상기 신뢰도 손실을 판별된 양성 및 음성에 따라 구분하여 계산하는 단계를 포함하는 스테레오 매칭 신뢰도 추정 방법
14 14
제13항에 있어서, 상기 양성 및 음성에 따라 구분하여 계산하는 단계는 판별된 양성 및 음성에 따른 상기 신뢰도 손실을 구분하여 수학식 (여기서 와 는 각각 t번째 반복 학습에서 양성으로 판별된 코스트 볼륨과 디스패리티 맵을 나타내고, 는 t번째 반복 학습에서 코스트 볼륨(Ct)과 디스패리티 맵(Dt) 및 컬러 영상(Il) 각각의 양성으로 판별된 코스트 볼륨()과 디스패리티 맵() 및 컬러 영상(Il) 픽셀의 크로스 엔트로피를 나타내는 에너지 함수이다
15 15
제14항에 있어서, 상기 학습시키는 단계는 상기 디스패리티 손실과 양성 및 음성에 따라 구분하여 계산되는 상기 신뢰도 손실 중 음성으로 구분된 신뢰도 손실을 이용하여 상기 총 손실을 계산하는 스테레오 매칭 신뢰도 추정 방법
16 16
제15항에 있어서, 상기 총 손실을 계산하는 단계는 판별된 양성 및 음성에 따라 구분되어 계산되는 상기 신뢰도 손실 중 음성으로 판별된 신뢰도 손실을 에 따라 획득하는 단계; 및 상기 총 손실(Ltotal(G,F))을 상기 디스패리티 손실(Ldisp(G))과 상기 음성으로 판별된 신뢰도 손실로부터 수학식 에 따라 계산하여 역전파하는 단계를 포함하는 스테레오 매칭 신뢰도 추정 방법
17 17
제10항에 있어서, 상기 디스패리티 맵을 생성하는 단계는 인코더 및 디코더를 구비하는 오토인코더 형식의 인공 신경망을 이용하여 상기 코스트 볼륨의 매칭 코스트를 학습된 방식에 따라 집계하고, 집계된 코스트 볼륨의 픽셀 각각에 대해 학습된 방식에 따라 디코딩하여 픽셀별 확률 밀도를 추출하는 단계; 코스트 볼륨의 픽셀별 확률 밀도를 정규화 레이어로 정규화하여 정규 코스트 볼륨을 획득하는 단계; 상기 정규 코스트 볼륨의 픽셀별로 정규화된 다수의 매칭 코스트 중 최대가 되는 코스트를 나타내는 디스패리티를 추출하여 상기 디스패리티 맵을 획득하는 단계; 및 정규 코스트 볼륨에서 학습된 방식에 따라 기설정된 K개의 코스트를 추출 및 풀링하여 상기 정제 코스트 볼륨을 획득하는 단계를 포함하는 스테레오 매칭 신뢰도 추정 방법
18 18
제17항에 있어서, 상기 신뢰도 맵을 획득하는 단계는 상기 정제 코스트 볼륨을 인가받아 미리 학습된 방식에 따라 특징을 추출하여 코스트 특징맵을 획득하는 단계; 상기 디스패리티 맵을 인가받아 미리 학습된 방식에 따라 특징을 추출하여 디스패리티 특징맵을 획득하는 단계; 상기 스테레오 영상의 2개의 영상 중 매칭 코스트 획득 시 기준이 되는 기준 영상을 인가받아 미리 학습된 방식에 따라 특징을 추출하여 컬러 특징맵을 획득하는 단계; 상기 코스트 특징맵과 상기 디스패리티 특징맵 및 상기 컬러 특징맵을 인가받아 기지정된 방식으로 결합하여 결합 특징맵을 획득하는 단계; 및 상기 결합 특징맵을 인가받아 미리 학습된 방식으로 상기 디스패리티 맵의 각 픽셀별 신뢰도를 판정하여 신뢰도 맵을 획득하는 단계를 포함하는 스테레오 매칭 신뢰도 추정 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 연세대학교 산학협력단 정보통신방송연구개발사업 스마트카 다중 센서와 딥러닝을 이용한 초정밀 내츄럴 3D 뷰 생성 기술 개발