맞춤기술찾기

이전대상기술

실시간 3차원 360 영상 복원 방법 및 그 장치

  • 기술번호 : KST2020002215
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 실시간 3차원 360 영상 복원 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 360 영상 복원 방법은 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 단계; 미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 단계; 상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 단계; 및 상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 단계를 포함한다.
Int. CL G06T 5/00 (2019.01.01) G06T 3/00 (2019.01.01)
CPC G06T 5/001(2013.01) G06T 5/001(2013.01) G06T 5/001(2013.01) G06T 5/001(2013.01)
출원번호/일자 1020180100996 (2018.08.28)
출원인 한국과학기술원
등록번호/일자
공개번호/일자 10-2020-0024393 (2020.03.09) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.08.28)
심사청구항수 11

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김민혁 대전광역시 유성구
2 장현중 대전광역시 유성구
3 구현진 대전광역시 유성구
4 최인창 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.08.28 수리 (Accepted) 1-1-2018-0850765-82
2 선행기술조사의뢰서
Request for Prior Art Search
2019.04.15 수리 (Accepted) 9-1-9999-9999999-89
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
4 선행기술조사보고서
Report of Prior Art Search
2019.06.13 발송처리완료 (Completion of Transmission) 9-6-2019-0103548-19
5 의견제출통지서
Notification of reason for refusal
2019.09.23 발송처리완료 (Completion of Transmission) 9-5-2019-0684281-72
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.11.25 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-1210580-67
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2019.11.25 수리 (Accepted) 1-1-2019-1210579-10
8 거절결정서
Decision to Refuse a Patent
2020.03.25 발송처리완료 (Completion of Transmission) 9-5-2020-0218229-79
9 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.04.27 수리 (Accepted) 1-1-2020-0433126-61
10 [명세서등 보정]보정서(재심사)
Amendment to Description, etc(Reexamination)
2020.04.27 보정승인 (Acceptance of amendment) 1-1-2020-0433127-17
11 등록결정서
Decision to Grant Registration
2020.05.12 발송처리완료 (Completion of Transmission) 9-5-2020-0328418-04
12 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
일정 간격으로 일정 각도 단위로 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 단계;미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 단계;상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 단계; 및상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 단계를 포함하며,상기 보정 영상들을 생성하는 단계는상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하며,상기 보정 영상들을 생성하는 단계는해당 카메라와 이웃하는 우측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 우측으로 일정 각도로 회전시키고 상기 우측 카메라를 좌측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제1 보정 영상을 생성하고, 상기 해당 카메라와 이웃하는 좌측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 좌측으로 일정 각도로 회전시키고 상기 좌측 카메라를 우측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제2 보정 영상을 생성하며,상기 시차 맵들을 생성하는 단계는상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성하고,상기 생성된 시차 맵의 각 픽셀 값은해당 시차 맵을 생성하는데 사용된 두 보정 영상을 촬영한 두 광각 카메라 간의 각도 차이이며,상기 시차 맵들을 생성하는 단계는상기 생성된 시차 맵들 각각에 대하여, 비용 군집화(cost aggregation)에 기반하여 상기 생성된 시차 맵들 각각에 포함된 노이즈를 제거하고, 노이즈 제거에 의해 발생된 디펙트를 영상 전파(propagation) 기법을 이용하여 채워줌으로써, 최종 시차 맵들을 생성하는 360 영상 복원 방법
2 2
제1항에 있어서,상기 생성된 360 거리 영상과 상기 보정 영상들에 기초하여 360 컬러 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 360영상 복원 방법
3 3
삭제
4 4
삭제
5 5
제1항에 있어서,상기 360 거리 영상을 생성하는 단계는상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성하는 것을 특징으로 하는 360영상 복원 방법
6 6
제1항에 있어서,상기 수신하는 단계는미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신하는 것을 특징으로 하는 360영상 복원 방법
7 7
일정 간격으로 일정 각도 단위로 미리 설정된 방향에 대해 촬영된 광각 영상들을 수신하는 단계;미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 보정 영상들을 생성하는 단계;상기 생성된 보정 영상들을 이용하여 시차 맵(disparity map)을 생성하는 단계; 및상기 생성된 시차 맵에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상과 360 컬러 영상을 생성하는 단계를 포함하고,상기 수신하는 단계는미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 상기 광각 영상들을 수신하고, 상기 보정 영상들을 생성하는 단계는상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하며,상기 보정 영상들을 생성하는 단계는해당 카메라와 이웃하는 우측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 우측으로 일정 각도로 회전시키고 상기 우측 카메라를 좌측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제1 보정 영상을 생성하고, 상기 해당 카메라와 이웃하는 좌측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 좌측으로 일정 각도로 회전시키고 상기 좌측 카메라를 우측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제2 보정 영상을 생성하며,상기 시차 맵을 생성하는 단계는상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 복수의 시차 맵들을 생성하고,상기 생성된 시차 맵의 각 픽셀 값은해당 시차 맵을 생성하는데 사용된 두 보정 영상을 촬영한 두 광각 카메라 간의 각도 차이이며,상기 시차 맵을 생성하는 단계는상기 생성된 시차 맵들 각각에 대하여, 비용 군집화(cost aggregation)에 기반하여 상기 생성된 시차 맵들 각각에 포함된 노이즈를 제거하고, 노이즈 제거에 의해 발생된 디펙트를 영상 전파(propagation) 기법을 이용하여 채워줌으로써, 최종 시차 맵들을 생성하는 360 영상 복원 방법
8 8
삭제
9 9
삭제
10 10
제7항에 있어서,상기 360 거리 영상과 360 컬러 영상을 생성하는 단계는상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성하는 것을 특징으로 하는 360영상 복원 방법
11 11
제7항에 있어서,상기 360 거리 영상과 360 컬러 영상을 생성하는 단계는상기 360 거리 영상과 상기 보정 영상들에 기초하여 상기 360 컬러 영상을 생성하는 것을 특징으로 하는 360영상 복원 방법
12 12
일정 간격으로 일정 각도 단위로 미리 설정된 방향들 각각에 배치된 광각 카메라에 의해 촬영된 광각 영상들을 수신하는 수신부;미리 설정된 영상 보정(image rectification) 기법을 이용하여 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하는 보정부;상기 광각 영상들 각각에 대해 생성된 한 쌍의 보정 영상들을 이용한 스테레오 매칭에 기초하여 복수의 시차 맵들(disparity maps)을 생성하는 시차 맵 생성부; 및상기 생성된 시차 맵들에 기초하여 상기 광각 영상들에 대응하는 360 거리 영상을 생성하는 영상 생성부를 포함하며,상기 보정부는상기 광각 영상들 각각에 대하여, 이웃하는 카메라들과 동일한 방향을 바라보도록 보정함으로써, 상기 광각 영상들 각각에 대한 한 쌍의 보정 영상들을 생성하며,상기 보정부는해당 카메라와 이웃하는 우측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 우측으로 일정 각도로 회전시키고 상기 우측 카메라를 좌측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제1 보정 영상을 생성하고, 상기 해당 카메라와 이웃하는 좌측 카메라가 동일한 방향을 바라보도록 상기 해당 카메라를 좌측으로 일정 각도로 회전시키고 상기 좌측 카메라를 우측으로 일정 각도로 회전시킴으로써, 상기 해당 카메라의 광각 영상에 대하여 제2 보정 영상을 생성하며,상기 시차 맵 생성부는상기 보정 영상들 중 동일한 방향에 대해 보정된 두 개의 보정 영상들 간의 스테레오 매칭에 기초하여 상기 시차 맵들을 생성하고,상기 생성된 시차 맵의 각 픽셀 값은해당 시차 맵을 생성하는데 사용된 두 보정 영상을 촬영한 두 광각 카메라 간의 각도 차이이며,상기 시차 맵 생성부는상기 생성된 시차 맵들 각각에 대하여, 비용 군집화(cost aggregation)에 기반하여 상기 생성된 시차 맵들 각각에 포함된 노이즈를 제거하고, 노이즈 제거에 의해 발생된 디펙트를 영상 전파(propagation) 기법을 이용하여 채워줌으로써, 최종 시차 맵들을 생성하는 360 영상 복원 장치
13 13
제12항에 있어서,상기 영상 생성부는상기 생성된 360 거리 영상과 상기 보정 영상들에 기초하여 360 컬러 영상을 생성하는 것을 특징으로 하는 360영상 복원 장치
14 14
삭제
15 15
삭제
16 16
제12항에 있어서,상기 영상 생성부는상기 시차 맵들 각각에 대하여, 거리 값을 계산하여 상기 시차 맵들 각각에 대응하는 거리 맵들을 생성하고, 상기 생성된 거리 맵들을 이용한 포워드 와핑(forward warping)에 기초하여 상기 360 거리 영상을 생성하는 것을 특징으로 하는 360영상 복원 장치
17 17
제12항에 있어서,상기 수신부는미리 저장된 상기 광각 카메라들 각각에 대한 내부(intrinsic) 파라미터와 외부(extrinsic) 파라미터에 기초하여 상기 촬영된 광각 영상들을 교정하고, 상기 교정된 광각 영상들을 수신하는 것을 특징으로 하는 360영상 복원 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 한국과학기술원 정보통신.방송 연구개발사업 (EZBARO)SW중심대학(한국과학기술원)(2018)
2 미래창조과학부 한국과학기술원 원천기술개발사업 3차원 실감 콘텐츠 촬영을 위한 저전력 모바일 3차원 카메라 시스템 기술개발