맞춤기술찾기

이전대상기술

6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템

  • 기술번호 : KST2020017283
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 복수의 360 이미지를 사용하여 대규모 6-DOF 가상 환경을 구축하고 새로운 시점에서 장면을 합성하는 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템에 관한 것으로, 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 단계, 상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection 0026# Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 단계 및 상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 단계를 포함한다.
Int. CL H04N 13/156 (2018.01.01) H04N 13/117 (2018.01.01) H04N 13/282 (2018.01.01) G06T 17/20 (2006.01.01)
CPC H04N 13/156(2013.01) H04N 13/117(2013.01) H04N 13/282(2013.01) G06T 11/60(2013.01) G06T 15/10(2013.01) G06T 17/20(2013.01) G06T 2211/416(2013.01) G06T 2207/20221(2013.01)
출원번호/일자 1020190130335 (2019.10.21)
출원인 한국과학기술원
등록번호/일자 10-2196032-0000 (2020.12.22)
공개번호/일자
공고번호/일자 (20201229) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.10.21)
심사청구항수 13

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 우운택 대전광역시 유성구
2 조호철 대전광역시 유성구
3 김장윤 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.10.21 수리 (Accepted) 1-1-2019-1068682-72
2 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2019.11.05 수리 (Accepted) 1-1-2019-1134147-49
3 선행기술조사의뢰 취소
Revocation of Request for Prior Art Search
2019.12.06 수리 (Accepted) 9-1-0000-0000000-00
4 선행기술조사보고서
Report of Prior Art Search
2020.01.10 수리 (Accepted) 9-1-2020-0002207-27
5 [우선심사신청]심사청구(우선심사신청)서
[Request for Preferential Examination] Request for Examination (Request for Preferential Examination)
2020.03.27 수리 (Accepted) 1-1-2020-0324683-46
6 [우선심사신청]선행기술조사의뢰서
[Request for Preferential Examination] Request for Prior Art Search
2020.03.30 수리 (Accepted) 9-1-9999-9999999-89
7 [우선심사신청]선행기술조사보고서
[Request for Preferential Examination] Report of Prior Art Search
2020.04.09 수리 (Accepted) 9-1-2020-0014827-40
8 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
10 의견제출통지서
Notification of reason for refusal
2020.07.31 발송처리완료 (Completion of Transmission) 9-5-2020-0520691-01
11 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.09.10 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0962029-04
12 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.09.10 수리 (Accepted) 1-1-2020-0962028-58
13 등록결정서
Decision to grant
2020.12.18 발송처리완료 (Completion of Transmission) 9-5-2020-0888176-28
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 단계;상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection 0026# Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 단계; 및상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 단계를 포함하고,상기 가상 데이터 맵을 재구성하는 단계는상기 360 이미지에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)의 기준 구(Reference sphere)인 상기 가상 데이터 맵을 재구성하며,상기 뷰 이미지를 생성하는 단계는상기 기준 구에 매핑된 상기 기준 이미지를 사용하여 상기 가상 데이터 맵의 각 정점에서 대응되는 상기 뷰 포인트를 획득하며, 상기 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 단계; 상기 획득된 위치로 상기 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 단계; 및상기 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 상기 뷰 이미지를 생성하는 단계를 포함하는 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법
2 2
삭제
3 3
제1항에 있어서,상기 가상 데이터 맵을 재구성하는 단계는상기 복수의 360 이미지로부터 뷰 합성을 위해 SfM(Structure from Motion)의 상기 3D 재구성 절차를 수행하며, 상기 3D 기하학 정보를 하나로 통합하는 상기 가상 데이터 맵을 재구성하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법
4 4
제3항에 있어서,상기 3D 기하학 정보는상기 360 이미지에 대한 점자료(Point Cloud), 상기 점자료에 기반한 3D 메쉬(3D Mesh) 및 카메라 자세를 나타내는 카메라 외적 파라미터 그룹(Camera Location)을 포함하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법
5 5
삭제
6 6
제1항에 있어서,상기 뷰 포인트 및 위치를 획득하는 단계는상기 뷰 포인트에서 가장 근접한 단일 기준 이미지, 또는 상기 뷰 포인트에서 가장 근접한 두 개의 기준 이미지를 사용하는 것을 특징으로 하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법
7 7
제1항에 있어서,상기 뷰 이미지를 혼합하는 단계는두 개 이상의 상기 기준 이미지에서, 가중 혼합(weighted blending) 기법을 사용하여 거리에 반비례하게 픽셀을 혼합하여 상기 기준 이미지의 환경이 전환되는 현상을 방지하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법
8 8
제7항에 있어서,상기 뷰 이미지를 혼합하는 단계는픽셀들을 가중 혼합(weighted blending)하기 위해, 상기 새로운 구와 상기 기준 구 간의 거리를 획득한 후, 상기 섹션 공식을 이용해 최종적으로 상기 뷰 이미지의 픽셀 값들을 산출하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법
9 9
제8항에 있어서,상기 섹션 공식은가중 혼합을 획득하기 위한 수식인 것을 특징으로 하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법
10 10
6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법을 실행시키기 위해 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법은, 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 단계;상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection 0026# Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 단계; 및상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 단계를 포함하고,상기 가상 데이터 맵을 재구성하는 단계는상기 360 이미지에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)의 기준 구(Reference sphere)인 상기 가상 데이터 맵을 재구성하며,상기 뷰 이미지를 생성하는 단계는상기 기준 구에 매핑된 상기 기준 이미지를 사용하여 상기 가상 데이터 맵의 각 정점에서 대응되는 상기 뷰 포인트를 획득하며, 상기 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 단계; 상기 획득된 위치로 상기 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 단계; 및상기 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 상기 뷰 이미지를 생성하는 단계를 포함하는 매체에 저장된 컴퓨터 프로그램
11 11
360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 재구성부;상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection 0026# Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 처리부; 및상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 블랜딩부를 포함하고,상기 재구성부는상기 360 이미지에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)의 기준 구(Reference sphere)인 상기 가상 데이터 맵을 재구성하며,상기 처리부는상기 기준 구에 매핑된 상기 기준 이미지를 사용하여 상기 가상 데이터 맵의 각 정점에서 대응되는 상기 뷰 포인트를 획득하며, 상기 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 획득부; 상기 획득된 위치로 상기 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 픽셀부; 및상기 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 상기 뷰 이미지를 생성하는 생성부를 포함하는 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템
12 12
삭제
13 13
제11항에 있어서,상기 재구성부는상기 복수의 360 이미지로부터 뷰 합성을 위해 SfM(Structure from Motion)의 상기 3D 재구성 절차를 수행하며, 상기 3D 기하학 정보를 하나로 통합하는 상기 가상 데이터 맵을 재구성하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템
14 14
삭제
15 15
제11항에 있어서,상기 획득부는상기 뷰 포인트에서 가장 근접한 단일 기준 이미지, 또는 상기 뷰 포인트에서 가장 근접한 두 개의 기준 이미지를 사용하는 것을 특징으로 하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템
16 16
제11항에 있어서,상기 블랜딩부는두 개 이상의 상기 기준 이미지에서, 가중 혼합(weighted blending) 기법을 사용하여 거리에 반비례하게 픽셀을 혼합하여 상기 기준 이미지의 환경이 전환되는 현상을 방지하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템
17 17
제16항에 있어서,상기 블랜딩부는픽셀들을 가중 혼합(weighted blending)하기 위해, 상기 새로운 구와 상기 기준 구 간의 거리를 획득한 후, 상기 섹션 공식을 이용해 최종적으로 상기 뷰 이미지의 픽셀 값들을 산출하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 (주)포스트미디어 스마트미디어기술개발사업화(R&BD)지원사업 글로벌 스트리트뷰 및 공간정보 기반 360도 VR 콘텐츠저작도구 플랫폼 개발(2019)