맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

다시점 360도 영상의 초해상화 방법 및 영상처리장치

  • 기술번호 : KST2020010262
  • 담당센터 : 인천기술혁신센터
  • 전화번호 : 032-420-3580
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 다시점 360도 영상의 초해상화 방법은 영상처리장치가 다시점을 제공하는 복수의 360도 영상 중 저해상도인 타깃 영상 및 고해상도인 레퍼런스 영상을 입력받는 단계, 상기 영상처리장치가 상기 타깃 영상의 시점을 기준으로 깊이 기반으로 상기 레퍼런스 영상을 변환하는 단계, 상기 영상처리장치가 신경망 모델을 이용하여 상기 변환된 레퍼런스 영상 및 업 샘플링된 타깃 영상을 기준으로 플로우(flow)를 추정하는 단계, 상기 영상처리장치가 신경망 모델을 이용하여 상기 변환된 레퍼런스 영상의 제1 특징 맵을 생성하면서, 상기 플로우를 반영하여 개량된 제1 특징 맵을 생성하는 단계, 상기 영상처리장치가 신경망 모델을 이용하여 상기 업 샘플링된 타깃 영상의 제2 특징 맵을 생성하는 단계 및 상기 영상처리장치가 신경망 모델을 이용하여 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 기준으로 상기 타깃 영상에 대한 초해상화를 수행하는 단계를 포함한다.
Int. CL H04N 13/139 (2018.01.01) H04N 13/161 (2018.01.01) H04N 7/01 (2006.01.01) G06N 3/08 (2006.01.01)
CPC H04N 13/139(2013.01) H04N 13/139(2013.01) H04N 13/139(2013.01) H04N 13/139(2013.01) H04N 13/139(2013.01)
출원번호/일자 1020190162738 (2019.12.09)
출원인 이화여자대학교 산학협력단
등록번호/일자 10-2141319-0000 (2020.07.29)
공개번호/일자
공고번호/일자 (20200804) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.12.09)
심사청구항수 10

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 이화여자대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 강제원 서울특별시 마포구
2 김희재 경기도 성남시 분당구
3 이병욱 서울특별시 마포구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인(유한)아이시스 대한민국 서울특별시 강남구 테헤란로**길 **, 인화빌딩 *층 (삼성동)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 이화여자대학교 산학협력단 대한민국 서울특별시 서대문구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2019.12.09 수리 (Accepted) 1-1-2019-1269618-74
2 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2019.12.10 수리 (Accepted) 1-1-2019-1273980-26
3 [우선심사신청]심사청구(우선심사신청)서
[Request for Preferential Examination] Request for Examination (Request for Preferential Examination)		 2019.12.12 수리 (Accepted) 1-1-2019-1285144-10
4 의견제출통지서
Notification of reason for refusal		 2020.02.04 발송처리완료 (Completion of Transmission) 9-5-2020-0084607-70
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2020.03.16 수리 (Accepted) 1-1-2020-0273235-20
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2020.03.16 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0273234-85
7 등록결정서
Decision to grant		 2020.07.23 발송처리완료 (Completion of Transmission) 9-5-2020-0500665-55
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
영상처리장치가 다시점을 제공하는 복수의 360도 영상 중 저해상도인 타깃 영상 및 고해상도인 레퍼런스 영상을 입력받는 단계;상기 영상처리장치가 상기 타깃 영상의 시점을 기준으로 깊이 기반으로 상기 레퍼런스 영상을 변환하는 단계;상기 영상처리장치가 신경망 모델을 이용하여 상기 변환된 레퍼런스 영상 및 업 샘플링된 타깃 영상을 기준으로 플로우(flow)를 추정하는 단계;상기 영상처리장치가 신경망 모델을 이용하여 상기 변환된 레퍼런스 영상의 제1 특징 맵을 생성하면서, 상기 플로우를 반영하여 개량된 제1 특징 맵을 생성하는 단계;상기 영상처리장치가 신경망 모델을 이용하여 상기 업 샘플링된 타깃 영상의 제2 특징 맵을 생성하는 단계; 및상기 영상처리장치가 신경망 모델을 이용하여 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 기준으로 상기 타깃 영상에 대한 초해상화를 수행하는 단계를 포함하되,상기 영상처리장치는 상기 레퍼런스 영상 및 상기 레퍼런스 영상의 깊이 정보를 이용하여 상기 레퍼런스 영상을 촬영한 카메라 위치 및 상기 타깃 영상을 촬영한 카메라 위치를 기준으로 상기 레퍼런스 영상의 시점을 변환하는 다시점 360도 영상의 초해상화 방법
2 2
삭제
3 3
제1항에 있어서,상기 영상처리장치는 상기 저해상도인 타깃 영상을 상기 레퍼런스 영상의 크기와 동일하게 업 샘플링하는 단계를 더 포함하는 다시점 360도 영상의 초해상화 방법
4 4
제1항에 있어서,상기 영상처리장치는 제1 복수의 컨볼루션 계층을 포함하는 제1 인코더로 상기 플로우를 추정하고, 상기 제1 복수의 컨볼루션 계층과 동일한 구조의 제2 복수의 컨볼루션 계층을 포함하는 제2 인코더로 상기 변환된 레퍼런스 영상의 제1 특징 맵을 생성하되,상기 제1 복수의 컨볼루션 계층의 각 계층에서 추정된 플로우를 상기 제2 복수의 컨볼루션 계층에서 대응되는 계층에 전달하여 상기 개량된 제1 특징 맵을 생성하는 다시점 360도 영상의 초해상화 방법
5 5
제1항에 있어서,상기 영상처리장치는 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 디코더에 입력하여 상기 타깃 영상에 대한 고해상도 영상을 생성하는 다시점 360도 영상의 초해상화 방법
6 6
제1항에 있어서,상기 영상처리장치는 CNN(convolutional neural network) 인코더-디코더를 이용하여 상기 초해상화를 수행하되,상기 CNN 인코더-디코더는 상기 플로우를 추정하는 제1 인코더, 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 생성하는 제2 인코더 및 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 입력받아 상기 타깃 영상에 대한 고해상도 영상을 생성하는 디코더를 포함하는 다시점 360도 영상의 초해상화 방법
7 7
복수의 360도 영상 중 저해상도인 타깃 영상 및 고해상도인 레퍼런스 영상을 입력받는 입력장치;360도 영상에 대한 초해상화를 수행하는 신경망 모델을 저장하는 저장장치; 및상기 타깃 영상의 시점을 기준으로 깊이 기반으로 상기 레퍼런스 영상을 변환하고, 상기 변환된 레퍼런스 영상 및 업 샘플링된 타깃 영상을 상기 신경망 모델에 입력하여 상기 타깃 영상에 대한 초해상화를 수행하는 연산장치를 포함하되,상기 신경망 모델은 플로우를 추정하는 제1 인코더, 상기 플로우를 반영하여 상기 변환된 레퍼런스 영상에 대한 개량된 제1 특징 맵 및 상기 업 샘플링된 타깃 영상에 대한 제2 특징 맵을 생성하는 제2 인코더 및 상기 개량된 제1 특징 맵 및 상기 제2 특징 맵을 입력받아 상기 타깃 영상에 대한 고해상도 영상을 생성하는 디코더를 포함하되,상기 연산장치는 상기 저해상도인 타깃 영상을 상기 레퍼런스 영상의 크기와 동일하게 업 샘플링하는 다시점 360도 영상의 초해상화를 수행하는 영상처리장치
8 8
제7항에 있어서,상기 연산장치는 상기 레퍼런스 영상 및 상기 레퍼런스 영상의 깊이 정보를 이용하여 상기 레퍼런스 영상을 촬영한 카메라 위치 및 상기 타깃 영상을 촬영한 카메라 위치를 기준으로 상기 레퍼런스 영상의 시점을 변환하는 다시점 360도 영상의 초해상화를 수행하는 영상처리장치
9 9
삭제
10 10
제7항에 있어서,상기 연산장치는 제1 복수의 컨볼루션 계층을 포함하는 상기 제1 인코더로 상기 플로우를 추정하고, 상기 제1 복수의 컨볼루션 계층과 동일한 구조의 제2 복수의 컨볼루션 계층을 포함하는 상기 제2 인코더로 상기 변환된 레퍼런스 영상의 제1 특징 맵을 생성하되,상기 제1 복수의 컨볼루션 계층의 각 계층에서 추정된 플로우를 상기 제2 복수의 컨볼루션 계층에서 대응되는 계층에 전달하여 상기 개량된 제1 특징 맵을 생성하는 다시점 360도 영상의 초해상화를 수행하는 영상처리장치
11 11
제7항에 있어서,상기 타깃 영상 및 상기 레퍼런스 영상은 ERP(Equirectangular projection), CMP(cube map projection), RCMP(Reshaped Cubemap Projection), ISP(icosahedral projection) 및 OCP(octachedron projection) 맵핑 기법 중 어느 하나를 통해 360도 영상으로 변환된 영상인 다시점 360도 영상의 초해상화를 수행하는 영상처리장치
12 12
컴퓨터에서 제1항 및 제3항 내지 제6항 중 어느 하나의 항의 다시점 360도 영상의 초해상화 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 이화여자대학교 산학협력단 정보통신·방송 연구개발사업-차세대 (UHD) 방송서비스 활성화기술개발사업 6DoF지원 초고화질 몰입형 비디오의 압축 및 전송 핵심 기술 개발