맞춤기술찾기

이전대상기술

다시점 콘텐츠 생성 장치 및 그 방법

  • 기술번호 : KST2015080137
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 1. 청구범위에 기재된 발명이 속한 기술분야 본 발명은 다시점 콘텐츠 생성 장치 및 그 방법에 관한 것임. 2. 발명이 해결하려고 하는 기술적 과제 본 발명은 양안식 및 다안식 입체 영상을 생성함으로써, 입체감과 공간감을 제공하고, 깊이 기반 객체 삽입, 움직임 객체 대치, 배경 대치, 시점 선택 등의 인터랙션을 지원하는 다시점 컨텐츠 생성 장치 및 그 방법을 제공하는데 그 목적이 있음. 3. 발명의 해결방법의 요지 본 발명은, 외부로부터 입력된 다시점 영상 및 깊이/변이 지도 데이터에 대하여 보정 및 잡음 제거 필터링하기 위한 전처리 수단; 카메라 기본 정보 및 상기 전처리 수단으로부터 출력된 보정된 다시점 영상을 이용하여 카메라 파라미터를 계산하고, 에피폴라 영상 보정을 수행하기 위한 카메라 보정 수단; 상기 카메라 보정 수단으로부터 출력된 카메라 파라미터 및 에피폴라 보정된 다시점 영상과, 상기 전처리 수단으로부터 출력된 전처리된 깊이/변이 지도를 이용하여 장면 모델을 생성하기 위한 장면 모델 생성 수단; 상기 전처리 수단으로부터 출력된 보정된 다시점 영상, 상기 카메라 보정 수단으로부터 출력된 카메라 파라미터 및 후단의 사용자 인터페이스 수단으로부터 출력된 관심 객체 설정 정보를 이용하여, 객체 바이너리 마스크, 객체 움직임 벡터 및 객체 중심점 위치를 추출하기 위한 객체 추출/추적 수단; 배경 영상(실사)에 대한 조명 정보를 추출하고, 실사 영상 내에 기 제작된 컴퓨터 그래픽을 삽입할 때 추출한 조명 정보를 적용하며, 상기 기 제작된 컴퓨터 그래픽과 실사를 합성하기 위한 실사/컴퓨터 그래픽 합성 수단; 상기 카메라 보정 수단으로부터 출력된 카메라 파라미터, 후단의 사용자 인터페이스 수단으로부터 출력된 사용자 선택 시점 정보 및 상기 사용자 선택 시점 정보에 해당하는 다시점 영상을 이용하여 스테레오/다안식 영상 및 중간 시점 영상을 생성하기 위한 임의 시점 영상 생성 수단; 및 상기 전처리 수단, 카메라 보정 수단, 장면 모델링 수단, 객체 추출/추적 수단, 실사/컴퓨터 그래픽 합성 수단 및 임의 시점 영상 생성 수단으로 사용자의 요구 사항을 내부 자료로 변환하여 전달하기 위한 사용자 인터페이스 수단을 포함한다. 4. 발명의 중요한 용도 본 발명은 다시점 입체 영상 방송 등에 이용됨. 다시점, 콘텐츠, 깊이/변이 지도, 입체 영상, 장면 모델, 객체 추출
Int. CL G06T 15/50 (2011.01) G06T 17/00 (2011.01)
CPC
출원번호/일자 1020040090526 (2004.11.08)
출원인 한국전자통신연구원
등록번호/일자 10-0603601-0000 (2006.07.13)
공개번호/일자 10-2006-0041060 (2006.05.11) 문서열기
공고번호/일자 (20060724) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2004.11.08)
심사청구항수 14

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 장은영 대한민국 전북 전주시 덕진구
2 엄기문 대한민국 대전 유성구
3 김대희 대한민국 대전 유성구
4 안충현 대한민국 대전 유성구
5 이수인 대한민국 대전 서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 신성특허법인(유한) 대한민국 서울특별시 송파구 중대로 ***, ID타워 ***호 (가락동)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 특허출원서
Patent Application
2004.11.08 수리 (Accepted) 1-1-2004-0516439-73
2 의견제출통지서
Notification of reason for refusal
2006.01.26 발송처리완료 (Completion of Transmission) 9-5-2006-0048433-15
3 의견서
Written Opinion
2006.03.21 수리 (Accepted) 1-1-2006-0196046-95
4 명세서등보정서
Amendment to Description, etc.
2006.03.21 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2006-0196045-49
5 등록결정서
Decision to grant
2006.07.03 발송처리완료 (Completion of Transmission) 9-5-2006-0387348-49
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2009.08.04 수리 (Accepted) 4-1-2009-5150899-36
7 출원인정보변경(경정)신고서
Notification of change of applicant's information
2015.02.02 수리 (Accepted) 4-1-2015-0006137-44
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
외부로부터 입력된 다시점 영상을 보정하고 깊이/변이 지도 데이터에 대하여 잡음 제거 필터링을 수행하는 전처리 수단;카메라 기본 정보 및 상기 전처리 수단으로부터 출력된 보정된 다시점 영상을 이용하여 카메라 파라미터를 계산하고, 상기 보정된 다시점 영상에 대하여 에피폴라 영상 보정을 수행하는 카메라 보정 수단;상기 카메라 보정 수단으로부터 출력된 카메라 파라미터 및 에피폴라 보정된 다시점 영상과, 상기 전처리 수단으로부터 출력된 전처리된 깊이/변이 지도를 이용하여 장면 모델을 생성하는 장면 모델 생성 수단;상기 전처리 수단으로부터 출력된 보정된 다시점 영상, 상기 카메라 보정 수단으로부터 출력된 카메라 파라미터 및 후단의 사용자 인터페이스 수단으로부터 출력된 관심 객체 설정 정보를 이용하여, 객체 바이너리 마스크, 객체 움직임 벡터 및 객체 중심점 위치를 추출하기 위한 객체 추출/추적 수단;배경 영상(실사)에 대한 조명 정보를 추출하고, 실사 영상 내에 기 제작된 컴퓨터 그래픽을 삽입할 때 추출한 조명 정보를 적용하며, 상기 기 제작된 컴퓨터 그래픽과 실사를 합성하기 위한 실사/컴퓨터 그래픽 합성 수단;상기 카메라 보정 수단으로부터 출력된 카메라 파라미터, 후단의 사용자 인터페이스 수단으로부터 출력된 사용자 선택 시점 정보 및 상기 사용자 선택 시점 정보에 해당하는 다시점 영상을 이용하여 스테레오/다안식 영상 및 중간 시점 영상을 생성하기 위한 임의 시점 영상 생성 수단; 및상기 전처리 수단, 카메라 보정 수단, 장면 모델 생성 수단, 객체 추출/추적 수단, 실사/컴퓨터 그래픽 합성 수단 및 임의 시점 영상 생성 수단으로 사용자의 요구 사항을 내부 자료로 변환하여 전달하기 위한 사용자 인터페이스 수단을 포함하는 다시점 콘텐츠 생성 장치
2 2
제 1 항에 있어서, 상기 전처리 수단은, 다시점 영상들 간의 크기가 서로 다를 경우 다시점 영상들 간의 크기가 동일하도록 보정하기 위한 크기 보정부; 다시점 영상들 간의 색이 일치하지 않을 경우 색 보정 알고리즘을 이용하여 다시점 영상들 간의 색이 일치하도록 보정하기 위한 색 보정부; 및 깊이/변이 지도 데이터를 필터링하여 잡음을 제거하기 위한 깊이/변이 전처리부 를 포함하는 다시점 콘텐츠 생성 장치
3 3
제 1 항에 있어서, 상기 카메라 보정 수단은, 카메라 기본 정보와 상기 전처리 수단으로부터 출력된 보정된 다시점 영상을 이용하여 카메라 파라미터를 추출하기 위한 파라미터 계산부; 및 상기 파라미터 계산 수단으로부터 출력된 카메라 파라미터를 이용하여 상기 전처리 수단으로부터 출력된 다시점 영상에 대한 에피폴라 영상 보정을 수행하기 위한 에피폴라 영상 보정부 를 포함하는 다시점 콘텐츠 생성 장치
4 4
제 1 항에 있어서, 상기 장면 모델 생성 수단은, 상기 카메라 보정 수단으로부터 출력된 카메라 파라미터 및 에피폴라 보정된 다시점 영상을 이용하여 복수 개의 변이 지도를 생성하기 위한 변이 지도 추출부; 상기 변이 지도 추출부로부터 출력된 변이 지도 및 상기 전처리 수단으로부터 출력된 깊이/변이 지도를 융합하여 장면 모델을 생성하기 위한 융합부; 상기 객체 추출/추적 수단으로부터 출력된 객체 바이너리 마스크 정보와 상기 융합부로부터 출력된 장면 모델을 이용하여 깊이 정보를 가진 객체 마스크를 생성하기 위한 객체 깊이 마스크 생성부; 및 상기 카메라 보정 수단으로부터 출력된 카메라 파라미터를 이용하여 장면/객체의 3차원 포인트 클라우드 및 메쉬 모델을 생성하기 위한 3차원 포인트 클라우드 생성부 를 포함하는 다시점 콘텐츠 생성 장치
5 5
제 1 항에 있어서, 상기 객체 추출/추적 수단은, 상기 전처리 수단으로부터 출력된 다시점 영상, 전처리된 깊이/변이 지도, 그리고 상기 장면 모델 생성 수단으로부터 출력된 장면 모델 중 적어도 하나와 상기 사용자 인터페이스 수단으로부터 출력된 관심 책체 설정 정보를 이용하여 객체의 바이너리 마스크를 추출하기 위한 객체 추출부; 상기 객체 추출부로부터 출력된 객체 바이너리 마스크의 중심점을 추출하고, 상기 중심점의 영상 좌표를 각 프레임마다 계산하여 저장하기 위한 객체 움직임 벡터 추출부; 및 상기 전처리 수단으로부터 출력된 깊이/변이 지도 및 상기 장면 모델 생성부로부터 출력된 장면 모델 중 적어도 하나와 상기 카메라 보정 수단으로부터 출력된 카메라 파라미터를 이용하여 상기 객체 움직임 벡터 추출부로부터 출력된 객체 움직임 벡터의 영상 좌표를 3차원 월드 좌표로 변환하기 위한 3차원 좌표 변환부 를 포함하는 다시점 콘텐츠 생성 장치
6 6
제 1 항에 있어서, 상기 실사/컴퓨터 그래픽 합성 수단은, 노출을 달리한 여러 장의 영상과 이에 대한 노출 값을 이용하여 배경 영상(실사)에 대한 조명 정보를 추출하기 위한 조명 정보 추출부; 상기 사용자 인터페이스 수단으로부터의 시점 정보를 이용하여 시점에 따른 컴퓨터 그래픽을 렌더링하기 위한 컴퓨터 그래픽 렌더링부; 및 상기 사용자 인터페이스 수단으로부터의 컴퓨터 그래픽 삽입 위치에 따라 깊이 키(Depth Key) 기반으로 컴퓨터 그래픽 객체 모델을 실사 영상 내에 삽입하기 위한 영상 합성부 를 포함하는 다시점 콘텐츠 생성 장치
7 7
제 1 항에 있어서, 상기 임의 시점 영상 생성 수단은, 상기 전처리 수단으로부터의 다시점 영상 및 깊이/변이 지도, 상기 장면 모델 생성 수단으로부터의 장면 모델 중 적어도 하나와 상기 카메라 보정 수단으로부터의 카메라 파라미터를 이용하여 스테레오 영상 및 다안식 영상을 생성하기 위한 입체 영상 생성부; 상기 전처리 수단으로부터의 다시점 영상 및 깊이/변이 지도와, 상기 장면 모델 생성 수단으로부터의 장면 모델 및 복수의 변이 지도 중 적어도 하나와, 상기 카메라 파라미터 및 상기 사용자 인터페이스 수단으로부터의 사용자 선택 시점 정보를 이용하여 중간 시점 영상을 생성하기 위한 중간 시점 영상 생성부 를 포함하는 다시점 콘텐츠 생성 장치
8 8
외부로부터 입력된 다시점 영상 및 깊이/변이 지도 데이터에 대하여 보정 및 잡음 제거 필터링하는 전처리 단계;카메라 기본 정보 및 보정된 다시점 영상을 이용하여 카메라 파라미터를 계산하고, 에피폴라 영상 보정을 수행하는 카메라 보정 단계;상기 계산된 카메라 파라미터 및 에피폴라 보정된 다시점 영상과, 전처리된 깊이/변이 지도를 이용하여 장면 모델을 생성하는 장면 모델 생성 단계;관심 객체 설정 정보, 상기 보정된 다시점 영상 및 상기 카메라 파라미터를 이용하여 객체 바이너리 마스크, 객체 움직임 벡터 및 객체 중심점 위치를 추출하는 객체 추출/추적 단계;배경 영상(실사)에 대한 조명 정보를 추출하고, 실사 영상 내에 기 제작된 컴퓨터 그래픽을 삽입할 때 추출한 조명 정보를 적용하며, 상기 기 제작된 컴퓨터 그래픽과 실사를 합성하는 실사/컴퓨터 그래픽 합성 단계; 및사용자 선택 시점, 사용자 선택 시점에 해당하는 다시점 영상 및 상기 카메라 파라미터를 이용하여 스테레오/다안식 영상 및 중간 시점 영상을 생성하는 임의 시점 영상 생성 단계를 포함하는 다시점 콘텐츠 생성 방법
9 9
제 8 항에 있어서, 상기 전처리 단계는, 다시점 영상들 간의 크기가 서로 다를 경우 다시점 영상들 간의 크기가 동일하도록 보정하는 크기 보정 단계; 다시점 영상들 간의 색이 일치하지 않을 경우 색 보정 알고리즘을 이용하여 다시점 영상들 간의 색이 일치하도록 보정하는 색 보정 단계; 및 깊이/변이 지도 데이터를 필터링하여 잡음을 제거하는 깊이/변이 전처리 단계 를 포함하는 다시점 콘텐츠 생성 방법
10 10
제 8 항에 있어서, 상기 카메라 보정 단계는, 카메라 기본 정보와 보정된 다시점 영상을 이용하여 카메라 파라미터를 추출하는 파라미터 계산 단계; 및 계산된 카메라 파라미터를 이용하여 상기 다시점 영상에 대한 에피폴라 영상 보정을 하는 에피폴라 영상 보정 단계 를 포함하는 다시점 콘텐츠 생성 방법
11 11
제 8 항에 있어서, 상기 장면 모델 생성 단계는, 상기 카메라 보정 단계에서 계산된 카메라 파라미터 및 에피폴라 보정된 다시점 영상을 이용하여 복수 개의 변이 지도를 생성하는 변이 지도 추출 단계; 상기 변이 지도 추출 단계에서 출력된 변이 지도 및 상기 전처리 단계에서 전처리된 깊이/변이 지도를 융합하여 장면 모델을 생성하는 융합 단계; 상기 객체 추출/추적 단계에서 추출된 객체 바이너리 마스크 정보와 상기 융합 단계에서 생성된 장면 모델을 이용하여 깊이 정보를 가진 객체 마스크를 생성하는 객체 깊이 마스크 생성 단계; 및 상기 카메라 보정 단계에서 계산된 카메라 파라미터를 이용하여 장면/객체의 3차원 포인트 클라우드 및 메쉬 모델을 생성하는 3차원 포인트 클라우드 생성 단계 를 포함하는 다시점 콘텐츠 생성 방법
12 12
제 8 항에 있어서, 상기 객체 추출/추적 단계는, 상기 전처리 단계에서 보정된 다시점 영상, 전처리된 깊이/변이 지도, 그리고 상기 장면 모델 생성 단계에서 생성된 장면 모델 중 적어도 하나와 사용자로부터의 관심 책체 설정 정보를 이용하여 객체의 바이너리 마스크를 추출하는 객체 추출 단계; 추출된 객체 바이너리 마스크의 중심점을 추출하고, 상기 중심점의 영상 좌표를 각 프레임마다 계산하여 저장하는 객체 움직임 벡터 추출 단계; 및 상기 전처리 단계에서 전처리된 깊이/변이 지도 및 상기 장면 모델 생성 단계에서 생성된 장면 모델 중 적어도 하나와 상기 카메라 보정 단계에서 계산된 카메라 파라미터를 이용하여 상기 객체 움직임 벡터 추출 단계에서 출력된 객체 움직임 벡터의 영상 좌표를 3차원 월드 좌표로 변환하는 3차원 좌표 변환 단계 를 포함하는 다시점 콘텐츠 생성 방법
13 13
제 8 항에 있어서, 상기 실사/컴퓨터 그래픽 합성 단계는, 노출을 달리한 여러 장의 영상과 이에 대한 노출 값을 이용하여 배경 영상(실사)에 대한 조명 정보를 추출하는 조면 정보 추출 단계; 사용자로부터의 시점 정보를 이용하여 시점에 따른 컴퓨터 그래픽을 렌더링하는 컴퓨터 그래픽 렌더링 단계; 및 사용자부터의 컴퓨터 그래픽 삽입 위치에 따라 깊이 키(Depth Key) 기반으로 컴퓨터 그래픽 객체 모델을 실사 영상 내에 삽입하는 영상 합성 단계 를 포함하는 다시점 콘텐츠 생성 방법
14 14
제 8 항에 있어서, 상기 임의 시점 영상 생성 단계는, 상기 전처리 단계에서 전처리된 다시점 영상 및 깊이/변이 지도, 상기 장면 모델 생성 단계에서 생성된 장면 모델 중 적어도 하나와 상기 카메라 보정 단계에서 계산된 카메라 파라미터 및 사용자로부터의 선택 시점 정보를 이용하여 스테레오 영상 및 다안식 영상을 생성하는 입체 영상 생성 단계; 및 상기 전처리 단계에서 전처리된 다시점 영상 및 깊이/변이 지도와, 상기 장면 모델 생성 단계에서 생성된 장면 모델 및 복수의 변이 지도 중 적어도 하나와, 상기 카메라 파라미터와, 사용자로부터의 선택 시점 정보를 이용하여 중간 시점 영상을 생성하는 중간 시점 영상 생성 단계 를 포함하는 다시점 콘텐츠 생성 방법
15 14
제 8 항에 있어서, 상기 임의 시점 영상 생성 단계는, 상기 전처리 단계에서 전처리된 다시점 영상 및 깊이/변이 지도, 상기 장면 모델 생성 단계에서 생성된 장면 모델 중 적어도 하나와 상기 카메라 보정 단계에서 계산된 카메라 파라미터 및 사용자로부터의 선택 시점 정보를 이용하여 스테레오 영상 및 다안식 영상을 생성하는 입체 영상 생성 단계; 및 상기 전처리 단계에서 전처리된 다시점 영상 및 깊이/변이 지도와, 상기 장면 모델 생성 단계에서 생성된 장면 모델 및 복수의 변이 지도 중 적어도 하나와, 상기 카메라 파라미터와, 사용자로부터의 선택 시점 정보를 이용하여 중간 시점 영상을 생성하는 중간 시점 영상 생성 단계 를 포함하는 다시점 콘텐츠 생성 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US20070296721 US 미국 FAMILY
2 WO2006049384 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US2007296721 US 미국 DOCDBFAMILY
2 WO2006049384 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
국가 R&D 정보가 없습니다.