맞춤기술찾기

이전대상기술

파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법

  • 기술번호 : KST2014038730
  • 담당센터 :
  • 전화번호 :
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체 추적장치 및 방법이 개시된다. 본 발명에 따른 파노라마 영상 생성장치는 영상 프레임에 설정된 각각의 하위영역에 대해 지역 움직임벡터를 추정하고, 카메라의 움직임에 대응하는 정규화된 지역 움직임벡터의 집합들이 저장된 코드북에서 지역 움직임벡터를 기초로 프레임 움직임벡터를 결정한 후 연속되는 영상 프레임 각각에 대하여 산출된 움직임 매개변수를 누적하여 겹침영역을 결정하고, 겹침영역을 정합시켜 파노라마 영상을 생성한다. 본 발명에 따른 객체 추적장치는 파노라마 영상 생성장치에 의해 생성된 파노라마 영상을 배경영상으로 설정하고, 촬영된 입력영상을 구성하는 각각의 화소에 대하여 파노라마 영상에서 대응하는 화소와의 화소값의 차분값을 산출하여 객체영역을 결정한다. 본 발명에 따르면, 하위영역 내부에서 선택된 화소의 좌표를 이용하여 지역 움직임벡터를 추정함으로써, 계산 과정을 간단히 하고 처리 속도를 높일 수 있다. 그리고 코드북을 이용함으로써 잘못 추정된 지역 움직임벡터의 영향을 최소화할 수 있다. 또한 평균화된 화소값의 차분값을 사용함으로써, 잡음을 최소화하고 객체를 정확하게 추출할 수 있다. 코드북, 파노라마 영상, 객체 추적
Int. CL G06T 7/20 (2014.01) H04N 5/262 (2014.01)
CPC
출원번호/일자 1020080022873 (2008.03.12)
출원인 중앙대학교 산학협력단
등록번호/일자 10-0919247-0000 (2009.09.21)
공개번호/일자 10-2009-0097613 (2009.09.16) 문서열기
공고번호/일자 (20090930) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2008.03.12)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 중앙대학교 산학협력단 대한민국 서울특별시 동작구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 백준기 대한민국 서울 서초구
2 박경주 대한민국 서울 서초구
3 백인호 대한민국 서울 동작구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 송경근 대한민국 서울특별시 서초구 서초대로**길 ** (방배동) 기산빌딩 *층(엠앤케이홀딩스주식회사)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 주식회사 리플컴퍼니 서울특별시 구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2008.03.12 수리 (Accepted) 1-1-2008-0179598-01
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2008.07.01 수리 (Accepted) 1-1-2008-0475680-13
3 선행기술조사의뢰서
Request for Prior Art Search
2008.10.07 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search
2008.11.11 수리 (Accepted) 9-1-2008-0075233-00
5 의견제출통지서
Notification of reason for refusal
2009.04.28 발송처리완료 (Completion of Transmission) 9-5-2009-0178052-08
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2009.06.08 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2009-0343914-29
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2009.06.08 수리 (Accepted) 1-1-2009-0343901-36
8 등록결정서
Decision to grant
2009.09.11 발송처리완료 (Completion of Transmission) 9-5-2009-0379765-46
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2011.07.20 수리 (Accepted) 4-1-2011-5148883-62
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2011.07.20 수리 (Accepted) 4-1-2011-5148879-89
11 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.01.03 수리 (Accepted) 4-1-2014-0000494-54
12 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.10.20 수리 (Accepted) 4-1-2014-5123944-33
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2018.07.04 수리 (Accepted) 4-1-2018-5125629-51
14 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.07.29 수리 (Accepted) 4-1-2019-5151122-15
15 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.01 수리 (Accepted) 4-1-2019-5153932-16
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
연속되는 일련의 영상 프레임 중 제1영상 프레임에 설정된 제1하위영역에 속하는 화소 중에서 상기 제1영상 프레임에 시간적으로 앞서는 제2영상 프레임의 상기 제1하위영역과 동일한 위치에 설정된 제2하위영역에서 선택된 제2화소와의 화소값의 차가 최소인 제1화소를 검출하고, 상기 제2화소와 상기 제1화소의 좌표에 의하여 상기 제1하위영역의 지역 움직임벡터를 추정하는 지역 움직임벡터 추정부; 병진, 회전 및 주밍 중에서 선택된 카메라 움직임에 대응하는 정규화된 지역 움직임벡터의 집합들이 저장된 코드북으로부터 상기 제1하위영역의 지역 움직임벡터와의 유클리드 거리가 최소인 지역 움직임벡터의 집합을 선택하여 상기 제1영상 프레임의 프레임 움직임벡터로 결정하는 프레임 움직임벡터 결정부; 상기 프레임 움직임벡터가 나타내는 카메라 움직임에 대한 움직임 매개변수를 상기 제1화소 및 상기 제2화소의 좌표를 기초로 산출하는 움직임 매개변수 산출부; 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임에 대해 산출된 움직임 매개변수를 순차적으로 누적하여 결정된 상기 기준 영상 프레임과의 겹침영역의 크기가 사전에 설정된 임계값에 가장 가까운 영상 프레임을 선택하고, 순차적으로 이전에 선택된 영상 프레임과의 겹침영역의 크기가 상기 임계값에 가장 가까운 영상 프레임들을 선택하는 프레임 선택부; 및 상기 기준 영상 프레임에 상기 프레임 선택부에서 선택된 각각의 영상 프레임에 대한 겹침영역을 순차적으로 정합시켜 파노라마 영상을 생성하는 프레임 결합부;를 포함하는 것을 특징으로 하는 파노라마 영상 생성장치
2 2
제 1항에 있어서, 상기 제1하위영역은 상기 제1영상 프레임의 각 변과 평행하며 상기 제1영상 프레임의 중심을 지나는 직선들에 의해 상기 제1영상 프레임이 분할되어 생성된 네 개의 영역 내부에 서로 겹쳐지지 않도록 각각 배치되는 것을 특징으로 하는 파노라마 영상 생성장치
3 3
제 1항에 있어서, 상기 프레임 결합부는 각각의 영상 프레임을 구성하는 화소들의 좌표를 원통형 좌표계로 변환하는 것을 특징으로 하는 파노라마 영상 생성장치
4 4
제 1항 또는 제 3항에 있어서, 상기 프레임 결합부는 상기 겹침영역을 구성하는 각 화소의 화소값을 기초로 산출한 오차비용에 의해 상기 겹침영역의 각 행에서 오차비용이 가장 작은 화소를 선택하여 결정된 접합영역을 구성하는 화소들에 대하여 이전에 선택된 영상 프레임의 겹침영역에서 대응되는 화소와의 화소값의 평균을 각각의 화소의 화소값으로 결정하는 것을 특징으로 하는 파노라마 영상 생성장치
5 5
연속되는 일련의 영상 프레임 중 제1영상 프레임에 설정된 제1하위영역에 속하는 화소 중에서 상기 제1영상 프레임에 시간적으로 앞서는 제2영상 프레임의 상기 제1하위영역과 동일한 위치에 설정된 제2하위영역에서 선택된 제2화소와의 화소값의 차가 최소인 제1화소를 검출하고, 상기 제2화소와 상기 제1화소의 좌표에 의하여 상기 제1하위영역의 지역 움직임벡터를 추정하는 지역 움직임벡터 추정단계; 병진, 회전 및 주밍 중에서 선택된 카메라 움직임에 대응하는 정규화된 지역 움직임벡터의 집합들이 저장된 코드북으로부터 상기 제1하위영역의 지역 움직임벡터와의 유클리드 거리가 최소인 지역 움직임벡터의 집합을 선택하여 상기 제1영상 프레임의 프레임 움직임벡터로 결정하는 프레임 움직임벡터 결정단계; 상기 프레임 움직임벡터가 나타내는 카메라 움직임에 대한 움직임 매개변수를 상기 제1화소 및 상기 제2화소의 좌표를 기초로 산출하는 움직임 매개변수 산출단계; 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임에 대해 산출된 움직임 매개변수를 순차적으로 누적하여 결정된 상기 기준 영상 프레임과의 겹침영역의 크기가 사전에 설정된 임계값에 가장 가까운 영상 프레임을 선택하고, 순차적으로 이전에 선택된 영상 프레임과의 겹침영역의 크기가 상기 임계값에 가장 가까운 영상 프레임들을 선택하는 프레임 선택단계; 및 상기 기준 영상 프레임에 상기 프레임 선택단계에서 선택된 각각의 영상 프레임에 대한 겹침영역을 순차적으로 정합시켜 파노라마 영상을 생성하는 프레임 결합단계;를 포함하는 것을 특징으로 하는 파노라마 영상 생성방법
6 6
제 5항에 있어서, 상기 제1하위영역은 상기 제1영상 프레임의 각 변과 평행하며 상기 제1영상 프레임의 중심을 지나는 직선들에 의해 상기 제1영상 프레임이 분할되어 생성된 네 개의 영역 내부에 서로 겹쳐지지 않도록 각각 배치되는 것을 특징으로 하는 파노라마 영상 생성방법
7 7
제 5항에 있어서, 상기 프레임 결합단계에서, 각각의 영상 프레임을 구성하는 화소들의 좌표를 원통형 좌표계로 변환하는 것을 특징으로 하는 파노라마 영상 생성방법
8 8
제 5항 또는 제 7항에 있어서, 상기 프레임 결합단계에서, 상기 겹침영역을 구성하는 각 화소의 화소값을 기초로 산출한 오차비용에 의해 상기 겹침영역의 각 행에서 오차비용이 가장 작은 화소를 선택하여 결정된 접합영역을 구성하는 화소들에 대하여 이전에 선택된 영상 프레임의 겹침영역에서 대응되는 화소와의 화소값의 평균을 각각의 화소의 화소값으로 결정하는 것을 특징으로 하는 파노라마 영상 생성방법
9 9
연속되는 일련의 영상 프레임 중 제1영상 프레임에 설정된 제1하위영역에 속하는 화소 중에서 상기 제1영상 프레임에 시간적으로 앞서는 제2영상 프레임의 상기 제1하위영역과 동일한 위치에 설정된 제2하위영역에서 선택된 제2화소와의 화소값의 차가 최소인 제1화소를 검출하고, 상기 제2화소와 상기 제1화소의 좌표에 의하여 상기 제1하위영역의 지역 움직임벡터를 추정하는 지역 움직임벡터 추정부; 병진, 회전 및 주밍 중에서 선택된 카메라 움직임에 대응하는 정규화된 지역 움직임벡터의 집합들이 저장된 코드북으로부터 상기 제1하위영역의 지역 움직임벡터와의 유클리드 거리가 최소인 지역 움직임벡터의 집합을 선택하여 상기 제1영상 프레임의 프레임 움직임벡터로 결정하는 프레임 움직임벡터 결정부; 상기 프레임 움직임벡터가 나타내는 카메라 움직임에 대한 움직임 매개변수를 상기 제1화소 및 상기 제2화소의 좌표를 기초로 산출하는 움직임 매개변수 산출부; 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임에 대해 산출된 움직임 매개변수를 순차적으로 누적하여 결정된 상기 기준 영상 프레임과의 겹침영역의 크기가 사전에 설정된 임계값에 가장 가까운 영상 프레임을 선택하고, 순차적으로 이전에 선택된 영상 프레임과의 겹침영역의 크기가 상기 임계값에 가장 가까운 영상 프레임들을 선택하여 각각의 선택된 영상 프레임에 대한 겹침영역을 정합시켜 파노라마 영상을 생성하는 파노라마 영상 생성부; 및 상기 파노라마 영상을 배경영상으로 설정하고, 촬영된 입력영상을 구성하는 각 화소에 대하여 상기 배경영상에서 대응하는 화소와의 화소값의 차분값을 산출한 후 상기 차분값이 사전에 설정된 기준값보다 큰 화소들로 이루어진 객체영역을 결정하는 객체 추출부;를 포함하는 것을 특징으로 하는 객체 추적장치
10 10
제 9항에 있어서, 상기 제1하위영역은 상기 제1영상 프레임의 각 변과 평행하며 상기 제1영상 프레임의 중심을 지나는 직선들에 의해 상기 제1영상 프레임이 분할되어 생성된 네 개의 영역 내부에 서로 겹쳐지지 않도록 각각 배치되는 것을 특징으로 하는 객체 추적장치
11 11
제 9항에 있어서, 상기 객체 추출부는 기준점에 대한 카메라의 이동량 및 이동 방향을 기초로 상기 배경영상에서 상기 입력영상에 대응하는 촬영영역을 설정하고, 상기 촬영영역 및 상기 입력영상을 구성하는 화소들에 의해 객체영역을 결정하는 것을 특징으로 하는 객체 추적장치
12 12
제 9항 또는 제 11항에 있어서, 상기 객체 추출부는 상기 입력영상을 구성하는 각 화소에 대하여 상기 배경영상에서 대응하는 화소와의 화소값의 차분값 및 상기 입력영상에 시간적으로 이어지는 이웃영상에서 대응하는 화소와의 화소값의 차분값을 평균화하여 상기 객체영역을 결정하는 것을 특징으로 하는 객체 추적장치
13 13
연속되는 일련의 영상 프레임 중 제1영상 프레임에 설정된 제1하위영역에 속하는 화소 중에서 상기 제1영상 프레임에 시간적으로 앞서는 제2영상 프레임의 상기 제1하위영역과 동일한 위치에 설정된 제2하위영역에서 선택된 제2화소와의 화소값의 차가 최소인 제1화소를 검출하고, 상기 제2화소와 상기 제1화소의 좌표에 의하여 상기 제1하위영역의 지역 움직임벡터를 추정하는 지역 움직임벡터 추정단계; 병진, 회전 및 주밍 중에서 선택된 카메라 움직임에 대응하는 정규화된 지역 움직임벡터의 집합들이 저장된 코드북으로부터 상기 제1하위영역의 지역 움직임벡터와의 유클리드 거리가 최소인 지역 움직임벡터의 집합을 선택하여 상기 제1영상 프레임의 프레임 움직임벡터로 결정하는 프레임 움직임벡터 결정단계; 상기 프레임 움직임벡터가 나타내는 카메라 움직임에 대한 움직임 매개변수를 상기 제1화소 및 상기 제2화소의 좌표를 기초로 산출하는 움직임 매개변수 산출단계; 기준 영상 프레임으로부터 현재 영상 프레임까지 연속되는 영상 프레임에 대해 산출된 움직임 매개변수를 순차적으로 누적하여 결정된 상기 기준 영상 프레임과의 겹침영역의 크기가 사전에 설정된 임계값에 가장 가까운 영상 프레임을 선택하고, 순차적으로 이전에 선택된 영상 프레임과의 겹침영역의 크기가 상기 임계값에 가장 가까운 영상 프레임들을 선택하여 각각의 선택된 영상 프레임에 대한 겹침영역을 정합시켜 파노라마 영상을 생성하는 파노라마 영상 생성단계; 및 상기 파노라마 영상을 배경영상으로 설정하고, 촬영된 입력영상을 구성하는 각 화소에 대하여 상기 배경영상에서 대응하는 화소와의 화소값의 차분값을 산출한 후 상기 차분값이 사전에 설정된 기준값보다 큰 화소들로 이루어진 객체영역을 결정하는 객체 추출단계;를 포함하는 것을 특징으로 하는 객체 추적방법
14 14
제 13항에 있어서, 상기 제1하위영역은 상기 제1영상 프레임의 각 변과 평행하며 상기 제1영상 프레임의 중심을 지나는 직선들에 의해 상기 제1영상 프레임이 분할되어 생성된 네 개의 영역 내부에 서로 겹쳐지지 않도록 각각 배치되는 것을 특징으로 하는 객체 추적방법
15 15
제 13항에 있어서, 상기 객체 추출단계에서, 기준점에 대한 카메라의 이동량 및 이동 방향을 기초로 상기 배경영상에서 상기 입력영상에 대응하는 촬영영역을 설정하고, 상기 촬영영역 및 상기 입력영상을 구성하는 화소들에 의해 객체영역을 결정하는 것을 특징으로 하는 객체 추적방법
16 16
제 13항 또는 제 15항에 있어서, 상기 객체 추출단계에서, 상기 입력영상을 구성하는 각 화소에 대하여 상기 배경영상에서 대응하는 화소와의 화소값의 차분값 및 상기 입력영상에 시간적으로 이어지는 이웃영상에서 대응하는 화소와의 화소값의 차분값을 평균화하여 상기 객체영역을 결정하는 것을 특징으로 하는 객체 추적방법
17 17
제 5항에 기재된 파노라마 영상 생성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
18 18
제 13항에 기재된 객체 추적방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US08023003 US 미국 FAMILY
2 US20090231447 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US2009231447 US 미국 DOCDBFAMILY
2 US8023003 US 미국 DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 서울특별시 중앙대학교 산학협력단 기술기반구축사업 시네마/애니메이션/게임을 위한 미래형콘텐츠컨버전스 클러스터