맞춤기술찾기

이전대상기술

프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법

  • 기술번호 : KST2015083204
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 1. 청구범위에 기재된 발명이 속한 기술분야 본 발명은 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그 방법에 관한 것으로, 입력 영상에서 카메라 위치에 따른 차폐 영역 외에 객체 움직임에 의해 나타나는 차폐 영역을 동시에 고려하여 객체 및 배경의 깊이를 추정함으로써, 프레임 간의 일관성 또는 완만성을 유지하면서 깊이 불연속 지점 및 밝기가 균일한 영역에서의 오정합을 줄이기 위한, 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그 방법을 제공하고자 한다. 이를 위하여, 본 발명은 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치에 있어서, 동일시간에 촬영된 두 개 이상의 영상을 입력받아 프레임별로 저장하기 위한 입력 처리 수단; 상기 입력 처리 수단을 통해 입력된 영상에 대해 카메라 보정을 수행하기 위한 카메라 보정 수단; 상기 카메라 보정 수단의 카메라 보정 결과에 기초하여 상기 입력 처리 수단에 저장된 영상을 영역별로 분리하고, 상기 분리된 영역의 각 화소별 깊이 추정을 위해 탐색 범위를 설정하기 위한 범위 설정 수단; 상기 범위 설정 수단에 의해 설정된 탐색 범위의 각 화소에 대한 컬러 값의 유사도 비교에 따라 깊이를 선택하기 위한 제1 깊이 선택 수단; 및 상기 제1 깊이 선택 수단에서의 컬러 값에 대한 편차를 이용하여 유사 함수 계산 대상을 축소 조정하여 각 화소에 대한 깊이를 유사 함수의 유사도에 따라 선택하기 위한 제2 깊이 선택 수단을 포함한다. 깊이 지도, 스테레오 정합, 다시점 영상, 3차원 영상 처리
Int. CL H04N 13/00 (2006.01)
CPC H04N 13/0022(2013.01) H04N 13/0022(2013.01) H04N 13/0022(2013.01) H04N 13/0022(2013.01) H04N 13/0022(2013.01) H04N 13/0022(2013.01) H04N 13/0022(2013.01)
출원번호/일자 1020070095769 (2007.09.20)
출원인 한국전자통신연구원
등록번호/일자 10-0931311-0000 (2009.12.03)
공개번호/일자 10-2008-0051015 (2008.06.10) 문서열기
공고번호/일자 (20091211) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020060121370   |   2006.12.04
법적상태 등록
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2007.09.20)
심사청구항수 25

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 엄기문 대한민국 대전 유성구
2 허남호 대한민국 대전 유성구
3 김진웅 대한민국 대전 유성구
4 이수인 대한민국 대전 서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 신성특허법인(유한) 대한민국 서울특별시 송파구 중대로 ***, ID타워 ***호 (가락동)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 대한민국(산업통상자원부장관) 세종특별자치시 한누리대
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2007.09.20 수리 (Accepted) 1-1-2007-0682537-57
2 선행기술조사의뢰서
Request for Prior Art Search
2008.03.12 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2008.04.16 수리 (Accepted) 9-1-2008-0024028-62
4 의견제출통지서
Notification of reason for refusal
2009.03.11 발송처리완료 (Completion of Transmission) 9-5-2009-0107058-28
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2009.05.11 수리 (Accepted) 1-1-2009-0281445-85
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2009.05.11 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2009-0281443-94
7 출원인정보변경(경정)신고서
Notification of change of applicant's information
2009.08.04 수리 (Accepted) 4-1-2009-5150899-36
8 최후의견제출통지서
Notification of reason for final refusal
2009.09.07 발송처리완료 (Completion of Transmission) 9-5-2009-0372807-68
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2009.11.05 수리 (Accepted) 1-1-2009-0681304-27
10 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2009.11.05 보정승인 (Acceptance of amendment) 1-1-2009-0681299-86
11 등록결정서
Decision to grant
2009.11.26 발송처리완료 (Completion of Transmission) 9-5-2009-0486491-18
12 출원인정보변경(경정)신고서
Notification of change of applicant's information
2015.02.02 수리 (Accepted) 4-1-2015-0006137-44
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치에 있어서, 동일시간에 촬영된 두 개 이상의 영상을 입력받아 프레임별로 저장하기 위한 입력 처리 수단; 상기 입력 처리 수단을 통해 각 입력된 영상에 대해 카메라의 내부 정보 및 각 시점간의 상호 위치 관계를 계산하기 위한 카메라 보정 수단; 상기 카메라 보정 수단의 카메라 보정 결과와 상기 입력 처리 수단에 저장된 영상에서 동일 지점의 프레임간 화소의 컬러 차이를 계산하여 동적 객체 영역과 정적 배경 영역으로 분류하고, 상기 분류된 영역의 각 화소별 깊이 추정을 위해 미리 정의된 상기 동적 객체 영역 및 상기 정적 배경 영역 각각의 최대 최소 깊이 범위 값들을 이용하여 상기 입력된 영상의 깊이 탐색 범위를 설정하기 위한 범위 설정 수단; 상기 범위 설정 수단에 의해 설정된 각각의 깊이 탐색 범위를 갖는 객체 또는 배경 영역 내 각 화소들에 대하여 미리 결정된 크기를 갖는 창틀을 깊이 단위(또는 화소 단위)로 깊이 탐색 범위 내에서 이동해 가면서, 각 창틀 내의 각 화소들에 대하여 컬러 값의 유사도를 유사함수 계산을 통해 비교하고, 유사도가 기 정의된 임계치보다 높고 유사도가 가장 높은 깊이를 해당 화소의 깊이로 선택하기 위한 제1 깊이 선택 수단; 및 상기 제1 깊이 선택 수단에서의 선택된 각 화소들간의 컬러 값에 대한 편차를 이용하여 편차가 가장 큰 화소를 유사 함수 계산 대상 화소에서 제외하여 축소 조정하고 상기 축소 조정된 창틀 내 각 화소들을 이용한 유사 함수의 유사도에 따라 상기 각 화소의 깊이로 선택하기 위한 제2 깊이 선택 수단 을 포함하는 깊이 추정 장치
2 2
제 1 항에 있어서, 상기 제2 깊이 선택 수단에 의해 선택된 깊이를 디지털 영상으로 기록하기 위한 디지털 영상 기록 수단 을 더 포함하는 깊이 추정 장치
3 3
제 2 항에 있어서, 상기 디지털 영상 기록 수단에 의해 기록된 디지털 영상을 3차원 모델로 변환하기 위한 3차원 모델 변환 수단 을 더 포함하는 깊이 추정 장치
4 4
제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 범위 설정 수단은, 상기 입력 처리 수단에 저장된 입력 영상(이하, '장면 영상'이라 함)을 상기 정적 배경 영역과 상기 동적 객체 영역으로 분류하기 위한 객체 및 배경 분류 수단; 및 상기 객체 및 배경 분류 수단에 의해 분류된 상기 정적 배경 영역과 상기 동적 객체 영역의 각 화소별로 깊이를 추정하기 위해 상기 미리 정의된 상기 객체 영역 및 상기 배경 영역의 최대 및 최소 깊이의 탐색 범위를 설정하기 위한 깊이 탐색 범위 설정 수단 을 포함하는 깊이 추정 장치
5 5
제 4 항에 있어서, 상기 객체 및 배경 분류 수단은, 상기 장면 영상이 첫 번째 프레임일 경우, 상기 장면 영상의 첫 번째 프레임과 해당 장면의 배경 영상 간 동일 지점 화소의 컬러 차이가 기정의된 제1 임계치보다 같거나 크면 해당 화소를 동적 객체 영역으로 분류하는 것을 특징으로 하는 깊이 추정 장치
6 6
제 5 항에 있어서, 상기 객체 및 배경 분류 수단은, 상기 장면 영상이 두 번째 이상의 프레임이고 상기 장면 영상이 t 시점의 프레임이고, t-1 시점의 프레임에 대한 상기 객체 및 상기 배경 분류 결과가 존재하는 경우, 상기 장면 영상의 t-1 시점의 프레임에서 정적 배경 영역으로 분류된 화소에 대해서, 상기 장면 영상의 t-1 시점의 프레임과 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 기정의된 제2 임계치보다 작으면 해당 화소를 정적 배경 영역으로 분류하는 것을 특징으로 하는 깊이 추정 장치
7 7
제 6 항에 있어서, 상기 객체 및 배경 분류 수단은, 상기 장면 영상이 두 번째 이상의 프레임이고 상기 장면 영상이 t 시점의 프레임이고, t-1 시점의 프레임에 대한 객체 및 배경 분류 결과가 존재하는 경우, 상기 장면 영상의 t-1 시점의 프레임과 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 상기 제2 임계치보다 같거나 크고, 해당 장면에 대한 배경 영상과 상기 장면 영상의 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 상기 제1 임계치보다 같거나 크면 해당 화소를 동적 객체 영역으로 분류하는 것을 특징으로 하는 깊이 추정 장치
8 8
제 7 항에 있어서, 상기 객체 및 배경 분류 수단은, 상기 장면 영상이 두 번째 이상의 프레임이고 상기 장면 영상이 t 시점의 프레임이고, t-1 시점의 프레임에 대한 객체 및 배경 분류 결과가 존재하는 경우, 상기 장면 영상의 t-1 시점의 프레임에서 동적 객체 영역으로 분류된 화소에 대해서는, 상기 장면 영상의 t-1 시점의 프레임과 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 기정의된 제3 임계치보다 같거나 크고, 해당 장면에 대한 배경 영상과 상기 장면 영상의 t 시점의 프레임 간 동일 지점 화소의 컬러 차이가 상기 제1 임계치보다 작으면 해당 화소를 정적 배경 영역으로 분류하는 것을 특징으로 하는 깊이 추정 장치
9 9
제 8 항에 있어서, 상기 객체 및 배경 분류 수단은, 잡음에 의한 영향을 줄이기 위하여 확장 및 축소 필터링을 사용하는 것을 특징으로 하는 깊이 추정 장치
10 10
제 4 항에 있어서, 상기 깊이 탐색 범위 설정 수단은, 상기 장면 영상 중 배경의 바닥을 제외한 배경 영역에 대해서, 기정의된 배경 영역의 최대 깊이보다 작고 기정의된 배경 영역의 최소 깊이보다 큰 범위를 배경 영상 화소에 대한 깊이 탐색 범위로 설정하는 것을 특징으로 하는 깊이 추정 장치
11 11
제 4 항에 있어서, 상기 깊이 탐색 범위 설정 수단은, 상기 장면 영상의 첫 번째 프레임에서 동적 객체 영역으로 분류된 화소에 대해서, 전체 장면 영상의 깊이 탐색 범위 중 배경의 바닥을 제외한 배경 영역이 속하는 깊이 범위를 제외한 깊이 범위 내에서 객체 위치의 최대 깊이보다 작고 객체 위치의 최소 깊이보다 큰 범위를 동적 객체 화소에 대한 깊이 탐색 범위로 설정하는 것을 특징으로 하는 깊이 추정 장치
12 12
제 4 항에 있어서, 상기 깊이 탐색 범위 설정 수단은, 상기 장면 영상의 각 프레임의 화소가 정적 배경 영역으로 분류된 화소에 대해서는, 상기 장면 영상의 현재 프레임의 화소 깊이를 해당 장면의 배경 영상 내 동일 위치 화소 깊이와 동일하게 설정하는 것을 특징으로 하는 깊이 추정 장치
13 13
제 4 항에 있어서, 상기 깊이 탐색 범위 설정 수단은, 상기 장면 영상이 두 번째 프레임 이상이고 t 시점의 상기 장면 영상에 대하여 t-1 시점의 프레임에서의 깊이 추정 결과가 있으며 상기 장면 영상의 t-1 시점의 프레임 및 t 시점의 프레임에서 동적 객체 영역으로 분류된 화소의 경우, 상기 장면 영상의 t-1 시점의 프레임의 화소 깊이 값(이하, '이전 깊이 값'이라 함)과 깊이 정보의 신뢰도에 따라 결정되는 변수(이하, '신뢰 변수'라 함)와의 곱에 상기 t-1 시점의 깊이 값을 더한 값보다 작고, 상기 t-1 시점의 깊이 값에서 상기 신뢰 변수와 상기 t-1 시점의 깊이 값의 곱을 뺀 값보다 큰 값을 상기 장면 영상의 t 시점의 프레임의 화소 깊이 탐색 범위로 설정하는 것을 특징으로 하는 깊이 추정 장치
14 14
제 4 항에 있어서, 상기 제1 깊이 선택 수단은, 상기 깊이 탐색 범위 설정 수단에 의해 설정된 각각의 깊이 탐색 범위를 갖는 객체 또는 배경 영역 내 각 화소들에 대하여 미리 결정된 크기를 갖는 창틀을 깊이 단위(또는 화소 단위)만큼 깊이 탐색 범위 내에서 이동하면서 미리 결정된 기준 영상 영역의 범위를 벗어난 화소들을 제외하여 유사 함수 계산에 사용될 대상 영상 및 화소를 선택하기 위한 영상 및 화소 선택 수단; 및 상기 영상 및 화소 선택 수단에 의해 선택된 화소들에 대해 상기 창틀 단위로 상기 유사 함수를 계산하여, 상기 계산된 유사 함수의 값이 기정의된 임계치보다 높을 경우 컬러 값의 유사도가 가장 높은 깊이를 해당 화소의 초기 깊이로 선택하기 위한 초기 깊이 선택 수단 을 포함하는 깊이 추정 장치
15 15
제 14 항에 있어서, 상기 영상 및 화소 선택 수단은, 영상을 투영하였을 시에 투영된 화소가 상기 기준 영상 영역의 범위를 벗어나면 해당 화소를 유사 함수 계산의 대상에서 제외시키는 것을 특징으로 하는 깊이 추정 장치
16 16
제 14 항에 있어서, 상기 제2 깊이 선택 수단은, 상기 초기 깊이 선택 수단에서의 창틀 단위로 유사 함수 계산에 이용된 각 창틀 단위의 화소들간 컬러 값의 차이에 대한 평균과 표준 편차를 구하여 편차가 가장 큰 컬러를 갖는 화소를 유사 함수 계산의 대상에서 제외시켜 유사 함수를 계산하기 위한 깊이 후처리 수단; 및 상기 깊이 후처리 수단에 의해 계산된 유사 함수의 유사도가 미리 정한 임계치보다 높은 경우 가장 높은 깊이를 해당 화소의 깊이로 선택하기 위한 최종 깊이 선택 수단 을 포함하는 깊이 추정 장치
17 17
제 16 항에 있어서, 상기 깊이 후처리 수단은, 유사 함수의 표준 편차가 기정의된 제4 임계치보다 작아지거나, 상기 표준 편차가 변화가 없거나, 최대 반복 횟수에 도달할 때까지 유사 함수 계산을 반복하는 것을 특징으로 하는 깊이 추정 장치
18 18
제 17 항에 있어서, 상기 카메라 보정 수단은, 상기 입력 처리 수단으로 동일시간에 촬영된 영상을 입력하는 각 카메라의 내부 정보 및 각 시점 간의 상호 위치 관계를 나타내는 기반 행렬을 계산하는 것을 특징으로 하는 깊이 추정 장치
19 19
프레임 간 깊이 연속성 유지를 위한 깊이 추정 방법에 있어서, 동일시간에 촬영된 두 개 이상의 영상을 입력받아 각 영상에 대한 카메라의 내부 정보 및 각 시점간의 상호 위치 관계를 계산하기 위한 카메라 보정을 수행하는 카메라 보정 단계; 상기 카메라 보정 결과와 상기 입력된 영상에서 동일 지점의 화소간 컬러 차이를 계산하여 동적 객체 영역과 정적 배경 영역으로 분류하고, 상기 분류된 영역의 각 화소별 깊이 추정을 위해 미리 정의된 상기 객체 영역과 상기 배경 영역 각각의 최대 및 최소 깊이 범위를 이용하여 상기 입력된 영상의 깊이 탐색 범위를 설정하는 범위 설정 단계; 상기 설정된 각각의 깊이 탐색 범위를 갖는 객체 또는 배경 영역 내 각 화소들에 대하여 객체 또는 배경 영역 내 각 화소들에 대하여 미리 결정된 크기를 갖는 창틀을 깊이 단위(또는 화소 단위)만큼 깊이 탐색 범위 내에서 이동하면서 창틀 내 컬러 값의 유사도를 비교하고, 미리 결정된 기준 영상 영역의 범위 내에 존재하는 화소들만을 선택하기 위한 제1 깊이 선택 단계; 및 상기 선택된 각 화소들간의 컬러 값에 대한 편차를 이용하여 편차가 가장 큰 화소를 유사 함수 계산 대상 화소에서 제외하여 축소 조정하고 상기 창틀 내 각 화소들을 이용한 유사함수의 유사도에 따라 상기 각 화소의 깊이로 선택하기 위한 제2 깊이 선택 단계 를 포함하는 깊이 추정 방법
20 20
제 19 항에 있어서, 상기 범위 설정 단계는, 상기 입력 영상을 상기 정적 배경 영역과 상기 동적 객체 영역으로 분류하는 객체 및 배경 분류 단계; 및 상기 분류된 상기 정적 배경 영역과 상기 동적 객체 영역의 각 화소별로 깊이를 추정하기 위해 상기 미리 정의된 상기 객체 영역 및 상기 배경 영역의 최대 및 최소 깊이의 탐색 범위를 설정하는 깊이 탐색 범위 설정 단계 를 포함하는 깊이 추정 방법
21 21
제 20 항에 있어서, 상기 제1 깊이 선택 단계는, 상기 설정된 각각의 깊이 탐색 범위를 갖는 객체 또는 배경 영역 내 각 화소들에 대하여 미리 결정된 크기를 갖는 창틀을 깊이 단위(또는 화소 단위)로 깊이 탐색 범위 내에서 이동해가면서, 상기 기준 영상 영역의 범위를 벗어난 화소들을 제외하여 유사 함수 계산에 사용될 대상 영상 및 화소를 선택하는 영상 및 화소 선택 단계; 및 상기 선택된 화소들에 대해 상기 창틀 단위로 상기 유사 함수를 계산하여, 상기 계산된 유사 함수의 값이 기정의된 임계치보다 높을 경우 컬러 값의 유사도가 가장 높은 깊이를 해당 화소의 초기 깊이로 선택하는 초기 깊이 선택 단계 를 포함하는 깊이 추정 방법
22 22
제 21 항에 있어서, 상기 제2 깊이 선택 단계는, 상기 초기 깊이 선택 단계에서의 상기 창틀 단위로 상기 유사 함수 계산에 이용된 각 창틀 단위의 화소들간 컬러 값의 차이에 대한 평균과 표준 편차를 구하여 편차가 가장 큰 컬러를 갖는 화소를 유사 함수 계산의 대상에서 제외시켜 유사 함수를 계산하는 깊이 후처리 단계; 및 상기 깊이 후처리 단계에서 계산된 유사 함수의 유사도가 미리 정한 임계치보다 높고 가장 높은 깊이를 해당 화소의 깊이로 선택하는 최종 깊이 선택 단계 를 포함하는 깊이 추정 방법
23 23
제 22 항에 있어서, 상기 선택된 최종 깊이를 디지털 영상으로 기록하는 디지털 영상 기록 단계 를 더 포함하는 깊이 추정 방법
24 24
제 23 항에 있어서, 상기 디지털 영상의 기록 시 상기 디지털 영상에 상기 최종 깊이를 이용하여 3차원 모델로 변환하는 3차원 모델 변환 단계 를 더 포함하는 깊이 추정 방법
25 25
제 24 항에 있어서, 상기 깊이 후처리 단계는, 상기 유사 함수의 표준 편차가 기정의된 제4 임계치보다 작아지거나, 상기 표준 편차가 변화가 없거나, 최대 반복 횟수에 도달할 때까지 유사 함수 계산을 반복하는 것을 특징으로 하는 깊이 추정 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 정보통신부 한국전자통신연구원 IT신성장동력핵심기술개발사업 지능형 통합정보 방송(SmaR TV) 기술개발