맞춤기술찾기

이전대상기술

적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법

  • 기술번호 : KST2015132364
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법이 개시된다. 특징점 추적부는 입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 참조 영상프레임에 시간적으로 연속하는 영상프레임 중 현재 영상프레임 상에서 특징점에 대응하는 대응점을 탐색한다. 움직임 추정부는 참조 영상프레임 상에서 특징점의 좌표 및 현재 영상프레임 상에서 특징점에 대응하는 대응점의 좌표를 기초로 현재 영상프레임에 대한 전역 움직임을 측정하고, 사전에 설정된 측정시간 동안 입력되는 영상프레임에 대해 시간적으로 인접한 영상프레임 사이의 움직임의 부호가 변화하는 빈도수에 따라 이득이 결정되는 칼만필터에 의해 전역 움직임으로부터 떨림에 의한 잡음 성분이 제거된 의도적 움직임을 추정한다. 움직임 보상부는 전역 움직임 및 의도적 움직임의 차에 의해 잡음 성분을 나타내는 비의도적 움직임을 산출하고, 현재 영상프레임에 대해 비의도적 움직임을 보상하여 결과 영상프레임을 생성한다. 본 발명에 따르면, 참조 영상프레임으로부터 추출된 특징점을 이용하여 적응적인 칼만필터에 의해 영상의 움직임을 정확하게 추정할 수 있다. 영상 안정화, 칼만필터, 특징점, 움직임 보상
Int. CL H04N 5/217 (2006.01) H04N 5/21 (2006.01) H04N 19/89 (2006.01) H04N 7/24 (2006.01)
CPC H04N 5/23264(2013.01) H04N 5/23264(2013.01) H04N 5/23264(2013.01) H04N 5/23264(2013.01)
출원번호/일자 1020090025732 (2009.03.26)
출원인 고려대학교 산학협력단, 중앙대학교 산학협력단
등록번호/일자 10-0985805-0000 (2010.09.30)
공개번호/일자 10-2010-0107594 (2010.10.06) 문서열기
공고번호/일자 (20101109) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2009.03.26)
심사청구항수 15

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 고려대학교 산학협력단 대한민국 서울특별시 성북구
2 중앙대학교 산학협력단 대한민국 서울특별시 동작구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 고성제 대한민국 서울특별시 서초구
2 변근영 대한민국 광주광역시 서구
3 김진형 대한민국 서울특별시 성북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 송경근 대한민국 서울특별시 서초구 서초대로**길 ** (방배동) 기산빌딩 *층(엠앤케이홀딩스주식회사)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 고려대학교 산학협력단 대한민국 서울특별시 성북구
2 중앙대학교 산학협력단 대한민국 서울 동작구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2009.03.26 수리 (Accepted) 1-1-2009-0181775-13
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2009.06.09 수리 (Accepted) 4-1-2009-5111177-32
3 선행기술조사의뢰서
Request for Prior Art Search
2009.11.04 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search
2009.12.08 수리 (Accepted) 9-1-2009-0067773-34
5 의견제출통지서
Notification of reason for refusal
2010.06.30 발송처리완료 (Completion of Transmission) 9-5-2010-0280307-85
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2010.08.12 수리 (Accepted) 4-1-2010-5149278-93
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2010.08.25 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2010-0548997-18
8 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2010.08.25 수리 (Accepted) 1-1-2010-0548988-18
9 등록결정서
Decision to grant
2010.09.29 발송처리완료 (Completion of Transmission) 9-5-2010-0431099-70
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2011.07.20 수리 (Accepted) 4-1-2011-5148879-89
11 출원인정보변경(경정)신고서
Notification of change of applicant's information
2011.07.20 수리 (Accepted) 4-1-2011-5148883-62
12 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.01.03 수리 (Accepted) 4-1-2014-0000494-54
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.02.11 수리 (Accepted) 4-1-2014-5018243-16
14 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.04.22 수리 (Accepted) 4-1-2014-5049934-62
15 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.10.20 수리 (Accepted) 4-1-2014-5123944-33
16 출원인정보변경(경정)신고서
Notification of change of applicant's information
2018.07.04 수리 (Accepted) 4-1-2018-5125629-51
17 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.07.29 수리 (Accepted) 4-1-2019-5151122-15
18 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.01 수리 (Accepted) 4-1-2019-5153932-16
19 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.10.10 수리 (Accepted) 4-1-2019-5210941-09
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 상기 참조 영상프레임에 시간적으로 연속하는 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점을 탐색하는 특징점 추적부; 상기 특징점의 좌표 및 상기 대응점의 좌표를 기초로 상기 현재 영상프레임에 대한 전역 움직임을 측정하고, 상기 복수의 영상프레임에 대하여 각각 산출되는 시간적으로 인접한 영상프레임과의 전역 움직임의 차인 단위 움직임의 병진 성분에 의해 결정되는 부호가 상기 현재 영상프레임이 입력된 시점까지의 사전에 설정된 측정시간 동안 변화하는 빈도수에 따라 이득이 결정되는 칼만필터에 의해 상기 전역 움직임으로부터 떨림에 의한 잡음 성분이 제거된 의도적 움직임을 추정하는 움직임 추정부; 상기 전역 움직임 및 상기 의도적 움직임의 차에 의해 상기 잡음 성분을 나타내는 비의도적 움직임을 산출하고, 상기 현재 영상프레임에 대해 상기 비의도적 움직임을 보상하여 결과 영상프레임을 생성하는 움직임 보상부;를 포함하는 것을 특징으로 하는 영상 안정화 장치
2 2
제 1항에 있어서, 상기 움직임 추정부는, 상기 참조 영상프레임으로부터 상기 현재 영상프레임까지의 영상프레임들에 대하여 시간적으로 인접한 영상프레임들 사이의 움직임인 단위 움직임을 각각 측정하는 단위 움직임 측정부; 상기 단위 움직임들을 누적하여 상기 현재 영상프레임에 대한 전역 움직임을 측정하는 전역 움직임 측정부; 상기 측정시간 동안 입력되는 복수의 영상프레임에 대해 각각 측정된 상기 단위 움직임의 부호가 변화하는 빈도수에 따라 상기 칼만필터의 이득을 결정하는 이득 조정부; 및 상기 전역 움직임으로부터 상기 잡음 성분이 제거된 의도적 움직임을 추정하는 칼만필터부;를 포함하는 것을 특징으로 하는 영상 안정화 장치
3 3
삭제
4 4
제 1항 또는 제 2항에 있어서, 상기 특징점 추적부는 상기 칼만필터의 움직임 예측 알고리즘에 의해 추정된, 상기 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임과 상기 현재 영상프레임 사이의 움직임을 기초로 상기 현재 영상프레임 상에서 대응점을 탐색하기 위한 탐색개시지점을 결정하는 것을 특징으로 하는 영상 안정화 장치
5 5
제 1항 또는 제 2항에 있어서, 상기 특징점 추적부는 상기 현재 영상프레임으로부터 탐색된 대응점의 개수가 사전에 설정된 기준값보다 작으면 상기 현재 영상프레임을 새로운 참조 영상프레임으로 설정하는 것을 특징으로 하는 영상 안정화 장치
6 6
제 5항에 있어서, 상기 특징점 추적부는 상기 현재 영상프레임으로부터 탐색된 대응점의 개수가 상기 기준값보다 작아지는 시점과 이전의 참조 영상프레임이 설정된 시점 사이의 시간 간격이 사전에 설정된 기준 시간 간격 이상이면 상기 현재 영상프레임을 새로운 참조 영상프레임으로 설정하는 것을 특징으로 하는 영상 안정화 장치
7 7
제 1항 또는 제 2항에 있어서, 상기 특징점 추적부는 상기 참조 영상프레임을 구성하는 각각의 좌표를 중심으로 설정된 탐색영역을 구성하는 화소들을 기초로 상기 각각의 좌표에 대하여 하기 수학식으로 표현되는 계수 행렬을 산출하고, 상기 계수 행렬로부터 산출되는 고유치(eigenvalue)들 중 최소값이 사전에 설정된 임계값보다 큰 좌표를 상기 특징점으로 결정하는 것을 특징으로 하는 영상 안정화 장치: 여기서, G는 상기 계수 행렬, (px,py)는 상기 참조 영상프레임을 구성하는 각각의 좌표, wx 및 wy는 각각 상기 탐색영역의 가로방향 및 세로방향의 크기, 그리고 Ix(x,y) 및 Iy(x,y)는 상기 참조 영상프레임의 (x,y) 위치의 화소의 화소값을 가로 방향 및 세로 방향으로 미분한 값이다
8 8
제 7항에 있어서, 상기 움직임 추정부는 상기 현재 영상프레임으로부터 탐색된 대응점들의 좌표를 상기 각각의 대응점에 대하여 산출되는 계수 행렬의 고유치의 최소값이 감소하는 순서에 따라 정렬하여 사전에 설정된 개수의 그룹으로 분류하고, 각각의 그룹에 속하는 대응점을 기초로 측정된 그룹별 단위 움직임에 서로 다른 가중치를 부여한 후 합산하여 상기 현재 영상프레임에 대한 단위 움직임을 산출하는 것을 특징으로 하는 영상 안정화 장치
9 9
입력받은 원본영상을 구성하는 복수의 영상프레임 중 참조 영상프레임으로부터 특징점을 추출하고, 상기 참조 영상프레임에 시간적으로 연속하는 현재 영상프레임 상에서 상기 특징점에 대응하는 대응점을 탐색하는 특징점 추적단계; 상기 특징점의 좌표 및 상기 대응점의 좌표를 기초로 상기 현재 영상프레임에 대한 전역 움직임을 측정하고, 상기 복수의 영상프레임에 대하여 각각 산출되는 시간적으로 인접한 영상프레임과의 전역 움직임의 차인 단위 움직임의 병진 성분에 의해 결정되는 부호가 상기 현재 영상프레임이 입력된 시점까지의 사전에 설정된 측정시간 동안 변화하는 빈도수에 따라 이득이 결정되는 칼만필터에 의해 상기 전역 움직임으로부터 떨림에 의한 잡음 성분이 제거된 의도적 움직임을 추정하는 움직임 추정단계; 및 상기 전역 움직임 및 상기 의도적 움직임의 차에 의해 상기 잡음 성분을 나타내는 비의도적 움직임을 산출하고, 상기 현재 영상프레임에 대해 상기 비의도적 움직임을 보상하여 결과 영상프레임을 생성하는 움직임 보상단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법
10 10
제 9항에 있어서, 상기 움직임 추정단계는, 상기 참조 영상프레임으로부터 상기 현재 영상프레임까지의 영상프레임들에 대하여 시간적으로 인접한 영상프레임들 사이의 움직임인 단위 움직임을 각각 측정하는 단위 움직임 측정단계; 상기 단위 움직임들을 누적하여 상기 현재 영상프레임에 대한 전역 움직임을 측정하는 전역 움직임 측정단계; 상기 측정시간 동안 입력되는 복수의 영상프레임에 대해 각각 측정된 상기 단위 움직임의 부호가 변화하는 빈도수에 따라 상기 칼만필터의 이득을 결정하는 이득 조정단계; 및 상기 전역 움직임으로부터 상기 잡음 성분이 제거된 의도적 움직임을 추정하는 칼만필터 적용단계;를 포함하는 것을 특징으로 하는 영상 안정화 방법
11 11
삭제
12 12
제 9항 또는 제 10항에 있어서, 상기 특징점 추적단계에서, 상기 칼만필터의 움직임 예측 알고리즘에 의해 추정된, 상기 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임과 상기 현재 영상프레임 사이의 움직임을 기초로 상기 현재 영상프레임 상에서 대응점을 탐색하기 위한 탐색개시지점을 결정하는 것을 특징으로 하는 영상 안정화 방법
13 13
제 9항 또는 제 10항에 있어서, 상기 특징점 추적단계에서, 상기 현재 영상프레임으로부터 탐색된 대응점의 개수가 사전에 설정된 기준값보다 작으면 상기 현재 영상프레임을 새로운 참조 영상프레임으로 설정하는 것을 특징으로 하는 영상 안정화 방법
14 14
제 13항에 있어서, 상기 특징점 추적단계에서, 상기 현재 영상프레임으로부터 탐색된 대응점의 개수가 상기 기준값보다 작아지는 시점과 이전의 참조 영상프레임이 설정된 시점 사이의 시간 간격이 사전에 설정된 기준 시간 간격 이상이면 상기 현재 영상프레임을 새로운 참조 영상프레임으로 설정하는 것을 특징으로 하는 영상 안정화 방법
15 15
제 9항 또는 제 10항에 있어서, 상기 특징점 추적단계에서, 상기 참조 영상프레임을 구성하는 각각의 좌표를 중심으로 설정된 탐색영역을 구성하는 화소들을 기초로 상기 각각의 좌표에 대하여 하기 수학식으로 표현되는 계수 행렬을 산출하고, 상기 계수 행렬로부터 산출되는 고유치(eigenvalue)들 중 최소값이 사전에 설정된 임계값보다 큰 좌표를 상기 특징점으로 결정하는 것을 특징으로 하는 영상 안정화 방법: 여기서, G는 상기 계수 행렬, (px,py)는 상기 참조 영상프레임을 구성하는 각각의 좌표, wx 및 wy는 각각 상기 탐색영역의 가로방향 및 세로방향의 크기, 그리고 Ix(x,y) 및 Iy(x,y)는 상기 참조 영상프레임의 (x,y) 위치의 화소의 화소값을 가로 방향 및 세로 방향으로 미분한 값이다
16 16
제 15항에 있어서, 상기 움직임 추정단계에서, 상기 현재 영상프레임으로부터 탐색된 대응점들의 좌표를 상기 각각의 대응점에 대하여 산출되는 계수 행렬의 고유치의 최소값이 감소하는 순성 따라 정렬하여 사전에 설정된 개수의 그룹으로 분류하고, 각각의 그룹에 속하는 대응점을 기초로 측정된 그룹별 단위 움직임에 서로 다른 가중치를 부여한 후 합산하여 상기 현재 영상프레임에 대한 단위 움직임을 산출하는 것을 특징으로 하는 영상 안정화 방법
17 17
제 9항 또는 제 10항에 기재된 영상 안정화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 서울특별시 중앙대학교 산학협력단 기술기반구축사업 시네마/애니메이션/게임을 위한 미래형콘텐츠컨버전스 클러스터(3차년도)