맞춤기술찾기

이전대상기술

다중 컬러-필터 조리개를 이용하여 촬영된 영상의 화질 개선 장치 및 방법

  • 기술번호 : KST2014038744
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 각각 상이한 컬러 필터가 적용된 복수 개의 개구부를 가지는 조리개를 구비한 촬영 장치에 의해 촬영된 입력 영상의 화질을 개선하기 위한 장치 및 방법이 개시된다. 본 발명에 따른 화질 개선 장치는, 클러스터 기반 영상 분할 알고리즘을 이용하여 촬영된 입력 영상 중 촬상 장치로부터의 거리에 따른 관심 영역(ROI)을 분류하는 ROI 분류부, ROI에 포함되는 영상 데이터의 고주파 성분을 분석하여 각 ROI에 상응하는 컬러 채널들의 이동 벡터를 결정하고, 결정된 이동 벡터에 기반하여 컬러 채널들을 이동시켜 각 ROI의 정합 영상을 획득하는 컬러 채널 정합부, 및 각 ROI들의 정합 영상들을 융합(fusing)하여 융합 영상을 획득하는 영상 융합부를 구비한다. 본 발명에 따르면, 입력 영상의 화질이 개선되며, 초점 패턴까지의 컬러 채널 이동량 및 방향에 따라서 상이한 거리에 위치한 피사체들의 심도 정보도 제공한다.
Int. CL H04N 9/07 (2006.01) G06T 5/00 (2006.01)
CPC
출원번호/일자 1020100101016 (2010.10.15)
출원인 중앙대학교 산학협력단
등록번호/일자 10-1220413-0000 (2013.01.03)
공개번호/일자 10-2012-0039352 (2012.04.25) 문서열기
공고번호/일자 (20130109) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2011.04.04)
심사청구항수 15

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 중앙대학교 산학협력단 대한민국 서울특별시 동작구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 백준기 대한민국 서울 서초구
2 이은성 대한민국 서울특별시 관악구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 송경근 대한민국 서울특별시 서초구 서초대로**길 ** (방배동) 기산빌딩 *층(엠앤케이홀딩스주식회사)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 중앙대학교 산학협력단 서울특별시 동작구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2010.10.15 수리 (Accepted) 1-1-2010-0668173-06
2 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)
2011.04.04 수리 (Accepted) 1-1-2011-0243362-62
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2011.07.20 수리 (Accepted) 4-1-2011-5148883-62
4 출원인정보변경(경정)신고서
Notification of change of applicant's information
2011.07.20 수리 (Accepted) 4-1-2011-5148879-89
5 선행기술조사의뢰서
Request for Prior Art Search
2012.02.13 수리 (Accepted) 9-1-9999-9999999-89
6 선행기술조사보고서
Report of Prior Art Search
2012.03.21 수리 (Accepted) 9-1-2012-0020925-36
7 의견제출통지서
Notification of reason for refusal
2012.06.13 발송처리완료 (Completion of Transmission) 9-5-2012-0342507-11
8 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2012.08.09 수리 (Accepted) 1-1-2012-0637808-43
9 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2012.08.09 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2012-0637822-83
10 등록결정서
Decision to grant
2012.12.17 발송처리완료 (Completion of Transmission) 9-5-2012-0766296-05
11 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.01.03 수리 (Accepted) 4-1-2014-0000494-54
12 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.10.20 수리 (Accepted) 4-1-2014-5123944-33
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2018.07.04 수리 (Accepted) 4-1-2018-5125629-51
14 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.07.29 수리 (Accepted) 4-1-2019-5151122-15
15 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.01 수리 (Accepted) 4-1-2019-5153932-16
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
클러스터 기반 영상 분할 알고리즘을 이용하여 각각 상이한 컬러 필터가 적용된 복수 개의 개구부를 가지는 조리개를 구비한 촬상 장치에 의해 촬영된 입력 영상의 전체 영역에 대해 상기 촬상 장치로부터의 거리에 따른 관심 영역(region of interest : ROI)을 분류하는 ROI 분류부; 상기 ROI에 포함되는 영상 데이터의 고주파 성분을 분석하여 각 ROI에 상응하는 컬러 채널들의 이동 벡터를 결정하고, 결정된 이동 벡터에 기반하여 상기 컬러 채널들을 이동시켜 각 ROI의 정합 영상을 획득하는 컬러 채널 정합부; 및 각 ROI들의 정합 영상들을 융합(fusing)하여 융합 영상을 획득하는 영상 융합부;를 포함하는 것을 특징으로 하는 화질 개선 장치
2 2
제 1항에 있어서, 상기 융합 영상에 존재하는 ROI들 간의 경계(border)를 평활화하여 상기 융합 영상의 화질을 개선하는 평활화부를 더 포함하는 것을 특징으로 하는 화질 개선 장치
3 3
제 2항에 있어서, 상기 ROI 분류부는, 상기 입력 영상에 K-평균 클러스터링(K-means clustering) 기법 및 힐-클라이밍(hill-climbing) 기법을 적용하여 피사체에 상응하는 돌출 영역(salient region)을 선택하는 돌출 영역 선택부; 및 블록 구획(block partitioning) 기법을 이용하여 분할된 블록들 중 선택된 상기 돌출 영역에 상응하는 블록들을 ROI로서 레이블링(labeling)하는 ROI 레이블링부;를 포함하는 것을 특징으로 하는 화질 개선 장치
4 4
제 3항에 있어서, 상기 돌출 영역 선택부는, 상기 입력 영상의 색공간을 CIELab 색공간으로 변환하고, 3D CIELab 히스토그램을 생성한 후 힐-클라이밍 기법을 이용하여 상기 3D CIELab 히스토그램의 모든 빈(bin)에 대한 첨두치를 찾고, 상기 첨두치들에 기반하여 K 개의 씨드를 이용한 K-평균 클러스터링 기법을 이용하여 상기 돌출 영역을 피사체에 맞게 분류하며, 상기 ROI 레이블링부는, 클러스터들을 포함하는 기준 블록을 선택하고, 픽셀들이 상기 기준 블록의 클러스터를 포함하는 인접 블록들과 상기 기준 블록 사이에 연결되면 상기 인접 블록들을 이전 ROI에 통합시키는 동작을 수행하는 것을 특징으로 하는 화질 개선 장치
5 5
제 1항에 있어서, 상기 컬러 채널 정합부는, 상기 컬러 채널들 중 하나를 기준 채널로서 설정한 후 상기 기준 채널에 대한 다른 컬러 채널들의 상기 이동 벡터를 다음 수학식 A를 이용하여 결정하고, 상기 결정된 이동 벡터에 따라 컬러 채널들을 상기 기준 채널에 향하여 이동시켜 컬러 채널들을 정렬시키며, 상기 기준 채널 및 상기 조리개의 무게 중심의 위치 관계를 고려하여 상기 컬러 채널들을 상기 무게 중심을 향하여 이동시키는 중심 보상 동작을 수행하도록 상기 결정된 이동 벡터에 따라 컬러 채널들을 상기 기준 채널에 향하여 이동시켜 컬러 채널들을 정렬시키고, 상기 기준 채널 및 상기 조리개의 무게 중심의 위치 관계를 기초로 상기 컬러 채널들을 상기 무게 중심을 향하여 이동시키는 중심 보상 동작을 수행하는 것을 특징으로 하는 화질 개선 장치:[수학식 A]여기서 Rd는 크로스-파워 스펙트럼(cross-power spectrum), F-1는 역 이산 푸리에 변환(DFT) 연산, rd는 Rd의 역 이산 푸리에 변환, (u,v)는 주파수 영역에서의 변수, (Δx, Δy)는 각각 x 및 y 방향의 변위를 나타낸다
6 6
제 2항에 있어서, 상기 평활화부는, 연판정(soft-decision) 융합 및 혼화 기법을 이용하여 상기 융합 영상으로부터 복원된 영상 g 및 분할 영역 fR 을 획득한 후 다음의 수학식 B 내지 E에 의해 상기 복원된 영상 g 및 상기 분할된 영역 fR로부터 적응적으로 혼합된 영상 fA를 얻는 것을 특징으로 하는 화질 개선 장치:[수학식 B],[수학식 C],[수학식 D],[수학식 E],상기 수학식 B에서 α는 상기 수학식 C에 의해 산출되는 가중 인자이고, 상기 수학식 C에서 β는 α가 0보다 크거나 같고 1보다 작거나 같도록 만들기 위한 튜닝 파라미터(tuning parameter)이고, σ2(x,y)는 상기 수학식 D에 의해 산출되는 국부 분산이며, 상기 수학식 D와 E에서 P 및 Q는 각각 영역의 수직 및 수평 크기이고, S는 (x, y)를 포함하는 사각형 영역이며, mxy는 영역의 국부 평균이다
7 7
제 1항에 있어서, 상기 조리개는 적색, 청색, 및 녹색의 컬러 필터가 각각 적용된 세 개의 개구부를 포함하고, 상기 컬러 채널들 각각은 입사광이 상기 컬러 필터를 통과하면서 생성되는 것을 특징으로 하는 화질 개선 장치
8 8
클러스터 기반 영상 분할 알고리즘을 이용하여 각각 상이한 컬러 필터가 적용된 복수 개의 개구부를 가지는 조리개를 구비한 촬상 장치에 의해 촬영된 입력 영상 중 상기 촬상 장치로부터의 거리에 따른 관심 영역(ROI)을 분류하는 ROI 분류 단계; 상기 ROI에 포함되는 영상 데이터의 고주파 성분을 분석하여 각 ROI에 상응하는 컬러 채널들의 이동 벡터를 결정하고, 결정된 이동 벡터에 기반하여 상기 컬러 채널들을 이동시켜 각 ROI의 정합 영상을 획득하는 컬러 채널 정합 단계; 및 각 ROI들의 정합 영상들을 융합하여 융합 영상을 획득하는 영상 융합 단계;를 포함하는 것을 특징으로 하는 화질 개선 방법
9 9
제 8항에 있어서, 상기 융합 영상에 존재하는 ROI들 간의 경계를 평활화하여 상기 융합 영상의 화질을 개선하는 평활화 단계를 더 포함하는 것을 특징으로 하는 화질 개선 방법
10 10
제 9항에 있어서, 상기 ROI 분류 단계는, 상기 입력 영상에 K-평균 클러스터링 기법 및 힐-클라이밍 기법을 적용하여 피사체에 상응하는 돌출 영역을 선택하는 돌출 영역 선택 단계; 및 블록 구획 기법을 이용하여 분할된 블록들 중 선택된 상기 돌출 영역에 상응하는 블록들을 ROI로서 레이블링하는 ROI 레이블링 단계;를 포함하는 것을 특징으로 하는 화질 개선 방법
11 11
제 10항에 있어서, 상기 돌출 영역 선택 단계는, 상기 입력 영상의 색공간을 CIELab 색공간으로 변환하고, 3D CIELab 히스토그램을 생성하는 단계; 힐-클라이밍 기법을 이용하여 상기 3D CIELab 히스토그램의 모든 빈에 대한 첨두치를 찾는 단계; 첨두치들에 기반하여 K 개의 씨드를 이용한 K-평균 클러스터링 기법을 이용하여 상기 돌출 영역을 피사체에 맞게 분류하는 단계;를 포함하며, 상기 ROI 레이블링 단계는, 클러스터들을 포함하는 기준 블록을 선택하는 단계; 및 인접 블록들이 상기 기준 블록의 클러스터를 포함하고, 픽셀들이 상기 인접 블록들 및 상기 기준 블록 사이에 연결되면 상기 인접 블록들을 이전 ROI에 통합시키는 단계;를 포함하는 것을 특징으로 하는 화질 개선 방법
12 12
제 8항에 있어서, 상기 컬러 채널 정합 단계는, 상기 컬러 채널들 중 하나를 기준 채널로서 설정하는 단계; 상기 기준 채널에 대한 다른 컬러 채널들의 상기 이동 벡터를 다음 수학식 A를 이용하여 결정하는 단계;결정된 이동 벡터에 따라 컬러 채널들을 상기 기준 채널에 향하여 이동시켜 컬러 채널들을 정렬시키는 단계; 및 상기 기준 채널 및 상기 조리개의 무게 중심의 위치 관계를 고려하여 상기 컬러 채널들을 상기 무게 중심을 향하여 이동시키는 중심 보상 단계;를 포함하는 것을 특징으로 하는 화질 개선 방법:[수학식 A]여기서 Rd는 크로스-파워 스펙트럼(cross-power spectrum), F-1는 역 이산 푸리에 변환(DFT) 연산, rd는 Rd의 역 이산 푸리에 변환, (u,v)는 주파수 영역에서의 변수, (Δx, Δy)는 각각 x 및 y 방향의 변위를 나타낸다
13 13
제 9항에 있어서, 상기 평활화 단계는, 연판정 융합 및 혼화 기법을 이용하여 상기 융합 영상으로부터 복원된 영상 g 및 분할 영역 fR 을 획득하는 단계; 및다음의 수학식 B 내지 E에 의해 상기 복원된 영상 g 및 상기 분할된 영역 fR로부터 적응적으로 혼합된 영상 fA를 얻는 단계;를 포함하는 것을 특징으로 하는 화질 개선 방법:[수학식 B],[수학식 C],[수학식 D],[수학식 E],상기 수학식 B에서 α는 상기 수학식 C에 의해 산출되는 가중 인자이고, 상기 수학식 C에서 β는 α가 0보다 크거나 같고 1보다 작거나 같도록 만들기 위한 튜닝 파라미터(tuning parameter)이고, σ2(x,y)는 상기 수학식 D에 의해 산출되는 국부 분산이며, 상기 수학식 D와 E에서 P 및 Q는 각각 영역의 수직 및 수평 크기이고, S는 (x, y)를 포함하는 사각형 영역이며, mxy는 영역의 국부 평균이다
14 14
제 8항에 있어서, 상기 조리개는 적색, 청색, 및 녹색의 컬러 필터가 각각 적용된 세 개의 개구부를 포함하고, 상기 컬러 채널들 각각은 입사광이 상기 컬러 필터를 통과하면서 생성되는 것을 특징으로 하는 화질 개선 방법
15 15
제 8항 내지 제14항 중 어느 한 항에 기재된 화질 개선 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
패밀리 정보가 없습니다

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US2012093399 US 미국 DOCDBFAMILY
2 US8526722 US 미국 DOCDBFAMILY
국가 R&D 정보가 없습니다.