맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

얼굴 자세 추정 장치 및 그 방법

  • 기술번호 : KST2015191076
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 얼굴 자세 추정 장치 및 그 방법에 관한 것이다. 본 발명에 따른 얼굴 자세 추정 방법은 입력 영상으로부터 사용자의 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 단계; 상기 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출하는 단계; 및 상기 특징 정보를 기 학습된 분류기에 반영하여 패치 영상의 사용자의 얼굴 자세를 추정하는 단계를 포함한다.이와 같이 본 발명에 따르면, ESCP 전처리 과정 및 NDM 특징 추출을 이용하는 랜덤 포레스트 인식기를 설계함으로써 빅데이터에서도 실시간으로 얼굴 자세 추정이 가능하다.또한, 본 발명은 조명 변화에도 얼굴 자세 추정의 효율을 증대시킴으로써 조명 변화에 강인하다.
Int. CL G06K 9/46 (2006.01) G06T 7/00 (2006.01)
CPC G06K 9/46(2013.01) G06K 9/46(2013.01) G06K 9/46(2013.01)
출원번호/일자 1020130168428 (2013.12.31)
출원인 재단법인대구경북과학기술원
등록번호/일자 10-1515308-0000 (2015.04.20)
공개번호/일자
공고번호/일자 (20150427) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2013.12.31)
심사청구항수 10

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 재단법인대구경북과학기술원 대한민국 대구 달성군 현

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김현덕 대한민국 대구 동구
2 이상헌 대한민국 대구광역시 수성구
3 손명규 대한민국 대구 달서구
4 김동주 대한민국 대구 달성군 현풍면

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인태백 대한민국 서울 금천구 가산디지털*로 *** 이노플렉스 *차 ***호

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 재단법인대구경북과학기술원 대한민국 대구 달성군 현
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2013.12.31 수리 (Accepted) 1-1-2013-1210965-13
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2014.02.03 수리 (Accepted) 1-1-2014-0105250-68
3 선행기술조사의뢰서
Request for Prior Art Search		 2014.12.30 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search		 2015.02.10 수리 (Accepted) 9-1-2015-0008704-85
5 의견제출통지서
Notification of reason for refusal		 2015.02.13 발송처리완료 (Completion of Transmission) 9-5-2015-0107108-10
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2015.03.03 수리 (Accepted) 1-1-2015-0209140-95
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2015.03.03 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2015-0209139-48
8 등록결정서
Decision to grant		 2015.04.14 발송처리완료 (Completion of Transmission) 9-5-2015-0247265-19
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2018.12.18 수리 (Accepted) 4-1-2018-5260250-39
10 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.06.18 수리 (Accepted) 4-1-2020-5134633-04
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
얼굴 자세 추정 장치를 이용한 얼굴 자세 추정 방법에 있어서,입력 영상으로부터 사용자의 얼굴 영역을 검출하는 단계;상기 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 단계;상기 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출하는 단계; 및 상기 특징 정보를 기 학습된 분류기에 반영하여 패치 영상의 사용자의 얼굴 자세를 추정하는 단계를 포함하며,상기 얼굴 자세를 추정하는 단계는,결정 트리 타입의 분류기들을 앙상블 형태로 결합한 랜덤 포레스트 분류기(Random Forest classifier)를 생성하는 데이터 학습단계를 포함하고,상기 데이터 학습 단계는,상기 특징 정보가 추출된 학습 데이터 집합에서 서브 집합을 랜덤하게 선택하는 단계;상기 결정 트리의 각 해당 노드에서 상기 서브 집합을 2개의 군으로 분류하는데 이용될 이진 분리 함수 집합을 랜덤하게 생성하는 단계;상기 이진 분리 함수에 대하여 상기 서브 집합을 상기 해당 노드에서 분기되는 좌측 노드와 우측 노드로 분할 한 뒤, 분할된 정도를 측정하는 정보 이득(Information Gain)을 계산하는 단계;상기 정보 이득 중에서 가장 큰 값을 가지는 이진 분리 함수를 해당 노드에 저장하는 단계; 및상기 이진 분리 함수에 의하여 분할된 좌측 노드 및 우측 노드에 대하여 상기 이진 분리 함수 집합의 생성, 정보 이득 계산 및 이진 분리 함수 저장의 과정을 반복하여 말단 노드를 생성하는 단계를 포함하는 얼굴 자세 추정 방법
2 2
삭제
3 3
삭제
4 4
제 1항에 있어서,상기 랜덤 포레스트 분류기는,상기 서브 집합의 상기 얼굴 영역에 대한 각각의 패치 영상이 입력되면, 상기 패치 영상을 상기 결정 트리의 각 해당 노드에 저장된 이진 분리 함수를 통해 이진 분류하여, 상기 결정 트리의 하위에 존재하는 하위 노드들 중 말단 노드에 각각 최종 도달하도록 하고,상기 이진 분리 함수(BP)는 아래의 수학식과 같이 상기 패치 영상을 구성하는 두 영역 내에 존재하는 각 화소별 NDM의 특징 정보의 평균값 차이를 기 저장된 임계값과 비교하여 이진 분류를 수행하는 얼굴 자세 추정 방법:여기서, R1 및 R2는 상기 패치 영상에서 랜덤하게 선택된 제1 및 제2 서브패치 영역을 나타내고, N1 및 N2는 상기 R1 및 R2의 화소 개수를 나타내고, F는 특징 정보를 나타내고 그리고 t는 상기 임계값을 나타낸다
5 5
제 4항에 있어서,상기 특징 정보를 추출하는 단계는,상기 패치 영상의 특정 화소의 주변에 동일한 화소가 적게 분포하는 특징 정보인 제1 특징 정보; 및상기 패치 영상의 특정 화소의 주변에 동일한 화소가 많이 분포하는 특징 정보인 제2 특징정보가 추출하며, 상기 제1 특징 정보와 제2 특징 정보는 각각 다음의 수학식을 이용하여 추출되는 얼굴 자세 추정 방법:,,,여기서, F1은 상기 제1 특징 정보이고, F2는 상기 제2 특징 정보이며, NDM(i, j|d, a)는 상기 특정 화소를 중심으로 반경(d)안의 주변 화소들 중에서 상기 특정 화소의 화소값과의 차이가 임계 값(a) 이하인 화소들의 개수를 나타내며, i는 상기 특정 화소가 갖는 화소값을 나타내고, j는 상기 주변 화소들의 개수를 나타내며, s는 상기 NDM 에서 상기i에 대응되는 전체 행을 나타내고, t는 상기 NDM 에서 상기 j에 대응되는 전체 열을 각각 나타낸다
6 6
제 5항에 있어서,상기 제 1 특징 정보는 상기 결정 트리의 깊이가 임계값보다 작은 경우에 상기 결정 트리 분할에 사용되고, 상기 제 2 특징 정보는 상기 결정 트리의 깊이가 임계값보다 큰 경우에 상기 결정 트리 분할에 사용되고,상기 정보 이득(Information Gain)은 다음 수학식으로 표현되는 얼굴 자세 추정 방법:여기서, T는 해당 노드, Tl 은 상기 해당 노드에 대한 좌측(L)의 하위 노드 그리고 Tr 은 상기 해당 노드에 대한 우측(R)의 하위 노드를 나타내고, cj는 상기 j 번째 패치 영상의 얼굴 자세 레벨, μl 및 μr 는 상기 하위 노드에 학습된 패치 영상들의 얼굴 자세 라벨의 평균을, NDM(s, t|d, a)는 특정 화소를 중심으로 d반경안의 화소에서 값의 차이가 a보다 작은 것들의 개수를, i는 입력 영상이 갖는 값, j는 상기 특징 정보에 해당하는 이웃 화소의 개수를 각각 나타낸다
7 7
제 6항에 있어서,상기 랜덤 포레스트 분류기는,상기 입력된 패치 영상이 최종 도달한 상기 말단 노드에 기 저장되어 있는 얼굴 자세 라벨들의 분산값이 기 설정된 기준값 이하이면, 상기 말단 노드에 저장된 대표 얼굴 자세 라벨을 추출하여 출력하며,상기 각각의 패치 영상이 개별 도달한 복수의 말단 노드들로부터 출력된 모든 대표 얼굴 자세 라벨들 중에서 최대 빈도로 출력된 얼굴 자세 라벨을 상기 사용자의 현재 얼굴 자세로 추정하는 얼굴 자세 추정 방법
8 8
입력 영상으로부터 사용자의 얼굴 영역을 검출하는 얼굴 영역 검출부;상기 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 영상 전처리부;상기 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출하는 NDM 특징 추출부; 및상기 특징 정보를 기 학습된 분류기에 반영하여 패치 영상의 사용자의 얼굴 자세를 추정하는 얼굴 자세 추정부를 포함하며,상기 얼굴 자세 추정부는,결정 트리 타입의 분류기들을 앙상블 형태로 결합한 랜덤 포레스트 분류기(Random Forest classifier)를 생성하는 분류기 생성부를 포함하고,상기 분류기 생성부는,상기 특징 정보가 추출된 학습 데이터 집합에서 서브 집합을 랜덤하게 선택하는 서브 집합 선택부;상기 결정 트리의 각 해당 노드에서 상기 서브 집합을 2개의 군으로 분류하는데 이용될 이진 분리 함수 집합을 랜덤하게 생성하는 분리 함수 생성부;상기 이진 분리 함수에 대하여 상기 서브 집합을 상기 해당 노드에서 분기되는 좌측 노드와 우측 노드로 분할 한 뒤, 분할된 정도를 측정하는 정보 이득(Information Gain)을 계산하는 트리 생성부;상기 정보 이득 중에서 가장 큰 값을 가지는 이진 분리 함수를 해당 노드에 저장하는 제어부; 및상기 이진 분리 함수에 의하여 분할된 좌측 노드 및 우측 노드에 대하여 상기 이진 분리 함수 집합의 생성, 정보 이득 계산 및 이진 분리 함수 저장의 과정을 반복하여 말단 노드를 생성하는 학습부를 포함하는 얼굴 자세 추정 장치
9 9
삭제
10 10
삭제
11 11
제 8항에 있어서,상기 랜덤 포레스트 분류기는,상기 서브 집합의 상기 얼굴 영역에 대한 각각의 패치 영상이 입력되면, 상기 패치 영상을 상기 결정 트리의 각 해당 노드에 저장된 이진 분리 함수를 통해 이진 분류하여, 상기 결정 트리의 하위에 존재하는 하위 노드들 중 말단 노드에 각각 최종 도달하도록 하고,상기 이진 분리 함수(BP)는 아래의 수학식과 같이 상기 패치 영상을 구성하는 두 영역 내에 존재하는 각 화소별 NDM의 특징 정보의 평균값 차이를 기 저장된 임계값과 비교하여 이진 분류를 수행하는 얼굴 자세 추정 장치:여기서, R1 및 R2는 상기 패치 영상에서 랜덤하게 선택된 제1 및 제2 서브패치 영역을 나타내고, N1 및 N2는 상기 R1 및 R2의 화소 개수를 나타내고, F는 특징 정보를 나타내고 그리고 t는 상기 임계값을 나타낸다
12 12
제 11항에 있어서,상기 NDM 특징 추출부는,상기 패치 영상의 특정 화소의 주변에 동일한 화소가 적게 분포하는 특징 정보인 제1 특징 정보; 및상기 패치 영상의 특정 화소의 주변에 동일한 화소가 많이 분포하는 특징 정보인 제2 특징정보를 추출하며,상기 제1 특징 정보와 제2 특징 정보는 각각 다음의 수학식을 이용하여 추출되는 얼굴 자세 추정 장치:,,,여기서, F1은 상기 제1 특징 정보이고, F2는 상기 제2 특징 정보이며, NDM(i, j|d, a)는 상기 특정 화소를 중심으로 반경(d)안의 주변 화소들 중에서 상기 특정 화소의 화소값과의 차이가 임계 값(a) 이하인 화소들의 개수를 나타내며, i는 상기 특정 화소가 갖는 화소값을 나타내고, j는 상기 주변 화소들의 개수를 나타내며, s는 상기 NDM 에서 상기i에 대응되는 전체 행을 나타내고, t는 상기 NDM 에서 상기 j에 대응되는 전체 열을 각각 나타낸다
13 13
제 12항에 있어서,상기 제 1 특징 정보는 상기 결정 트리의 깊이가 임계값보다 작은 경우에 상기 결정 트리 분할에 사용되고, 상기 제 2 특징 정보는 상기 결정 트리의 깊이가 임계값보다 큰 경우에 상기 결정 트리 분할에 사용되고,상기 정보 이득(Information Gain)은 다음 수학식으로 표현되는 얼굴 자세 추정 장치:여기서, T는 해당 노드, Tl 은 상기 해당 노드에 대한 좌측(L)의 하위 노드 그리고 Tr 은 상기 해당 노드에 대한 우측(R)의 하위 노드를 나타내고, cj는 상기 j 번째 패치 영상의 얼굴 자세 레벨, μl 및 μr 는 상기 하위 노드에 학습된 패치 영상들의 얼굴 자세 라벨의 평균을, NDM(s, t|d, a)는 특정 화소를 중심으로 d반경안의 화소에서 값의 차이가 a보다 작은 것들의 개수를, i는 입력 영상이 갖는 값, j는 상기 특징 정보에 해당하는 이웃 화소의 개수를 각각 나타낸다
14 14
제 13항에 있어서,상기 랜덤 포레스트 분류기는,상기 입력된 패치 영상이 최종 도달한 상기 말단 노드에 기 저장되어 있는 얼굴 자세 라벨들의 분산값이 기 설정된 기준값 이하이면, 상기 말단 노드에 저장된 대표 얼굴 자세 라벨을 추출하여 출력하며,상기 각각의 패치 영상이 개별 도달한 복수의 말단 노드들로부터 출력된 모든 대표 얼굴 자세 라벨들 중에서 최대 빈도로 출력된 얼굴 자세 라벨을 상기 사용자의 현재 얼굴 자세로 추정하는 얼굴 자세 추정 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 대구경북과학기술원 기관고유사업 실감몰입형 Natural Human Interaction 기술개발