맞춤기술찾기

이전대상기술

적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법

  • 기술번호 : KST2019033802
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명에 의한 국소 특징 기반 적응형 결정 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법이 개시된다. 본 발명에 따른 얼굴 표정을 인식하기 위한 장치는영상을 입력 받으면, 입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하는 영역 분할부; 분할된 상기 다수의 국소 영역들 각각에서 표정 특징들을 추출하는 특징 추출부; 기 생성된 랜덤 포레스트를 기반으로 상기 추출된 표정 특징을 이용하여 상기 입력받은 영상에서 얼굴 표정을 인식하는 얼굴 인식부; 및 인식된 상기 얼굴 표정에 대한 국소 영역과 회귀 벡터를 이용하여 표정의 유사도를 산출하여 산출된 상기 유사도에 따라 얼굴 표정의 재 인식 여부를 결정하는 피드백부를 포함하되, 여기서, 상기 랜덤 포레스트는 상기 표정 특징의 집합에 대한 다수의 결정 트리로 구성되고, 상기 랜덤 포레스트를 구성하는 각 결정 트리는 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복적으로 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 결과로 생성된 것을 특징으로 한다.
Int. CL G06K 9/00 (2006.01.01) G06K 9/62 (2006.01.01)
CPC G06K 9/00221(2013.01) G06K 9/00221(2013.01) G06K 9/00221(2013.01) G06K 9/00221(2013.01)
출원번호/일자 1020160041242 (2016.04.04)
출원인 연세대학교 산학협력단
등록번호/일자 10-1784418-0000 (2017.09.27)
공개번호/일자
공고번호/일자 (20171011) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2016.04.04)
심사청구항수 12

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이상윤 대한민국 서울특별시 서초구
2 반유석 대한민국 서울특별시 서대문구
3 이민규 대한민국 경기도 고양시 덕양구
4 오지훈 대한민국 서울특별시 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인우인 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 서울특별시 서대문구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2016.04.04 수리 (Accepted) 1-1-2016-0324989-84
2 선행기술조사의뢰서
Request for Prior Art Search
2016.12.12 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2017.02.08 발송처리완료 (Completion of Transmission) 9-6-2017-0019600-23
4 의견제출통지서
Notification of reason for refusal
2017.02.10 발송처리완료 (Completion of Transmission) 9-5-2017-0104384-59
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2017.04.10 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-0347019-40
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2017.04.10 수리 (Accepted) 1-1-2017-0347018-05
7 등록결정서
Decision to grant
2017.08.30 발송처리완료 (Completion of Transmission) 9-5-2017-0607192-09
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
영상을 입력받으면, 입력받은 상기 영상에 포함된 얼굴 영역에서 기 설정된 파라미터를 기반으로 다수의 국소 영역들을 분할하는 영역 분할부;분할된 상기 다수의 국소 영역들 각각에서 표정 특징들을 추출하는 특징 추출부;기 생성된 랜덤 포레스트를 기반으로 상기 추출된 표정 특징을 이용하여 상기 입력받은 영상에서 얼굴 표정을 인식하는 얼굴 인식부; 및인식된 상기 얼굴 표정에 대한 국소 영역과 회귀 벡터를 이용하여 표정의 유사도를 산출하여 산출된 상기 유사도에 따라 상기 국소 영역들의 위치를 변경하여 상기 국소 영역들을 재 검출하는 피드백부;를 포함하되, 여기서, 상기 랜덤 포레스트는 상기 표정 특징의 집합에 대한 다수의 결정 트리로 구성되고,상기 랜덤 포레스트를 구성하는 각 결정 트리는 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복적으로 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 결과로 생성되며,상기 피드백부는,입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하여 분할된 상기 다수의 국소 영역들 각각에서 표정 특징을 추출하고,분할된 상기 국소 영역들을 기 생성된 랜덤 포레스트를 구성하는 각 결정 트리로부터 얻은 표정 라벨별로 분류하며,상기 랜덤 포레스트를 구성하는 결정 트리에 의해 선택된 표정 특징에 상응하는 국소 영역의 조합을 이용하여 상기 국소 영역과 표정 라벨 간 상관관계를 나타내는 회귀 벡터를 생성하며,상기 선택된 표정 특징에 상응하는 상기 국소 영역을 벡터화하여 상기 회귀 벡터와 내적한 값인 상기 유사도가 미리 설정된 임계치 미만이면, 상기 얼굴 영역의 상기 파라미터를 초기화하고 상기 국소 영역들의 위치를 변경하여 상기 국소 영역들을 재 검출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치
2 2
삭제
3 3
제1 항에 있어서,상기 특징 추출부는,LBP(Local Binary Pattern) 알고리즘, LBP 알고리즘인 ULBP(Uniform LBP) 알고리즘, 고유 얼굴(eigenface) 알고리즘 중 어느 하나를 이용하여 다수의 국소 영역들 각각에서 표정 특징을 추출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치
4 4
제1 항에 있어서, 입력 받은 상기 영상에서 추출된 표정 특징의 집합으로부터 배깅 방법을 이용하여 2개 이상의 기 설정된 수의 표정 특징 집합을 재생성한 후 각각의 재생성된 표정 특집 집합에 대한 결정 트리로 구성된 랜덤 포레스트를 생성하는 포레스트 생성부; 를 더 포함하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치
5 5
삭제
6 6
제4 항에 있어서,상기 포레스트 생성부는,추출된 표정 특징별로 모든 얼굴 표정들을 두 가지의 표정 조합으로 분류하여 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하고,산출된 상기 정인식 수를 기반으로 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 해당 부류 각각에 대한 표정 특징을 결정하되, 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 반복 수행하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치
7 7
제6 항에 있어서,상기 포레스트 생성부는,추출된 상기 표정 특징들 각각에서 얼굴 표정 분류에 대한 정인식 여부를 판별하기 위한 판별 특징을 추출하면서 추출된 표정 특징별로 모든 얼굴 표정을 두 가지의 표정 조합으로 분류한 후, 추출된 상기 판별 특징을 기반으로 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치
8 8
제7 항에 있어서,상기 포레스트 생성부는,추출된 표정 특징별로 LDA(Linear Discriminant Analysis), SVM(Support Vector Machine) 중 적어도 하나를 적용하여 상기 판별 특징을 추출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치
9 9
제6 항에 있어서,상기 포레스트 생성부는,상기 분류한 각 표정 조합에 대해 산출된 상기 정인식 수의 합의 평균이 최대가 되도록 하는 표정 조합을 찾아 그 찾은 표정 조합을 기반으로 얼굴 표정들을 두 개의 부류로 분류하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치
10 10
삭제
11 11
삭제
12 12
영상을 입력받으면, 입력받은 상기 영상에 포함된 얼굴 영역에서 기 설정된 파라미터를 기반으로 다수의 국소 영역들을 분할하는 영역 분할단계;분할된 상기 다수의 국소 영역들 각각에서 표정 특징들을 추출하는 특징 추출단계;기 생성된 랜덤 포레스트를 기반으로 상기 추출된 표정 특징을 이용하여 상기 입력 영상에서 얼굴 표정을 인식하는 얼굴 인식단계; 및인식된 상기 얼굴 표정에 대한 국소 영역과 회귀 벡터를 이용하여 표정의 유사도를 산출하여 산출된 상기 유사도에 따라 상기 국소 영역들의 위치를 변경하여 상기 국소 영역들을 재 검출하는 피드백 단계;를 포함하되, 여기서, 상기 랜덤 포레스트는 상기 표정 특징의 집합에 대한 다수의 결정 트리로 구성되고,상기 랜덤 포레스트를 구성하는 각 결정 트리는 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복적으로 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 결과로 생성되며,상기 피드백 단계는,입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하여 분할된 상기 다수의 국소 영역들 각각에서 표정 특징을 추출하고,분할된 상기 국소 영역들을 기 생성된 랜덤 포레스트를 구성하는 각 결정 트리로부터 얻은 표정 라벨별로 분류하며,상기 랜덤 포레스트를 구성하는 결정 트리에 의해 선택된 표정 특징에 상응하는 국소 영역의 조합을 이용하여 상기 국소 영역과 표정 라벨 간 상관관계를 나타내는 회귀 벡터를 생성하며,상기 선택된 표정 특징에 상응하는 상기 국소 영역을 벡터화하여 상기 회귀 벡터와 내적한 값인 상기 유사도가 미리 설정된 임계치 미만이면, 상기 얼굴 영역의 상기 파라미터를 초기화하고 상기 국소 영역들의 위치를 변경하여 상기 국소 영역들을 재 검출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법
13 13
삭제
14 14
제12 항에 있어서,입력 받은 상기 영상에서 추출된 표정 특징의 집합으로부터 배깅 방법을 이용하여 2개 이상의 기 설정된 수의 표정 특징 집합을 재생성한 후 각각의 재생성된 표정 특집 집합에 대한 결정 트리로 구성된 랜덤 포레스트를 생성하는 포레스트 생성단계;를 더 포함하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법
15 15
삭제
16 16
제14 항에 있어서,상기 포레스트 생성단계는,추출된 표정 특징별로 모든 얼굴 표정들을 두 가지의 표정 조합으로 분류하여 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하고,산출된 상기 정인식 수를 기반으로 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 해당 부류 각각에 대한 표정 특징을 결정하되, 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 반복 수행하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법
17 17
제16 항에 있어서,상기 포레스트 생성단계는,추출된 상기 표정 특징들 각각에서 얼굴 표정 분류에 대한 정인식 여부를 판별하기 위한 판별 특징을 추출하면서 추출된 표정 특징별로 모든 얼굴 표정을 두 가지의 표정 조합으로 분류한 후, 추출된 상기 판별 특징을 기반으로 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법
18 18
제16 항에 있어서,상기 포레스트 생성단계는,상기 분류한 각 표정 조합에 대해 산출된 상기 정인식 수의 합의 평균이 최대가 되도록 하는 표정 조합을 찾아 그 찾은 표정 조합을 기반으로 얼굴 표정들을 두 개의 부류로 분류하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법
19 19
삭제
20 20
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 연세대학교 산학협력단 감성기반 사용자 맞춤형 UI/UX 방송시스템 기술개발 사용자 감성정보 획득을 위한 표정 및 제스처 연구