맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법

  • 기술번호 : KST2015167312
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 인체 동작 및 얼굴 표정의 모델링 및 인식에 관한 것으로, 인체 동작 모델링 방법에 있어서 비디오 클립에서 추출한 인체 동작의 깊이 및/또는 이진 형상 이미지의 원칙 요소를 획득하는 과정과 상기 원칙 요소를 기반으로 ICA 표현을 획득하는 과정과 상기 ICA 표현을 기반으로 LDA를 통해 피쳐를 결정하는 과정과 벡터 양자화를 이용하여 코드북을 획득하는 과정과 상기 비디오 클립에서 관측 심볼 시퀀스를 결정하는 과정과 상태 천이 및 관측 행렬을 기반으로 HMM을 이용하여 인체 동작을 학습하는 과정을 포함하는 것으로 인체 동작 또는 표정을 인체 또는 얼굴을 부분으로 나누지(segmenting) 않고서도 인식하는 것이 가능한 이점이 있다.human activity recognition, facial expression, HMM, LDA.
Int. CL G06T 17/00 (2006.01)
CPC
출원번호/일자 1020090049744 (2009.06.05)
출원인 삼성전자주식회사, 경희대학교 산학협력단
등록번호/일자 10-1640077-0000 (2016.07.11)
공개번호/일자 10-2010-0131060 (2010.12.15) 문서열기
공고번호/일자 (20160715) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2014.05.15)
심사청구항수 30

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 삼성전자주식회사 대한민국 경기도 수원시 영통구
2 경희대학교 산학협력단 대한민국 경기도 용인시 기흥구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김현수 대한민국 경기도 수원시 영통구
2 이종창 대한민국 경기도 수원시 장안구
3 심대현 대한민국 서울특별시 서초구
4 김태성 대한민국 경기도 용인시 기흥구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 이정순 대한민국 서울특별시 종로구 경희궁길 **, *층 리앤권법률특허사무소 (신문로*가, 서광빌딩)
2 권혁록 대한민국 서울특별시 종로구 경희궁길 **, *층 리앤권법률특허사무소 (신문로*가, 서광빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 삼성전자주식회사 경기도 수원시 영통구
2 경희대학교 산학협력단 경기도 용인시 기흥구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2009.06.05 수리 (Accepted) 1-1-2009-0340627-16
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2009.06.08 수리 (Accepted) 1-1-2009-0343931-06
3 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2012.06.21 수리 (Accepted) 4-1-2012-5132663-40
4 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)		 2014.05.15 수리 (Accepted) 1-1-2014-0455033-21
5 선행기술조사의뢰서
Request for Prior Art Search		 2015.02.10 수리 (Accepted) 9-1-9999-9999999-89
6 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2015.03.09 수리 (Accepted) 4-1-2015-5029677-09
7 선행기술조사보고서
Report of Prior Art Search		 2015.04.10 발송처리완료 (Completion of Transmission) 9-6-2015-0023468-62
8 의견제출통지서
Notification of reason for refusal		 2015.06.29 발송처리완료 (Completion of Transmission) 9-5-2015-0432324-11
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2015.08.31 수리 (Accepted) 1-1-2015-0842759-61
10 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2015.08.31 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2015-0842784-03
11 최후의견제출통지서
Notification of reason for final refusal		 2016.01.28 발송처리완료 (Completion of Transmission) 9-5-2016-0072551-58
12 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2016.03.28 수리 (Accepted) 1-1-2016-0292141-00
13 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2016.03.28 보정승인 (Acceptance of amendment) 1-1-2016-0292148-18
14 등록결정서
Decision to grant		 2016.04.28 발송처리완료 (Completion of Transmission) 9-5-2016-0314717-40
15 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.08.19 수리 (Accepted) 4-1-2019-5164254-26
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
인체 동작 모델링 방법에 있어서,비디오 클립에서 추출한 인체 동작의 깊이 이미지들 및 이진 형상 이미지들의 원칙 요소를 결정하는 과정과,상기 원칙 요소를 기반으로 독립 요소 분석(Independent Component Analysis, ICA) 표현을 결정하는 과정과,상기 ICA 표현을 기반으로 선형 판별 분석(Linear Discriminant Analysis, LDA)를 통해 특징들을 결정하는 과정과,벡터 양자화를 이용하여 코드북을 결정하는 과정과,상기 비디오 클립에서 관측 심볼 시퀀스를 결정하는 과정과,상태 천이 및 관측 행렬을 기반으로 히든 마르코프 모델(Hidden Markov Model, HMM)을 이용하여 인체 동작을 인식하는 과정을 포함하며,상기 인체 동작의 깊이 이미지들은 상기 인체 동작의 이진 형상 이미지들과 서로 다른 것을 특징으로 하는 방법
2 2
제 1항에 있어서,상기 비디오 클립에서 추출된 인체 동작의 깊이 이미지들 및 이진 형상 이미지들의 원칙 요소를 결정하는 과정은,상기 깊이 이미지들 및 이진 형상 이미지들의 인체 표현을 기반으로 전체 이미지를 대표하는 적어도 하나의 원칙 요소를 결정하는 과정을 포함하는 것을 특징으로 하는 방법
3 3
제 1항에 있어서,상기 원칙 요소를 기반으로 ICA 표현을 결정하는 과정은,상기 원칙 요소에서 서로 독립적인 ICA 표현을 결정하는 과정을 포함하는 것을 특징으로 하는 방법
4 4
제 1항에 있어서,상기 ICA 표현을 기반으로 LDA를 통해 특징들을 결정하는 과정은,상기 깊이 이미지들 및 이진 형상 이미지들에서 상기 ICA 표현을 서로 구분하기 위해 상기 ICA 표현의 특징을 강조하는 과정을 포함하는 것을 특징으로 하는 방법
5 5
제 1항에 있어서,상기 벡터 양자화를 이용하여 코드북을 결정하는 과정은,상기 LDA를 통해 결정한 특징들을 상기 벡터 양자화를 이용하여 적어도 하나의 그룹으로 분류하는 과정과,상기 적어도 하나의 분류한 그룹에 코드를 부여하는 과정을 포함하는 것을 특징으로 하는 방법
6 6
제 1항에 있어서,상기 비디오 클립에서 관측 심볼 시퀀스를 결정하는 과정은,상기 코드북의 코드들을 이용하여 상기 비디오 클립의 코드들과 코드 배열 순서를 결정하는 과정을 포함하는 것을 특징으로 하는 방법
7 7
제 1항에 있어서,상기 상태 천이 및 관측 행렬을 기반으로 HMM을 이용하여 인체 동작을 인식하는 과정은,각각의 인체 동작에 대한 상기 HMM을 생성하는 과정과,상기 관측 심볼 시퀀스를 이용하여 각각의 생성된 HMM을 인식하는 과정을 포함하는 것을 특징으로 하는 방법
8 8
제 1항에 있어서,상기 비디오 클립은,상기 상태 천이와 관측 행렬을 기반으로 상기 HMM을 이용하여 표현되는 것을 특징으로 하는 방법
9 9
인체 동작 인식 방법에 있어서,비디오 클립에서 추출한 인체 동작의 깊이 이미지들 및 이진 형상 이미지들의 원칙 요소를 결정하는 과정과,상기 원칙 요소에 기반하여 인체 동작 모델링을 수행하는 과정과,상기 인체 동작 모델링의 출력 값에 따라 사전에 존재하는 동작 모델들 중에서 우도 확률이 최대인 인체 동작 모델을 결정하는 과정을 포함하며,상기 인체 동작의 깊이 이미지들은 상기 인체 동작의 이진 형상 이미지들과 다른 이미지들이고,상기 비디오 클립은 비디오 센서에 기반한 연속적인 이미지들을 포함하는 것을 특징으로 하는 방법
10 10
제 9항에 있어서,상기 인체 동작 모델링의 출력 값에 따라 사전에 존재하는 동작모델들 중에서 우도 확률이 최대인 인체 동작 모델을 결정하는 과정은,인체 동작 HMM 사전으로부터 우도 확률이 최대인 인체 동작 모델을 결정하는 과정을 포함하는 것을 특징으로 하는 방법
11 11
삭제
12 12
삭제
13 13
삭제
14 14
삭제
15 15
삭제
16 16
삭제
17 17
삭제
18 18
삭제
19 19
삭제
20 20
삭제
21 21
인체 동작 모델링 장치에 있어서,비디오 클립을 입력받는 입력부와,상기 비디오 클립에서 추출한 인체 동작의 깊이 이미지들 및 이진 형상 이미지들의 원칙 요소를 결정하고, 상기 원칙 요소를 기반으로 ICA 표현을 결정하고, 상기 ICA 표현을 기반으로 LDA를 통해 특징을 결정하고, 벡터 양자화를 이용하여 코드북을 결정하고, 상기 비디오 클립에서 관측 심볼 시퀀스를 결정하고, 상태 천이 및 관측 행렬을 기반으로 HMM을 이용하여 인체 동작을 인식하는 제어부와,인식 결과를 출력하는 출력부를 포함하며,상기 인체 동작의 깊이 이미지들은 상기 인체 동작의 이진 형상 이미지들과 서로 다른 것을 특징으로 하는 장치
22 22
제 21항에 있어서,상기 제어부는,상기 깊이 이미지들 및 이진 형상 이미지들의 인체 표현을 기반으로 전체 이미지를 대표하는 적어도 하나의 원칙 요소를 결정함으로써,상기 비디오 클립에서 추출된 인체 동작의 깊이 이미지들 및 이진 형상 이미지들의 원칙 요소를 결정하는 것을 특징으로 하는 장치
23 23
제 21항에 있어서,상기 제어부는,상기 원칙 요소에서 서로 독립적인 ICA 표현을 결정함으로써,상기 원칙 요소를 기반으로 ICA 표현을 결정하는 것을 특징으로 하는 장치
24 24
제 21항에 있어서,상기 제어부는,상기 깊이 이미지들 및 이진 형상 이미지들에서 ICA 표현을 서로 구분하기 위해 상기 ICA 표현의 특징을 강조함으로써, 상기 ICA 표현을 기반으로 LDA를 통해 특징들을 결정하는 것을 특징으로 하는 장치
25 25
제 21항에 있어서,상기 제어부는,상기 LDA를 통해 결정한 특징들을 상기 벡터 양자화를 이용하여 적어도 하나의 그룹으로 분류하고 상기 적어도 하나의 분류한 그룹에 코드를 부여함으로써, 상기 벡터 양자화를 이용하여 코드북을 결정하는 것을 특징으로 하는 장치
26 26
제 21항에 있어서,상기 제어부는,상기 코드북의 코드들을 이용하여 상기 비디오 클립의 코드들과 코드 배열 순서를 결정함으로써 상기 비디오 클립에서 관측 심볼 시퀀스를 결정하는 것을 특징으로 하는 장치
27 27
제 21항에 있어서,상기 제어부는,각각의 인체 동작에 대한 상기 HMM을 생성하고, 상기 관측 심볼 시퀀스를 이용하여 각각의 생성된 HMM을 인식함으로써 상기 상태 천이 및 관측 행렬을 기반으로 HMM을 이용하여 인체 동작을 인식하는 것을 특징으로 하는 장치
28 28
제 21항에 있어서,상기 비디오 클립은,상기 상태 천이와 관측 행렬을 기반으로 상기 HMM을 이용하여 표현되는 것을 특징으로 하는 장치
29 29
인체 동작 인식 장치에 있어서,비디오 클립을 입력받는 입력부와,상기 비디오 클립에서 추출한 인체 동작의 깊이 이미지들 및 이진 형상 이미지들의 원칙 요소를 결정하고, 상기 원칙 요소에 기반하여 인체 동작 모델링을 수행하고, 상기 인체 동작 모델링의 출력 값에 따라 사전에 존재하는 동작 모델들 중에서 우도 확률이 최대인 인체 동작 모델을 결정하는 제어부와,상기 결정된 인체 동작 모델을 출력하는 출력부를 포함하며,상기 인체 동작의 깊이 이미지들은 상기 인체 동작의 이진 형상 이미지들과 다른 이미지들이고,상기 비디오 클립은 비디오 센서에 기반한 연속적인 이미지들을 포함하는 것을 특징으로 하는 장치
30 30
제 29항에 있어서,상기 제어부는,인체 동작 HMM 사전으로부터 우도 확률이 최대화인 인체 동작 모델을 결정함으로써 상기 인체 동작 모델링의 출력 값에 따라 사전에 존재하는 동작 모델들 중에서 우도 확률이 최대인 인체 동작 모델을 결정하는 것을 특징으로 하는 장치
31 31
삭제
32 32
삭제
33 33
삭제
34 34
삭제
35 35
삭제
36 36
삭제
37 37
삭제
38 38
삭제
39 39
삭제
40 40
삭제
41 41
제9항에 있어서,상기 비디오 클립에서 추출한 인체 동작의 깊이 이미지들 및 이진 형상 이미지들의 원칙 요소를 결정하는 과정은,상기 깊이 이미지들 및 이진 형상 이미지들의 인체 표현에 기반하여 전체 이미지를 대표하는 적어도 한 원칙 요소를 결정하는 과정을 포함하는 것을 특징으로 하는 방법
42 42
제9항에 있어서,상기 비디오 클립은 상태 천이 및 관측 행렬에 기반으로 한 HMM을 이용하여 표현되는 것을 특징으로 하는 방법
43 43
제9항에 있어서,상기 원칙 요소에 기반하여 인체 동작 모델링을 수행하는 과정은,상기 원칙 요소에 기반으로 한 ICA 표현을 결정하는 과정과, 상기 ICA 표현을 기반으로 한 LDA를 통해 특징들을 결정하는 과정과, 벡터 양자화를 이용하여 코드북을 결정하는 과정과, 상기 비디오 클립에서 관측 심볼 시퀀스를 결정하는 과정과, 상태 천이 및 관측 행렬을 기반으로 한 HMM을 이용하여 인체 동작을 인식하는 과정을 포함하는 것을 특징으로 하는 방법
44 44
제43항에 있어서,상기 원칙 요소에 기반으로 한 ICA 표현을 결정하는 과정은상기 원칙 요소에서 독립적인 ICA 표현을 결정하는 과정을 포함하는 것을 특징으로 하는 방법
45 45
제43항에 있어서,상기 ICA 표현을 기반으로 한 LDA를 통해 특징들을 결정하는 과정은, 상기 깊이 이미지들 및 이진 형상 이미지들에서 ICA 표현을 구분하기 위해 상기 ICA 표현의 특징을 강조하는 과정을 포함하는 것을 특징으로 하는 방법
46 46
제43항에 있어서,상기 벡터 양자화를 이용하여 코드북을 결정하는 과정은,상기 벡터 양자화를 이용하여 상기 결정된 특징들을 상기 LDA를 통해 적어도 한 그룹으로 분류하는 과정과,상기 적어도 한 분류된 그룹에 코드를 부여하는 과정을 포함하는 것을 특징으로 하는 방법
47 47
제43항에 있어서,상기 비디오 클립에서 관측 심볼 시퀀스를 결정하는 과정은,상기 코드북의 코드들을 이용하여 상기 비디오 클립의 코드들과 코드 배열 순서를 결정하는 과정을 포함하는 것을 특징으로 하는 방법
48 48
제29항에 있어서,상기 제어부는상기 깊이 이미지들 및 이진 형상 이미지들의 인체 표현을 기반으로 전체 이미지를 대표하는 적어도 하나의 원칙 요소를 결정함으로써, 상기 비디오 클립에서 추출된 인체 동작의 깊이 이미지들 및 이진 형상 이미지들의 원칙 요소를 결정하는 것을 특징으로 하는 장치
49 49
제29항에 있어서,상기 비디오 클립은 상태 천이 및 관측 행렬을 기반으로 한 HMM을 이용하여 표현되는 것을 특징으로 하는 장치
50 50
제29항에 있어서,상기 제어부는, 상기 원칙 요소에 기반한 ICA 표현을 결정하고, 상기 ICA 표현에 기반한 LDA를 통해 특징을 결정하고, 벡터 양자화를 이용하여 코드북을 결정하고, 상기 비디오 클립에서 관측 심볼 시퀀스를 결정하고, 상태 천이 및 관측 행렬에 기반한 HMM을 이용하여 인체 동작을 인식하는 것을 특징으로 하는 장치
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US08755593 US 미국 FAMILY
2 US09489568 US 미국 FAMILY
3 US20100310157 US 미국 FAMILY
4 US20140294295 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US2010310157 US 미국 DOCDBFAMILY
2 US2014294295 US 미국 DOCDBFAMILY
3 US8755593 US 미국 DOCDBFAMILY
4 US9489568 US 미국 DOCDBFAMILY
국가 R&D 정보가 없습니다.