맞춤기술찾기

이전대상기술

얼굴 표정 인식 기반의 서비스 제공 장치 및 그 방법

  • 기술번호 : KST2018009503
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 얼굴 표정 인식 기반의 서비스 제공 장치 및 그 방법에 관한 것으로, 본 발명에 따른 얼굴 표정 인식을 이용한 서비스 제공 장치는 사용자의 머리를 실시간으로 촬영하는 카메라부, 상기 카메라부의 촬영 영상으로부터 얼굴 영역과 헤어 영역을 구분하여 추출하는 추출부, 상기 얼굴 영역을 지속적으로 추적하여 상기 사용자의 얼굴 변화에 따른 표정을 인식하는 표정 인식부, 상기 헤어 영역을 지속적으로 추적하여 상기 사용자의 헤어 미용이 완료 되었는지 여부를 인식하는 헤어 인식부, 그리고 인식된 표정에 대응하는 제어 신호를 연계된 스마트 미러에 전달하고, 상기 사용자의 헤어 미용 완료를 인식하면, 상기 사용자의 표정을 분석하여 만족도 지수를 생성하는 제어부를 포함한다.본 발명에 따르면, 헤어 미용을 하기 전 사용자의 이미지에 다양한 헤어를 결합하여 사용자에게 제공하고, 헤어 미용에 대한 사용자의 만족도를 측정함으로써, 사용자에게 특화된 서비스를 제공할 수 있다. 또한, 감지된 사용자의 표정에 대응되는 제어 신호를 통해 헤어 미용 과정에서 사용자에게 다양한 콘텐츠와 서비스를 제공할 수 있다.
Int. CL G06Q 30/02 (2012.01.01) G06K 9/00 (2006.01.01) G06K 9/62 (2006.01.01) G06Q 10/10 (2012.01.01) G06T 17/00 (2006.01.01) G06N 3/08 (2006.01.01) G06F 17/18 (2006.01.01)
CPC G06Q 30/0278(2013.01) G06Q 30/0278(2013.01) G06Q 30/0278(2013.01) G06Q 30/0278(2013.01) G06Q 30/0278(2013.01) G06Q 30/0278(2013.01) G06Q 30/0278(2013.01) G06Q 30/0278(2013.01)
출원번호/일자 1020160182277 (2016.12.29)
출원인 재단법인대구경북과학기술원
등록번호/일자
공개번호/일자 10-2018-0077680 (2018.07.09) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2016.12.29)
심사청구항수 6

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 재단법인대구경북과학기술원 대한민국 대구 달성군 현

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이상헌 대한민국 대구광역시 수성구
2 김현덕 대한민국 대구광역시 동구
3 손명규 대한민국 대구광역시 수성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인태백 대한민국 서울 금천구 가산디지털*로 *** 이노플렉스 *차 ***호

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2016.12.29 수리 (Accepted) 1-1-2016-1290473-29
2 선행기술조사의뢰서
Request for Prior Art Search
2017.12.11 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2018.02.04 발송처리완료 (Completion of Transmission) 9-6-2018-0021385-38
4 의견제출통지서
Notification of reason for refusal
2018.02.07 발송처리완료 (Completion of Transmission) 9-5-2018-0093675-16
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2018.04.06 수리 (Accepted) 1-1-2018-0345971-79
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2018.04.06 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0345970-23
7 거절결정서
Decision to Refuse a Patent
2018.08.23 발송처리완료 (Completion of Transmission) 9-5-2018-0575276-85
8 [법정기간연장]기간연장(단축, 경과구제)신청서
2018.09.27 수리 (Accepted) 1-1-2018-0953527-60
9 법정기간연장승인서
2018.10.08 발송처리완료 (Completion of Transmission) 1-5-2018-0155980-16
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2018.12.18 수리 (Accepted) 4-1-2018-5260250-39
11 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.18 수리 (Accepted) 4-1-2020-5134633-04
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
사용자의 머리를 실시간으로 촬영하는 카메라부, 상기 카메라부의 촬영 영상으로부터 얼굴 영역과 헤어 영역을 구분하여 추출하는 추출부, 상기 얼굴 영역을 지속적으로 추적하여 상기 사용자의 얼굴 변화에 따른 표정을 인식하는 표정 인식부, 상기 헤어 영역을 지속적으로 추적하여 상기 사용자의 헤어 미용이 완료 되었는지 여부를 인식하는 헤어 인식부, 그리고인식된 표정에 대응하는 제어 신호를 연계된 스마트 미러에 전달하고, 상기 사용자의 헤어 미용 완료를 인식하면, 상기 사용자의 표정을 분석하여 만족도 지수를 생성하는 제어부를 포함하는 얼굴 표정 인식 기반의 서비스 제공 장치
2 2
제1항에 있어서, 상기 제어부는, 상기 촬영 영상에서 헤어 영역에 가상 헤어가 결합된 3D 모델로 생성하여 상기 스마트 미러에 표시하도록 하고 상기 인식된 표정에 대응되는 제어신호를 통하여 가상 헤어의 스타일, 색상, 길이 중에서 적어도 하나를 변경하는 얼굴 표정 인식 기반의 서비스 제공 장치
3 3
제2항에 있어서, 상기 표정 인식부는,상기 얼굴 영역을 딥러닝을 포함하는 신경망 학습 알고리즘을 이용하여 사용자의 표정을 인식하고, 상기 제어부는, 상기 인식된 표정에 대응하는 콘텐츠 선택, 재생, 볼륨 조절, 채널 변경 중에서 적어도 하나의 제어 신호를 상기 스마트 미러에 전달하는 얼굴 표정 인식 기반의 서비스 제공 장치
4 4
제3항에 있어서, 상기 제어부는, 상기 사용자의 헤어 미용 완료를 인식한 후, 사용자의 인식된 표정으로부터 웃음의 강도를 추출하고 기 저장된 만족도 지수에 따른 웃음의 강도 모델과 비교하여 추출된 웃음의 강도에 따른 만족도 지수를 생성하는 얼굴 표정 인식 기반의 서비스 제공 장치
5 5
제4항에 있어서, 상기 제어부는 유클리디안 거리 또는 엔트로피 또는 마할라노비스의 거리 척도를 이용하여 상기 웃음의 강도 모델과 상기 추출된 웃음의 강도와 비교하는 얼굴 표정 인식 기반의 서비스 제공 장치
6 6
얼굴 표정 인식 기반의 서비스 제공 장치의 서비스 제공 방법에 있어서,카메라부를 통해 사용자의 머리를 실시간으로 촬영하는 단계, 상기 카메라부의 촬영 영상으로부터 얼굴 영역과 헤어 영역을 구분하여 추출하는 단계, 상기 얼굴 영역을 지속적으로 추적하여 상기 사용자의 얼굴 변화에 따른 표정을 인식하는 단계, 인식된 표정에 대응하는 제어 신호를 연계된 스마트 미러에 전달하는 단계,상기 헤어 영역을 지속적으로 추적하여 상기 사용자의 헤어 미용이 완료 되었는지 여부를 인식하는 단계, 그리고상기 사용자의 헤어 미용 완료를 인식하면, 상기 사용자의 표정을 분석하여 만족도 지수를 생성하는 단계를 포함하는 서비스 제공 방법
7 7
제6항에 있어서, 상기 사용자의 얼굴과 헤어를 검출하면, 상기 촬영 영상에서 헤어 영역에 가상 헤어가 결합된 3D 모델로 생성하여 상기 스마트 미러에 표시하도록 하는 단계를 더 포함하고, 상기 스마트 미러에 전달하는 단계는,상기 인식된 표정에 대응되는 제어신호를 통하여 가상 헤어의 스타일, 색상, 길이 중에서 적어도 하나를 변경하는 서비스 제공 방법
8 8
제7항에 있어서, 상기 표정을 인식하는 단계는,상기 얼굴 영역을 딥러닝을 포함하는 신경망 학습 알고리즘을 이용하여 사용자의 표정을 인식하고, 상기 스마트 미러에 전달하는 단계는,상기 인식된 표정에 대응하는 콘텐츠 선택, 재생, 볼륨 조절, 채널 변경 중에서 적어도 하나의 제어 신호를 상기 스마트 미러에 전달하는 서비스 제공 방법
9 9
제8항에 있어서, 상기 만족도 지수를 생성하는 단계는, 상기 사용자의 헤어 미용 완료를 인식한 후, 사용자의 인식된 표정으로부터 웃음의 강도를 추출하고 기 저장된 만족도 지수에 따른 웃음의 강도 모델과 비교하여 추출된 웃음의 강도에 따른 만족도 지수를 생성하는 서비스 제공 방법
10 10
제9항에 있어서, 상기 만족도 지수를 생성하는 단계는 유클리디안 거리 또는 엔트로피 또는 마할라노비스의 거리 척도를 이용하여 상기 웃음의 강도 모델과 상기 추출된 웃음의 강도와 비교하는 서비스 제공 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 재단법인대구경북과학기술원 대구경북과학기술원연구운영비지원(0.5) 인간 중심의 스마트 인터랙션 기술 개발