맞춤기술찾기

이전대상기술

멀티모달 지각을 이용한 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법(USER INTENTION DETECTION SYSTEM FOR INITIATION OF INTERACTION BASED ON MULTI-MODAL PERCEPTION AND A METHOD USING THE SAME)

  • 기술번호 : KST2018005050
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 멀티모달 지각을 이용한 사용자의 상호작용 의도 검출 시스템 및 이를 이용한 사용자의 상호작용 의도 검출 방법에서, 상기 상호작용 의도 검출시스템은 센서부, 신호 처리부, 멀티모달 지각부, 사용자 성격 입력부 및 사용자 의도 판단부를 포함한다. 상기 센서부는 로봇에 장착된 로봇 센서부, 및 로봇의 외부에 장착된 외부 센서부를 포함하여 사용자의 정보를 센싱한다. 상기 신호 처리부는 상기 센싱된 사용자의 정보에 관한 센싱 신호를 처리한다. 상기 멀티모달 지각부는 상기 처리된 센싱 신호를 선택적으로 분류하여, 사용자, 사용자 위치, 감정상태 및 대화의미를 파악한다. 상기 사용자 성격 입력부는 사용자의 성격에 관한 정보가 제공된다. 상기 사용자 의도 판단부는 상기 멀티모달 지각부에서 파악된 정보와, 상기 사용자 성격에 관한 정보를 바탕으로 사용자의 상기 로봇과의 상호작용의 의도를 판단한다.
Int. CL G06F 3/01 (2006.01.01) G06F 3/16 (2018.01.01) G06F 3/0346 (2013.01.01) B25J 11/00 (2006.01.01) B25J 19/02 (2006.01.01) B25J 9/16 (2006.01.01) G10L 25/63 (2013.01.01) G10L 15/22 (2006.01.01) G06K 9/00 (2006.01.01)
CPC G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01) G06F 3/011(2013.01)
출원번호/일자 1020160142070 (2016.10.28)
출원인 한국과학기술연구원
등록번호/일자
공개번호/일자 10-2018-0046649 (2018.05.09) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2016.10.28)
심사청구항수 2

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술연구원 대한민국 서울특별시 성북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김동환 대한민국 서울특별시 성북구
2 이은영 대한민국 서울특별시 성북구
3 임윤섭 대한민국 서울특별시 성북구
4 최종석 대한민국 서울특별시 성북구
5 김창환 대한민국 서울특별시 성북구
6 박성기 대한민국 서울특별시 성북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김민태 대한민국 서울특별시 강남구 논현로 ***, *층 **세기특허법률사무소 (역삼동, 세일빌딩)
2 박영우 대한민국 서울특별시 강남구 논현로 ***, *층 **세기특허법률사무소 (역삼동, 세일빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2016.10.28 수리 (Accepted) 1-1-2016-1053760-81
2 의견제출통지서
Notification of reason for refusal
2017.10.26 발송처리완료 (Completion of Transmission) 9-5-2017-0742975-19
3 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2017.12.26 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-1289470-03
4 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2017.12.26 수리 (Accepted) 1-1-2017-1289471-48
5 거절결정서
Decision to Refuse a Patent
2018.05.29 발송처리완료 (Completion of Transmission) 9-5-2018-0361860-21
6 [명세서등 보정]보정서(재심사)
Amendment to Description, etc(Reexamination)
2018.06.26 보정승인 (Acceptance of amendment) 1-1-2018-0625380-96
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2018.06.26 수리 (Accepted) 1-1-2018-0625381-31
8 거절결정서
Decision to Refuse a Patent
2018.07.20 발송처리완료 (Completion of Transmission) 9-5-2018-0492718-95
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
로봇에 장착된 로봇 센서부, 및 로봇의 외부에 장착된 외부 센서부를 포함하여 사용자의 정보를 센싱하는 센서부; 상기 센싱된 사용자의 정보에 관한 센싱 신호를 처리하는 신호 처리부; 상기 처리된 센싱 신호를 선택적으로 분류하여, 사용자, 사용자 위치, 감정상태 및 대화의미를 파악하는 멀티모달 지각부; 사용자의 성격에 관한 정보가 제공되는 사용자 성격 입력부; 및상기 멀티모달 지각부에서 파악된 정보와, 상기 사용자 성격에 관한 정보를 바탕으로 사용자의 상기 로봇과의 상호작용의 의도를 판단하는 사용자 의도 판단부를 포함하는 상호작용 의도 검출시스템
2 2
제1항에 있어서, 상기 로봇 센서부는, 사용자의 음성 정보를 센싱하는 로봇 오디오 센서, 및 사용자의 영상 정보를 센싱하는 로봇 비전 센서를 포함하고, 상기 외부 센서부는, 사용자가 위치한 공간에 설치되어 사용자의 위치 정보를 센싱하는 외부 비전 센서, 및 사용자에 장착되어 사용자의 생체 정보를 센싱하는 생체신호 센서를 포함하는 것을 특징으로 하는 상호작용 의도 검출시스템
3 3
제2항에 있어서, 상기 신호처리부는, 상기 로봇 오디오 센서로부터의 센싱 신호를 처리하는 오디오센서 처리부; 상기 로봇 비전 센서로부터의 센싱 신호를 처리하는 로봇 비전센서 처리부; 상기 외부 비전 센서로부터의 센싱 신호를 처리하는 외부 비전센서 처리부; 및상기 생체신호 센서로부터의 센싱 신호를 처리하는 생체센서 처리부를 포함하는 것을 특징으로 하는 상호작용 의도 검출시스템
4 4
제3항에 있어서, 상기 멀티모달 지각부는, 상기 신호처리부에서 처리된 신호들 중, 사용자를 식별할 수 있는 신호를 바탕으로 사용자를 식별하거나, 사용자의 위치를 식별할 수 있는 신호를 바탕으로 사용자의 위치를 식별하거나, 사용자의 감정상태를 식별할 수 있는 신호를 바탕으로 사용자의 감정상태를 식별하거나, 사용자의 대화 의미를 파악할 수 있는 신호를 바탕으로 사용자의 대화 의미를 분석하는 것을 특징으로 하는 상호작용 의도 검출시스템
5 5
제4항에 있어서, 상기 사용자 의도 판단부는, 상기 멀티모달 지각부로부터의 사용자 식별 정보, 사용자 위치 식별 정보, 사용자 감정상태 식별 정보 및 사용자 대화의미 분석 정보와, 상기 사용자 성격 입력부에서 입력된 사용자 성격에 관한 정보를 바탕으로 사용자가 상기 로봇과 상호작용을 시작하려는 의도가 있는지의 여부를 판단하는 것을 특징으로 하는 상호작용 의도 검출시스템
6 6
제3항에 있어서, 상기 오디오센서 처리부는, 신호 처리를 통해, 사용자의 음성을 인식하거나, 사용자의 음원의 위치를 인식하거나, 사용자의 발화 톤을 인식하거나, 사용자의 발화 음압을 인식하는 것을 특징으로 하는 상호작용 의도 검출시스템
7 7
제3항에 있어서, 상기 로봇 비전센서 처리부는, 신호 처리를 통해, 사용자 얼굴을 검출 또는 인식하거나, 사용자의 표정을 인식하거나, 사용자의 동작을 인식하는 것을 특징으로 하는 상호작용 의도 검출시스템
8 8
제3항에 있어서, 외부 비전센서 처리부는, 신호 처리를 통해, 사용자의 위치를 검출하거나 추적하는 것을 특징으로 하는 상호작용 의도 검출시스템
9 9
제3항에 있어서, 생체센서 처리부는, 신호 처리를 통해, 사용자의 심박수를 측정하거나, 사용자의 자이로(Gyro) 신호를 측정하거나, 사용자의 체온을 측정하거나, 사용자의 전류 피부반응을 측정하는 것을 특징으로 하는 상호작용 의도 검출시스템
10 10
제6항 내지 제9항 중 적어도 한 항에 있어서, 상기 멀티모달 지각부는, 사용자의 음성 인식 결과로부터 사용자의 대화 의미를 분석하고, 사용자의 발화 톤 인식, 사용자의 발화 음압 인식 및 사용자의 얼굴 검출 또는 인식 결과들 중 적어도 하나로부터 사용자를 식별하고, 사용자의 음원 위치 인식, 사용자의 위치 검출 또는 추적 결과들 중 적어도 하나로부터 사용자의 위치를 식별하고, 사용자의 발화 톤 인식, 사용자의 발화 음압 인식, 사용자의 표정 인식, 사용자의 동작 인식, 사용자의 심박수 측정, 사용자의 자이로 신호 측정, 사용자의 체온 측정, 사용자의 전류 피부반응 측정 결과들 중 적어도 하나로부터 사용자의 감정상태를 식별하는 것을 특징으로 하는 상호작용 의도 검출시스템
11 11
로봇에 장착된 로봇 센서부, 및 로봇의 외부에 장착된 외부 센서부를 포함하는 센서부를 통해 사용자의 정보를 센싱하는 단계;상기 센싱된 사용자의 정보에 관한 센싱 신호를 처리하는 단계;상기 처리된 센싱 신호를 선택적으로 분류하여, 사용자, 사용자 위치, 감정상태 및 대화의미를 파악하는 단계;사용자의 성격에 관한 정보를 제공받는 단계; 및상기 처리된 센싱 신호로부터 파악된 정보와 상기 사용자의 성격에 관한 정보로부터 사용자의 상기 로봇과의 상호작용 의도를 판단하는 단계를 포함하는 상호작용 의도 검출방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 한국과학기술연구원 미래선도형융합연구단사업 치매환자 지원 라이프케어 로봇개발