맞춤기술찾기

이전대상기술

베이비사인 인식 방법, 이를 이용한 양방향 멀티미디어 동화 구현 시스템 및 방법

  • 기술번호 : KST2015112527
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 이 발명은 영, 유아기의 아기가 사용하는 베이비사인의 의미를 인식하는 방법에 관한 것이다. 또한, 이 발명은 이 베이비사인을 인식하여 양방향 멀티미디어 동화를 구현하는 시스템 및 방법에 관한 것이기도 하다.이 발명은 양방향 멀티미디어 동화 구현 시스템은, 서버로부터 멀티미디어 동화 컨텐츠 정보를 수신하는 수신부와; 아기의 영상을 획득하는 카메라영상획득부와; 상기 아기의 영상으로부터 베이비사인을 인식하는 베이비사인 인식부와; 상기 인식된 베이비사인별 의미를 저장하는 인식모델데이터베이스와; 상기 베이비사인 인식부에서 인식된 베이비사인의 의미에 따라 상기 멀티미디어 동화 컨텐츠를 선택하는 화면제어부와; 상기 화면제어부의 제어를 받아 화면에 멀티미디어 동화를 표시하는 디스플레이부를 포함한 것을 특징으로 한다.동화, 베이비사인, 멀티미디어, 인터랙티브, 영유아
Int. CL G06K 9/60 (2006.01) G06K 9/46 (2006.01)
CPC G06K 9/00335(2013.01) G06K 9/00335(2013.01) G06K 9/00335(2013.01) G06K 9/00335(2013.01)
출원번호/일자 1020060051965 (2006.06.09)
출원인 한국과학기술원
등록번호/일자 10-0791362-0000 (2007.12.27)
공개번호/일자 10-2007-0117829 (2007.12.13) 문서열기
공고번호/일자 (20080103) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2006.06.09)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 정성훈 대한민국 경기 부천시 원미구
2 박광현 대한민국 대전 서구
3 변증남 대한민국 서울 성동구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 전영일 대한민국 광주 북구 첨단과기로***번길**, ***호(오룡동)(특허법인세아 (광주분사무소))

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 특허출원서
Patent Application
2006.06.09 수리 (Accepted) 1-1-2006-0406138-13
2 선행기술조사의뢰서
Request for Prior Art Search
2007.01.09 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2007.02.09 수리 (Accepted) 9-1-2007-0008376-25
4 의견제출통지서
Notification of reason for refusal
2007.03.29 발송처리완료 (Completion of Transmission) 9-5-2007-0167685-51
5 지정기간연장신청서
Request for Extension of Designated Period
2007.05.28 수리 (Accepted) 1-1-2007-0387751-24
6 의견서
Written Opinion
2007.06.18 수리 (Accepted) 1-1-2007-0437284-10
7 명세서등보정서
Amendment to Description, etc.
2007.06.18 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2007-0437282-29
8 의견제출통지서
Notification of reason for refusal
2007.09.20 발송처리완료 (Completion of Transmission) 9-5-2007-0510381-34
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2007.10.30 수리 (Accepted) 1-1-2007-0777076-16
10 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2007.10.30 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2007-0777074-14
11 등록결정서
Decision to grant
2007.11.30 발송처리완료 (Completion of Transmission) 9-5-2007-0651162-60
12 출원인정보변경(경정)신고서
Notification of change of applicant's information
2013.02.01 수리 (Accepted) 4-1-2013-5019983-17
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5157968-69
14 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5157993-01
15 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.12.24 수리 (Accepted) 4-1-2014-5158129-58
16 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
17 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
18 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
삭제
2 2
아기의 영상을 촬영하여 컬러 영상 시퀀스를 획득하는 카메라영상획득단계와; 상기 컬러 영상 시퀀스로부터 아기의 손 영역과 얼굴영역을 추적하는 전처리단계와; 상기 추적된 손 영역과 얼굴 영역으로부터 얼굴 요소를 추출하고, 양손의 손궤적 시퀀스와, 얼굴요소와 양손 사이의 상대적 거리 시퀀스와, 손모양 특징 시퀀스를 포함한 특징들을 추출하는 특징추출단계와; 상기 추출된 특징 시퀀스들을 사전에 학습되어 구축된 인식모델데이터베이스에 적용하여 가장 유사도가 높은 베이비사인을 결정하는 베이비사인분류단계를 포함하고,상기 특징추출단계는, 상기 손 영역에 한 손만 존재하면 상기 얼굴영역으로부터 얼굴요소를 추출하여 손에 의한 얼굴 가림 현상이 있는 지를 파악하고, 상기 얼굴 가림 현상이 있으면 손이 상기 얼굴영역을 벗어나는 시점까지 프레임을 시간적으로 역추적하고, 상기 손이 얼굴영역을 벗어나는 시점에서 상기 손모양 특징 시퀀스와 손궤적 시퀀스를 추출하는 것을 특징으로 하는 베이비사인 인식 방법
3 3
제 2 항에 있어서, 상기 전처리단계는,상기 컬러 영상 시퀀스의 RGB 영상에서 살색영역을 추출하고, 손 영역과 얼굴영역을 추출하는 것을 특징으로 하는 베이비사인 인식 방법
4 4
제 3 항에 있어서, 상기 전처리단계는,상기 추출된 손 영역과 얼굴 영역에 대해 상기 손 영역의 색상 변화를 반영하여 HSV 기반 살색 히스토그램을 생성 및 갱신하고, 상기 HSV 기반 살색 히스토그램을 이용하여 상기 살색영역을 추출하는 것을 특징으로 하는 베이비사인 인식 방법
5 5
제 2 항에 있어서, 상기 특징추출단계는,상기 손 영역에 양손이 모두 존재하면 상기 얼굴 영역으로부터 얼굴요소를 추출하고, 상기 손 영역으로부터 손모양 특징 시퀀스와 손궤적 시퀀스를 추출하며, 상기 얼굴요소와 양손 사이의 상대적 거리 시퀀스를 추출하는 것을 특징으로 하는 베이비사인 인식 방법
6 6
삭제
7 7
제 2 항 또는 제 5 항에 있어서, 상기 얼굴 영역으로부터 얼굴요소 추출은,눈과 입의 위치를 템플릿 정합하여 추출하고,상기 눈과 입의 상대적인 위치인 왼쪽/오른쪽 뺨과 코의 위치를 추출하는 것을 특징으로 하는 베이비사인 인식 방법
8 8
제 2 항에 있어서, 상기 베이비사인분류단계는,은닉 마르코프 모델 기반의 인식 네트워크에 적용하여 학습된 모델과 비교하여, 가장 유사도가 높은 베이비사인 단어를 결정하는 것을 특징으로 하는 베이비사인 인식 방법
9 9
서버로부터 멀티미디어 동화 컨텐츠 정보를 수신하여, 베이비사인에 의해 양방향 멀티미디어 동화를 구현하는 시스템에 있어서,상기 서버로부터 멀티미디어 동화 컨텐츠 정보를 수신하는 수신부와;아기의 영상을 촬영하여 컬러 영상 시퀀스를 획득하는 카메라영상획득부와;상기 컬러 영상 시퀀스로부터 베이비사인을 인식하는 베이비사인 인식부와;상기 베이비사인 인식부에서 인식된 베이비사인의 의미에 따라 상기 멀티미디어 동화 컨텐츠를 선택하는 화면제어부와;상기 화면제어부에서 선택된 상기 멀티미디어 동화 컨텐츠를 화면에 표시하는 디스플레이부를 포함한 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 시스템
10 10
제 9 항에 있어서, 상기 화면제어부는,상기 멀티미디어 동화를 구성하는 모든 페이지의 컨텐츠를 저장하는 컨텐츠버퍼와;상기 컨턴츠버퍼에 저장된 멀티미디어 동화 컨텐츠를 페이지별로 각 페이지를 구성하는 배경과 객체들을 구분하여 저장하는 페이지버퍼와;상기 객체별 베이비사인과 액션과의 관계를 정의하여 저장하는 액션버퍼와;상기 베이비사인 인식부에서 인식된 베이비사인의 의미에 따라 상기 객체 및 액션을 선택하여 상기 디스플레이부에 표시하는 선택부를 포함한 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 시스템
11 11
제 9 항에 있어서, 상기 베이비사인 인식부는,상기 컬러 영상 시퀀스로부터 아기의 손 영역과 얼굴영역을 추적하는 전처리부와;상기 추적된 손 영역과 얼굴 영역으로부터 얼굴 요소를 추출하고, 양손의 손궤적 시퀀스와, 얼굴요소와 양손 사이의 상대적 거리 시퀀스와, 손모양 특징 시퀀스를 포함한 특징들을 추출하는 특징추출부와;인식하고자 하는 베이비사인별로 양손의 손궤적 시퀀스와, 얼굴요소와 양손 사이의 상대적 거리 시퀀스와, 손모양 특징 시퀀스를 포함한 특징들을 학습하여 구축한 인식모델데이터베이스와;상기 특징 추출부에서 추출된 특징들을 상기 인식모델데이터베이스에 적용하여 가장 유사도가 높은 베이비사인을 결정하는 베이비사인분류부를 포함한 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 시스템
12 12
서버로부터 멀티미디어 동화 컨텐츠 정보를 수신하여, 베이비사인에 의해 양방향 멀티미디어 동화를 구현하는 방법에 있어서,상기 서버로부터 멀티미디어 동화 컨텐츠 정보를 수신하는 동화수신단계와;아기의 영상을 촬영하여 컬러 영상 시퀀스를 획득하는 카메라영상획득단계와;상기 컬러 영상 시퀀스로부터 베이비사인을 인식하는 베이비사인 인식단계와;상기 베이비사인 인식단계에서 인식된 베이비사인의 의미에 따라 상기 멀티미디어 동화 컨텐츠를 선택하는 화면제어단계와;상기 화면제어단계에서 선택된 상기 멀티미디어 동화 컨텐츠를 화면에 표시하는 디스플레이단계를 포함한 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 방법
13 13
제 12 항에 있어서, 상기 화면제어단계는,상기 멀티미디어 동화를 구성하는 모든 페이지의 컨텐츠를 저장하는 컨텐츠버퍼링단계와;상기 컨턴츠버퍼링단계에 저장된 멀티미디어 동화 컨텐츠를 페이지별로 각 페이지를 구성하는 배경과 객체들을 구분하여 저장하는 페이지버퍼링단계와;상기 객체별 베이비사인과 액션과의 관계를 정의하여 저장하는 액션버퍼링단계와;상기 베이비사인 인식단계에서 인식된 베이비사인의 의미에 따라 상기 객체 및 액션을 선택하는 선택단계를 포함한 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 방법
14 14
제 12 항에 있어서, 상기 베이비사인 인식단계는,상기 컬러 영상 시퀀스로부터 아기의 손 영역과 얼굴영역을 추적하는 전처리단계와;상기 추적된 손 영역과 얼굴 영역으로부터 얼굴 요소를 추출하고, 양손의 손궤적 시퀀스와, 얼굴요소와 양손 사이의 상대적 거리 시퀀스와, 손모양 특징 시퀀스를 포함한 특징들을 추출하는 특징추출단계와;상기 추출된 특징 시퀀스들을 사전에 학습되어 구축된 인식모델데이터베이스에 적용하여 가장 유사도가 높은 베이비사인을 결정하는 베이비사인분류단계를 포함한 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 방법
15 15
제 14 항에 있어서, 상기 전처리단계는,상기 컬러 영상 시퀀스의 RGB 영상에서 살색영역을 추출하고, 손 영역과 얼굴영역을 추출하는 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 방법
16 16
제 15 항에 있어서, 상기 전처리단계는,상기 추출된 손 영역과 얼굴 영역에 대해 상기 손 영역의 색상 변화를 반영하여 HSV 기반 살색 히스토그램을 생성 및 갱신하고, 상기 HSV 기반 살색 히스토그램을 이용하여 상기 살색영역을 추출하는 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 방법
17 17
제 14 항에 있어서, 상기 특징추출단계는,상기 손 영역에 양손이 모두 존재하면 상기 얼굴 영역으로부터 얼굴요소를 추출하고, 상기 손 영역으로부터 손모양 특징 시퀀스와 손궤적 시퀀스를 추출하며, 상기 얼굴요소와 양손 사이의 상대적 거리 시퀀스를 추출하는 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 방법
18 18
제 14 항에 있어서, 상기 특징추출단계는,상기 손 영역에 한 손만 존재하면 상기 얼굴 영역으로부터 얼굴요소를 추출하여 손에 의한 얼굴 가림 현상이 있는 지를 파악하는 단계와,상기 얼굴 가림 현상이 있으면 손이 얼굴영역을 벗어나는 시점까지 프레임을 시간적으로 역추적하는 단계와,상기 손이 얼굴영역을 벗어나는 시점에서 상기 손모양 특징 시퀀스와 손궤적 시퀀스를 추출하는 단계를 포함한 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 방법
19 19
제 17 항 또는 제 18 항에 있어서, 상기 얼굴 영역으로부터 얼굴요소 추출은,눈과 입의 위치를 템플릿 정합하여 추출하고,상기 눈과 입의 상대적인 위치인 왼쪽/오른쪽 뺨과 코의 위치를 추출하는 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 방법
20 20
제 14 항에 있어서, 상기 베이비사인 분류단계는,은닉 마르코프 모델 기반의 인식 네트워크에 적용하여 학습된 모델과 비교하여, 가장 유사도가 높은 베이비사인 단어를 결정하는 것을 특징으로 하는 베이비사인을 이용한 양방향 멀티미디어 동화 구현 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.