맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

스테레오 카메라를 이용한 3차원 비전 기반의 실시간 언어 인식 및 음성 생성 방법과 시스템

  • 기술번호 : KST2014033353
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 스테레오 영상기술을 사용한 언어 인식 및 음성 생성 방법 및 이러한 방법을 사용하는 시스템에 관한 것이다. 본 발명에 따른 언어 인식 및 음성 생성 방법은, 피사체를 촬영한 일련의 좌 이미지 및 우 이미지를 제공하는 스테레오(stereo) 이미지(image) 제공 단계, 상기 스테레오 이미지 제공부로부터 제공받은 상기 좌 이미지 및 상기 우 이미지에 기반하여 3D 이미지를 생성하고 출력하는 비전(vision) 처리(processing) 단계, 상기 3D 이미지에 기반하여 상기 피사체가 의도하였던 언어를 언어 텍스트(text)로 구성하여 출력하는 언어 인식 단계 및 상기 언어 텍스트를 입력받아 상기 텍스트를 음성으로 변환하여 출력하는 음성 생성 단계를 포함하는 것을 특징으로 한다.
Int. CL G10L 15/26 (2013.01) G10L 13/08 (2013.01) G10L 15/24 (2013.01)
CPC G10L 15/24(2013.01)G10L 15/24(2013.01)G10L 15/24(2013.01)G10L 15/24(2013.01)G10L 15/24(2013.01)G10L 15/24(2013.01)G10L 15/24(2013.01)
출원번호/일자 1020100025470 (2010.03.22)
출원인 한국과학기술연구원
등록번호/일자 10-1074817-0000 (2011.10.12)
공개번호/일자 10-2011-0106197 (2011.09.28) 문서열기
공고번호/일자 (20111019) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2010.03.22)
심사청구항수 16

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술연구원 대한민국 서울특별시 성북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 윤인찬 대한민국 서울특별시 광진구
2 최귀원 대한민국 서울 동대문구
3 서준교 미국 서울시 서초구
4 추준욱 대한민국 충청북도 청원군
5 권익찬 대한민국 서울특별시 노원구
6 김광명 대한민국 서울 구로구
7 최승호 대한민국 서울특별시 강남구
8 김상윤 대한민국 서울특별시 송파구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 박장원 대한민국 서울특별시 강남구 강남대로 ***, *층~*층 (논현동, 비너스빌딩)(박장원특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술연구원 대한민국 서울특별시 성북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2010.03.22 수리 (Accepted) 1-1-2010-0181170-25
2 선행기술조사의뢰서
Request for Prior Art Search		 2011.01.12 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2011.02.21 수리 (Accepted) 9-1-2011-0016575-75
4 의견제출통지서
Notification of reason for refusal		 2011.03.31 발송처리완료 (Completion of Transmission) 9-5-2011-0176173-25
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2011.04.22 수리 (Accepted) 1-1-2011-0303400-06
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2011.04.22 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2011-0303405-23
7 등록결정서
Decision to grant		 2011.09.30 발송처리완료 (Completion of Transmission) 9-5-2011-0563546-29
8 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.02.19 수리 (Accepted) 4-1-2014-5022002-69
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
피사체를 촬영한 일련의 좌 이미지 및 우 이미지를 제공하는 스테레오(stereo) 이미지(image) 제공부;상기 스테레오 이미지 제공부로부터 제공받은 상기 좌 이미지 및 상기 우 이미지에 기반하여 3D 이미지를 생성하고 출력하는 비전(vision) 처리(processing)부;상기 3D 이미지에 기반하여 상기 피사체가 의도하였던 언어를 언어 텍스트(text)로 구성하여 출력하는 언어 인식부; 및상기 언어 텍스트를 입력받아 상기 텍스트를 음성으로 변환하여 출력하는 음성 생성부를 포함하고;상기 비전 처리부는,상기 좌 이미지 및 상기 우 이미지에 대한 X, Y 및 Z 축(axis)들의 변화도를 산출하고, 상기 좌 이미지 및 상기 우 이미지에 대한 절대차의 총합(sum of absolute difference)를 산출하고, 상기 좌 이미지 및 상기 우 이미지에 대한 특징 추출을 수행하고, 상기 좌 이미지 및 상기 우 이미지에 대한 스테레오 정합(matching) 과정을 수행하고, 상기 스테레오 정합 과정에 기반하여 픽셀의 거리 또는 깊이 정보를 산출하는 스테레오 정합부를 포함하고,상기 특징 추출은, 상기 좌 이미지 및 상기 우 이미지에 대해 모든 픽셀의 RGB 값의 차이(difference) 및 변화분(gradient)을 산출하고,상기 스테레오 정합은 상기 좌 이미지 및 상기 우 이미지의 각 픽셀에 대해 상기 차이 및 상기 변화분이 미리 정의된 특정 임계치 이하인 것을 동일 픽셀(corresponding pixel)로 정합하는 것이고,상기 픽셀의 거리 또는 깊이 정보는 상기 동일 픽셀의 위치차이(disparity)에 기반하여 산출되고,상기 차이 및 상기 변화분의 산출은 하나의 이미지에 대해서 다른 이미지를 이동(shift) 연산하는 것에 기반하고,상기 위치차이는 상기 이동연산의 차수(order)인 것을 특징으로 하는 언어 인식 및 음성 생성 시스템
2 2
제 1항에 있어서, 상기 스테레오 이미지 제공부는상기 피사체의 좌편 및 우편에서 이미지를 촬영하여 출력하는 스테레오 카메라들; 및상기 이미지를 입력받아, 상기 좌 이미지 및 상기 우 이미지로 변환하여 출력하는 이미지 취득부를 포함하는 것을 특징으로 하는 언어 인식 및 음성 생성 시스템
3 3
삭제
4 4
삭제
5 5
삭제
6 6
제 1항에 있어서, 상기 비전 처리부는,상기 좌 이미지 및 상기 우 이미지 외의 피사체에 관련된 다른 정보에 기반하여 상기 3D 이미지를 필터링하는 필터링부를 더 포함하고,상기 비전 처리부의 출력인 상기 3D 이미지는 상기 필터링부에 의해 필터링된 3D 이미지인 것을 특징으로 하는 언어 인식 및 음성 생성 시스템
7 7
제 6항에 있어서, 상기 다른 정보는,상기 피사체의 안면부 좌표값인 것을 특징으로 하는 언어 인식 및 음성 생성 시스템
8 8
제 1항에 있어서, 상기 언어 인식부는,상기 3D 이미지에 기반하여 상기 피사체가 의도하였던 음소의 패턴을 분류하는 음소 패턴 분류부; 및상기 분류된 음소의 패턴에 기반하여 시계열 패턴 인식을 통해 인식된 언어 텍스트롤 출력하는 비즘 패턴 인식부를 포함하는 것을 특징으로 하는 언어 인식 및 음성 생성 시스템
9 9
제 8항에 있어서,상기 3D 이미지는 상기 피사체의 구순 주위의 3차원 좌표값으로 구성된 입력벡터이고,상기 음소 패턴 분류부는 상기 입력벡터를 입력받아 분류된 비즘(classified viseme)을 출력벡터로서 출력하고,상기 비즘 패턴 인식부는 상기 음소 패턴 분류부로부터 분류된 비즘을 입력으로 받고,상기 시계열 인식은 비즘 시계열 패턴 인식인 것을 특징으로 하는 언어 인식 및 음성 생성 시스템
10 10
제 8항에 있어서, 상기 음소 패턴 분류부는,가우시안 혼합 모델(Gaussian mixture model)에 기반한 것을 특징으로 하는 언어 인식 및 음성 생성 시스템
11 11
제 8항에 있어서, 상기 비즘 패턴 인식부는
12 12
피사체를 촬영한 일련의 좌 이미지 및 우 이미지를 제공하는 스테레오(stereo) 이미지(image) 제공 단계;상기 스테레오 이미지 제공 단계에서 제공받은 상기 좌 이미지 및 상기 우 이미지에 기반하여 3D 이미지를 생성하고 출력하는 비전(vision) 처리(processing) 단계;상기 3D 이미지에 기반하여 상기 피사체가 의도하였던 언어를 언어 텍스트(text)로 구성하여 출력하는 언어 인식 단계; 및상기 언어 텍스트를 입력받아 상기 텍스트를 음성으로 변환하여 출력하는 음성 생성 단계를 포함하고;상기 비전 처리 단계는,상기 좌 이미지 및 상기 우 이미지에 대한 X, Y 및 Z 축(axis)들의 변화도 산출 단계;상기 좌 이미지 및 상기 우 이미지에 대한 절대차의 총합(sum of absolute difference) 산출 단계;상기 좌 이미지 및 상기 우 이미지에 대한 특징 추출 단계;상기 좌 이미지 및 상기 우 이미지에 대한 스테레오 정합(matching) 단계; 및상기 스테레오 정합에 기반한 픽셀의 거리 또는 깊이 정보 산출 단계를 포함하고,상기 특징 추출은, 상기 좌 이미지 및 상기 우 이미지에 대해 모든 픽셀의 RGB 값의 차이(difference) 및 변화분(gradient)을 산출하고,상기 스테레오 정합은 상기 좌 이미지 및 상기 우 이미지의 각 픽셀에 대해 상기 차이 및 상기 변화분이 미리 정의된 특정 임계치 이하인 것을 동일 픽셀(corresponding pixel)로 정합하는 것이고,상기 픽셀의 거리 또는 깊이 정보는 상기 동일 픽셀의 위치차이(disparity)에 기반하여 산출되고,상기 차이 및 상기 변화분의 산출은 하나의 이미지에 대해서 다른 이미지를 이동(shift) 연산하는 것에 기반하고,상기 위치차이는 상기 이동연산의 차수(order)인 것을 특징으로 하는 언어 인식 및 음성 생성 방법
13 13
제 12항에 있어서, 상기 스테레오 이미지 제공 단계는상기 피사체의 좌편 및 우편에서 이미지를 촬영하여 출력하는 스테레오 촬영 단계; 및상기 이미지를 입력받아, 상기 좌 이미지 및 상기 우 이미지로 변환하여 출력하는 이미지 취득 단계를 포함하는 것을 특징으로 하는 언어 인식 및 음성 생성 방법
14 14
삭제
15 15
삭제
16 16
삭제
17 17
제 12항에 있어서, 상기 비전 처리 단계는,상기 좌 이미지 및 상기 우 이미지 외의 상기 피사체와 관련된 다른 정보에 기반하여 상기 3D 이미지를 필터링하는 필터링 단계를 더 포함하고,상기 비전 처리 단계의 출력인 상기 3D 이미지는 상기 필터링 단계에 의해 필터링된 3D 이미지인 것을 특징으로 하는 언어 인식 및 음성 생성 방법
18 18
제 17항에 있어서, 상기 다른 정보는,상기 피사체의 안면부 좌표값인 것을 특징으로 하는 언어 인식 및 음성 생성 방법
19 19
제 12항에 있어서, 상기 언어 인식 단계는,상기 3D 이미지에 기반하여 피사체가 의도하였던 음소의 패턴을 분류하는 음소 패턴 분류 단계; 및상기 분류된 음소의 패턴에 기반하여 시계열 패턴 인식을 통해 인식된 언어 텍스트를 출력하는 비즘 패턴 인식 단계를 포함하는 것을 특징으로 하는 언어 인식 및 음성 생성 방법
20 20
제 19항에 있어서,상기 3D 이미지는 상기 피사체의 구순 주위의 3차원 좌표값으로 구성된 입력벡터이고,상기 음소 패턴 분류 단계는 상기 입력벡터를 입력받아 분류된 비즘(classified viseme)을 출력벡터로서 출력하고,상기 비즘 패턴 인식 단계는 상기 음소 패턴 분류 단계로부터 분류된 비즘을 입력으로 받고,상기 시계열 인식은 비즘 시계열 패턴 인식인 것을 특징으로 하는 언어 인식 및 음성 생성 방법
21 21
제 20항에 있어서, 상기 음소 패턴 분류 단계는,가우시안 혼합 모델(Gaussian mixture model)에 기반한 것을 특징으로 하는 언어 인식 및 음성 생성 방법
22 22
제 20항에 있어서, 상기 비즘 패턴 인식 단계는
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.