| 1 |
1
사용자의 영상을 획득하는 영상 획득 장치;상기 사용자의 영상에서 얼굴 영역 및 입술 영역을 검출하는 영역 검출 모듈;상기 입술 영역의 내외의 복수의 특징점의 위치를 통해 3차원의 입술 모양 특징을 추출하는 입술 모양 특징 추출 모듈;상기 입술 영역의 밝기 값의 기울기 또는 기울기의 방향 분포를 통해 2차원의 입술 텍스쳐 특징을 추출하는 입술 텍스쳐 특징 추출 모듈;기저장된 음성 단위별 입술 모양 특징과 입술 텍스쳐 특징 정보로부터, 상기 입술 모양 특징 추출 모듈에서 추출된 입술 모양 특징 및 상기 입술 텍스쳐 특징 추출 모듈에서 추출된 입술 텍스쳐 특징을 동시에 가지는 음성 단위를 추출하여 인식하는 음성 인식 모듈을 포함하는 것을 특징으로 하는 음성 인식 시스템
|
| 2 |
2
제1항에 있어서,상기 영상 획득 장치는, 상기 사용자의 좌우 스테레오 영상을 획득하는 스테레오 카메라인 것을 특징으로 하는 음성 인식 시스템
|
| 3 |
3
제2항에 있어서,상기 입술 모양 특징 추출 모듈은, 상기 좌우 스테레오 영상으로부터 상기 특징점들의 3차원 좌표를 계산하고, 이를 통해 3차원의 입술 모양 특징을 추출하는 것을 특징으로 하는 음성 인식 시스템
|
| 4 |
4
제3항에 있어서,모의 사용자에 대한 사전 학습을 통해 음성 단위별 상기 모의 사용자의 입술 영역 내외의 상기 특징점들의 좌표값들을 취득하고,상기 모의 사용자로부터 취득된 특징점들의 좌표값들을 이용해 음성 단위별 입술 움직임에 대한 정보를 나타내는 3차원의 입술 모양 모델들을 생성하여 저장하는 데이터 베이스를 더 포함하는 것을 특징으로 하는 음성 인식 시스템
|
| 5 |
5
제4항에 있어서,상기 입술 모양 모델들은 모델 파라미터를 가지고,상기 입술 모양 특징 추출 모듈은, 실 사용자의 얼굴의 특징점들의 좌표값을 상기 입술 모양 모델들에 피팅하여 가장 유사한 모델의 모델 파라미터를 입술 모양 특징으로 추출하는 것을 특징으로 하는 음성 인식 시스템
|
| 6 |
6
삭제
|
| 7 |
7
제1항에 있어서,상기 입술 모양 특징과 상기 입술 텍스쳐 특징을 통합한 통합 입술 특징을 생성하는 특징 레벨 통합 모듈을 더 포함하고, 상기 음성 인식 모듈은 데이터베이스에 기저장된 음성 단위별 통합 입술 특징 정보로부터 상기 특징 레벨 통합 모듈에서 입력된 통합 입술 특징을 가지는 음성 단위를 추출하여 인식하는 것을 특징으로 하는 음성 인식 시스템
|
| 8 |
8
제1항에 있어서,상기 음성 인식 모듈은, 데이터 베이스에 기저장된 음성 단위별 입술 모양 특징 정보로부터 상기 입술 모양 특징 추출 모듈로부터 추출된 입술 모양 특징을 가지는 음성 단위를 추출하는 제1 음성 인식 모듈;상기 데이터 베이스에 기저장된 음성 단위별 입술 텍스쳐 특징 정보로부터 상기 입술 텍스쳐 특징 추출 모듈로부터 추출된 입술 텍스쳐 특징을 가지는 음성 단위를 추출하는 제2 음성 인식 모듈; 및기설정된 가중치에 따라 제1 음성 인식 모듈 및 제2 음성 인식 모듈로부터 추출된 음성 단위들에 점수를 부여하여, 점수가 가장 높은 음성 단위를 최종 음성 단위로 인식하여 출력하는 스코어 레벨 통합 모듈을 더 포함하는 것을 특징으로 하는 음성 인식 시스템
|
