1 |
1
화자의 두경부의 일면에 인접하여 조음기관의 물리특성을 측정하는 센서부;상기 센서부의 위치와 상기 조음기관의 물리특성을 기반으로 화자의 발화 특징을 파악하는 데이터해석부;상기 센서부의 위치와 상기 발화특징을 언어데이터 내지 객체 두경부 데이터로 변환하는 데이터변환부;상기 언어데이터 내지 객체 두경부 데이터를 외부로 표현하는 데이터표현부를 포함하고,상기 센서부는, 구강설에 대응되는 구강설 센서와, 화자의 두경부를 촬상하는 촬상센서를 포함하며, 상기 데이터해석부는상기 센서부에서 측정되는 상기 구강설과 다른 조음기관과의 물리특성을 통해 상기 화자가 발화하는 자모음, 어휘 단위 강세 (Lexical Stress), 문장 단위 강세(Tonic stress) 중 적어도 하나의 발화 특징을 파악하고, 2진수 내지 실수를 포함하는 수치로 구성된 표준 발화 특징 행렬을 기반으로 상기 화자의 발음과 강세의 정오도, 유사근접도, 발화 의도 중 적어도 하나의 발화 특징을 측정하며, 상기 구강설 센서는상기 구강설의 일측면에 고착되거나, 상기 구강설의 표면을 감싸거나, 상기 구강설 내부에 삽입되고, 발화에 따른 상기 구강설의 x축, y축, z축 방향 기반의 시간에 따른 벡터량의 변화량을 파악하여, 상기 구강설의 저고도, 전후설성, 굴곡도, 신전도, 회전도, 긴장도, 수축도, 이완도, 진동도 중 적어도 하나의 물리특성을 파악하고, 상기 촬상센서는 화자의 두경부를 촬상하여 화자의 두경부 조음기관 위치 변화 정보, 상기 화자의 두경부 표정 변화 정보, 상기 화자의 발화 의도에 따라 움직이는 두경부, 흉곽부, 상지부, 하지부의 비언어적 표현 중 적어도 하나를 파악하는 것을 특징으로 하는 발화-표정 데이터 맵핑 시스템
|
2 |
2
제1항에 있어서,상기 구강설 센서는, 상기 구강설의 일측면에 고착되거나, 상기 구강설의 표면을 감싸거나, 상기 구강설 내부에 삽입되고, 발화에 따른 상기 구강설의 x축, y축, z축 방향 기반의 단위 시간 당 회전하는 각도의 변화량을 파악하여, 상기 구강설을 포함한 상기 조음기관의 물리 특성을 파악하는 발화-표정 데이터 맵핑 시스템
|
3 |
3
제1항에 있어서,상기 구강설 센서는, 상기 구강설의 일측면에 고착되거나, 상기 구강설의 표면을 감싸고, 발화에 따른 상기 구강설의 수축 및 이완으로 발생하는 물리력에 따라 결정 구조의 변화에 기인하는 편극에 대응되는 전기신호가 발생하는 압전소자를 통해 상기 구강설의 굽힘도를 파악하여, 상기 구강설의 저고도, 전후설성, 굴곡도, 신전도, 회전도, 긴장도, 수축도, 이완도, 진동도 중 적어도 하나의 물리특성을 파악하는 발화-표정 데이터 맵핑 시스템
|
4 |
4
제1항에 있어서,상기 센서부는, 상기 구강설이 상기 두경부 내외의 다른 조음기관과의 상호작용에 기인하는 접근 및 접촉에 대응되는 마찰전기(Tribo Electric Generator)에 따른 파열도, 마찰도, 공명도, 접근도 중 적어도 하나의 물리특성을 파악하는 마찰대전소자를 포함하는 발화-표정 데이터 맵핑 시스템
|
5 |
5
제1항에 있어서, 상기 데이터해석부는, 상기 센서부에 의해 측정되는 상기 조음기관의 물리특성을 발화 특징을 파악함에 있어서, 상기 조음기관의 물리특성을 각 자모음 단위의 패턴으로 인식하는 단계, 상기 자모음 단위의 패턴의 특징을 추출하고, 추출된 상기 자모음 단위의 패턴의 특징을 유사도에 따라 분류하는 단계, 분류된 상기 자모음 단위의 패턴의 특징을 재조합하는 단계, 상기 조음기관의 물리특성을 상기 발화 특징으로 해석하는 단계에 따라 상기 발화 특징을 파악하는 발화-표정 데이터 맵핑 시스템
|
6 |
6
제5항에 있어서,상기 데이터해석부는, 상기 센서부에 의해서 측정되는 상기 조음기관의 물리특성에 의해, 자모음의 동화(Assimilation), 이화(Dissimilation), 탈락(Elision), 첨가(Attachment), 강세(Stress)와, 약화(Reduction)로 야기되는 기식음화 (Asperation), 음절성자음화(Syllabic cosonant), 탄설음화(Flapping), 경음화(Tensification), 순음화(Labilalization), 연구개음화(Velarization), 치음화(Dentalizatiom), 구개음화 (Palatalization), 비음화(Nasalization), 강세변화(Stress Shift), 장음화(Lengthening) 중 적어도 하나의 이차조음현상인 발화 변이를 측정하는 발화-표정 데이터 맵핑 시스템
|
7 |
7
제1항에 있어서,상기 구강설 센서는, 센서 작동을 위한 회로부, 상기 회로부를 감싸는 캡슐부, 상기 구강설 일면에 부착되는 접착부를 포함하는 발화-표정 데이터 맵핑 시스템
|
8 |
8
제7항에 있어서,상기 구강설 센서는, 박막 회로를 가진 필름 형태로서 상기 구강설에 인접하여 작동하는 발화-표정 데이터 맵핑 시스템
|
9 |
9
제1항에 있어서,상기 센서부는, 두경부 근육의 신경신호 측정의 기준 전위를 생성하는 적어도 하나의 레퍼런스 센서와, 상기 두경부 근육의 신경신호를 측정하는 적어도 하나의 양극센서 및 적어도 하나의 음극센서로 구성된 안면부 센서를 포함하는 발화-표정 데이터 맵핑 시스템
|
10 |
10
제9항에 있어서,상기 데이터해석부는, 상기 안면부 센서에 기반하여 상기 센서부의 위치를 획득함에 있어서, 상기 레퍼런스 센서를 기준으로 하여 상기 적어도 하나의 양극센서 및 상기 적어도 하나의 음극센서의 전위차를 파악하여 상기 안면부 센서의 위치를 파악하는 발화-표정 데이터 맵핑 시스템
|
11 |
11
제9항에 있어서,상기 데이터해석부는, 상기 안면부 센서에 기반하여 상기 화자의 발화 특징을 획득함에 있어서, 상기 레퍼런스 센서를 기준으로 하여 상기 적어도 하나의 양극센서 및 상기 적어도 하나의 음극센서의 전위차를 파악하여 상기 화자의 두경부에서 발생하는 상기 조음기관의 물리 특성에 의한 발화 특징을 파악하는 발화-표정 데이터 맵핑 시스템
|
12 |
12
제1항에 있어서,상기 센서부는, 상기 화자의 두경부 중 성대에 인접하여 성대의 근전도 내지 떨림을 파악하여, 상기 화자의 발화 시작, 발화 정지, 발화 종료 중 적어도 하나의 발화 내역 정보를 파악하는 성대 센서를 포함하는 발화-표정 데이터 맵핑 시스템
|
13 |
13
제1항에 있어서,상기 센서부는, 치아의 일면에 인접하여 상기 구강설 및 아랫 입술의 접촉에 기인하여 발생하는 전기적 용량 변화에 따른 신호발생 위치를 파악하는 치아센서를 포함하는 발화-표정 데이터 맵핑 시스템
|
14 |
14
제1항에 있어서,상기 센서부는, 상기 화자의 두경부 일면에 인접한 음성 취득 센서를 통해 발화에 따른 상기 화자의 음성을 취득하는 발화-표정 데이터 맵핑 시스템
|
15 |
15
제1항에 있어서,상기 데이터변환부는, 상기 센서부의 위치와 더불어 상기 두경부 표정 변화 정보를 기반으로 제 1 기저 데이터로 변환하고, 상기 발화 특징과 더불어 상기 조음기관의 위치 변화 정보와 두경부 표정 변화정보를 기반으로 제 2 기저 데이터로 변환하여, 영상 객체의 두경부에 필요한 객체 두경부 데이터로 생성하는 발화-표정 데이터 맵핑 시스템
|
16 |
16
제15항에 있어서, 데이터해석부에서 처리된 객체 두경부 데이터를 상기 영상 객체의 두경부에 표현함에 있어서, 상기 데이터변환부의 제 1 기저 데이터를 기반으로 정적 기초 좌표를 설정하고, 제 2 기저 데이터를 기반으로 동적 가변 좌표를 설정하여, 매칭 위치를 생성하는 데이터매칭부를 더 포함하는 영상 객체의 두경부발화-표정 데이터 맵핑 시스템
|