| 1 |
1
데이터 센싱부; 및 데이터 처리부;를 포함하되,상기 데이터 센싱부는,사용자의 정지된 신체 또는 움직이는 신체를 센싱하여 연속하는 복수 개의 프레임으로 이루어지는 사용자 신체 영상을 제1 사용자 정보로서 획득하는 복수의 제스처 센싱 모듈,상기 사용자의 얼굴 표정을 센싱하여 연속하는 복수 개의 프레임으로 이루어지는 사용자 얼굴 표정 영상을 제2 사용자 정보로서 획득하고, 상기 사용자의 음성을 녹음하여 상기 사용자의 음성을 제3 사용자 정보로서 획득하는 헤드 센싱 모듈을 포함하고,상기 데이터 처리부는,상기 제1 내지 제3 사용자 정보를 수신하고, 상기 제1 내지 제3 사용자 정보를 기초로 상기 사용자에 대한 사용자 구현 정보를 생성하는,멀티모달 데이터 처리 장치
|
| 2 |
2
제1항에 있어서,상기 복수의 제스처 센싱 모듈 각각은, 상기 사용자를 중심으로 같은 거리만큼 이격되어 서로 다른 방향으로 설치되는,멀티모달 데이터 처리 장치
|
| 3 |
3
제1항에 있어서,상기 헤드 센싱 모듈은, 상기 사용자의 얼굴 표정을 센싱하여 상기 제2 사용자 정보를 획득하는 시각 센서, 상기 사용자의 음성을 녹음하여 상기 제3 사용자 정보를 획득하는 청각 센서, 및상기 사용자의 머리 부분에 상기 헤드 센싱 모듈을 고정시키는 고정부를 포함하는,멀티모달 데이터 처리 장치
|
| 4 |
4
제1항에 있어서,상기 데이터 처리부는,상기 데이터 센싱부로부터 상기 제1 내지 제3 사용자 정보를 수신하는 통신 모듈,상기 제1 내지 제3 사용자 정보를 기초로 상기 사용자 구현 정보를 생성하는 프로세서, 및상기 프로세서로부터 상기 사용자 구현 정보를 전달받아 상기 사용자 구현 정보를 저장하는 메모리를 포함하는,멀티모달 데이터 처리 장치
|
| 5 |
5
제4항에 있어서,상기 사용자 구현 정보는, 음성 인식 정보를 포함하는 음향 정보를 포함하고,상기 프로세서는,상기 제2 사용자 정보에서 입모양 특징 정보를 추출하고,상기 입모양 특징 정보를 추출한 시간을 기초로, 상기 제3 사용자 정보에서 음성 특징 정보를 추출하고,상기 입모양 특징 정보와 상기 음성 특징 정보를 기초로 음성 인식 모델을 이용하여 상기 음성 인식 정보를 생성하는,멀티모달 데이터 처리 장치
|
