| 1 |
1
사용자의 음성에 대한 음성 정보를 인식하는 음성 인식부;상기 사용자의 제스처에 대한 제스처 정보를 인식하는 제스처 인식부;상기 음성 정보 및 상기 제스처 정보를 기반으로 멀티 모달 제어 신호를 생성하는 멀티 모달 엔진부;상기 멀티 모달 제어 신호를 이용하여 상기 사용자의 시선 방향에 인지되는 하나 이상의 객체 중 어느 하나의 객체를 선택하는 객체 선택부; 및상기 멀티 모달 제어 신호에 따라 상기 선택된 객체에 대한 객체 관련 정보를 표시하는 표시부를 포함하는 멀티 모달 HMI 제어 장치
|
| 2 |
2
제1항에 있어서,상기 사용자의 시선을 인지하는 시선 인식부를 더 포함하는 멀티 모달 HMI 제어 장치
|
| 3 |
3
제2항에 있어서,상기 시선 인식부는,상기 선택된 객체의 이동 속도를 고려하여, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산하는 멀티 모달 HMI 제어 장치
|
| 4 |
4
제2항에 있어서,상기 시선 인식부는,상기 사용자가 승차한 차량과 상기 선택된 객체 간의 거리를 기반으로, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산하는 멀티 모달 HMI 제어 장치
|
| 5 |
5
제1항에 있어서,상기 사용자가 승차한 차량의 전방에 위치한 객체를 인식하는 객체 인식부; 및상기 객체에 대응하는 차량이 주행 중인 도로의 차선을 인식하는 차선 인식부를 더 포함하는 멀티 모달 HMI 제어 장치
|
| 6 |
6
제1항에 있어서,상기 멀티 모달 제어 신호를 수집하여 사용자 경험(UX: User Experience) 정보를 분석하는 사용자 경험 분석부를 더 포함하는 멀티 모달 HMI 제어 장치
|
| 7 |
7
제6항에 있어서,상기 멀티 모달 엔진부는,상기 사용자 경험 정보를 고려하여 상기 객체를 선택 및 이동 시키기 위한 상기 멀티 모달 제어 정보를 생성하는 멀티 모달 HMI 제어 장치
|
| 8 |
8
제1항에 있어서,상기 객체 선택부는,상기 음성 정보가 인식된 시점에 상기 제스처 정보에 대응하는 객체를 선택하는 멀티 모달 HMI 제어 장치
|
| 9 |
9
제1항에 있어서,상기 표시부는,상기 객체 관련 정보를 증강 현실 기법을 이용하여 표시하는 멀티 모달 HMI 제어 장치
|
| 10 |
10
제1항에 있어서,상기 객체 관련 정보는,상기 사용자가 승차한 차량과 상기 객체와의 거리, 상기 객체의 이동 속도, 및 상기 객체가 운행 중인 차선 중 어느 하나 이상을 포함하는 멀티 모달 HMI 제어 장치
|
| 11 |
11
사용자의 음성에 대한 음성 정보를 인식하는 단계;상기 사용자의 제스처에 대한 제스처 정보를 인식하는 단계;상기 음성 정보 및 상기 제스처 정보를 기반으로 멀티 모달 제어 신호를 생성하는 단계;상기 멀티 모달 제어 신호를 이용하여 상기 사용자의 시선 방향에 인지되는 하나 이상의 객체 중 어느 하나의 객체를 선택하는 단계; 및상기 멀티 모달 제어 신호에 따라 상기 선택된 객체에 대한 객체 관련 정보를 표시하는 단계를 포함하는 멀티 모달 HMI 제어 방법
|
| 12 |
12
제11항에 있어서,상기 사용자의 시선을 인지하는 단계를 더 포함하는 멀티 모달 HMI 제어 방법
|
| 13 |
13
제12항에 있어서,상기 사용자의 시선을 인지하는 단계는,상기 선택된 객체의 이동 속도를 고려하여, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산하는 단계를 포함하는 멀티 모달 HMI 제어 방법
|
| 14 |
14
제12항에 있어서,상기 사용자의 시선을 인지하는 단계는,상기 사용자가 승차한 차량과 상기 선택된 객체 간의 거리를 기반으로, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산하는 단계를 포함하는 멀티 모달 HMI 제어 방법
|
| 15 |
15
제11항에 있어서,상기 사용자가 승차한 차량의 전방에 위치한 객체를 인식하는 단계; 및상기 객체에 대응하는 차량이 주행 중인 도로의 차선을 인식하는 단계를 더 포함하는 멀티 모달 HMI 제어 방법
|
| 16 |
16
제11항에 있어서,상기 멀티 모달 제어 신호를 수집하여 사용자 경험(UX: User Experience) 정보를 분석하는 단계를 더 포함하는 멀티 모달 HMI 제어 방법
|
| 17 |
17
제16항에 있어서,상기 사용자 경험 정보를 고려하여 상기 객체를 선택 및 이동 시키기 위한 상기 멀티 모달 제어 정보를 생성하는 단계를 더 포함하는 멀티 모달 HMI 제어 방법
|
| 18 |
18
제11항에 있어서,상기 객체를 선택하는 단계는,상기 음성 정보가 인식된 시점에 상기 제스처 정보에 대응하는 객체를 선택하는 단계를 포함하는 멀티 모달 HMI 제어 방법
|
| 19 |
19
제11항에 있어서,상기 객체 관련 정보를 표시하는 단계는,상기 객체 관련 정보를 증강 현실 기법을 이용하여 표시하는 단계를 포함하는 멀티 모달 HMI 제어 방법
|
| 20 |
20
제11항에 있어서,상기 객체 관련 정보는,상기 사용자가 승차한 차량과 상기 객체와의 거리, 상기 객체의 이동 속도, 및 상기 객체가 운행 중인 차선 중 어느 하나 이상을 포함하는 멀티 모달 HMI 제어 방법
|
