| 1 |
1
삭제
|
| 2 |
2
멀티모달 데이터를 입력하고, 멀티모달 인식결과를 출력하기 위한 멀티모달 입출력 수단;펜 입력 데이터에 대한 제스쳐를 인식하고, 문자 데이터를 인식하며, 음성 입력 데이터를 인식하고, 음성 인식 결과에 대한 자연어 처리를 통해 정확한 음성 명령으로 변환하며, 문자를 음성으로 합성하는 멀티모달 처리수단;상기 멀티모달 입력 수단으로부터 펜 데이터가 입력되면 타이머에 의해 펜 입력 시작시간과 펜 입력 종료시간을 기록하고, 입력된 펜 데이터가 제스쳐 또는 문자 데이터로 인식되도록 상기 입력된 펜 데이터를 상기 멀티모달 처리수단으로 전달하는 펜 입력 데이터 처리수단;상기 멀티모달 입력 수단을 통해 음성 데이터가 입력되면 타이머에 의해 음성 입력 시작시간과 음성 입력 종료시간을 기록하고 상기 입력된 음성을 인식할 수 있도록 상기 멀티모달 처리수단으로 전달하는 음성 입력 데이터 처리수단;상기 멀티모달 처리수단으로부터 펜 입력 데이터에 대한 제스쳐 또는 문자 인식 결과와 음성 인식 결과를 전달받고, 상기 펜 입력 시작시간과 종료시간 및 음성 입력 시작시간과 종료시간을 이용해, 현재 인식 결과에 대해 허용하는 시간 범위내에 있으면 이전의 인식 결과에 의한 명령어와 결합하여 명령어를 합성하는 인식 결과 합성수단; 및상기 인식 결과 합성수단에 의해 합성된 명령어에 따라 그 명령어를 처리하는 인식 결과 실행수단을 포함하는 멀티모달 인터페이스 처리 장치
|
| 3 |
3
제 2 항에 있어서,상기 멀티모달 처리수단은,상기 펜 입력 데이터 처리수단으로부터 전달된 펜 데이터에 대한 제스쳐를 인식하기 위한 제스쳐 인식수단;상기 펜 입력 데이터 처리수단으로부터 전달된 펜 데이터에 대한 문자를 인식하기 위한 문자 데이터 인식수단;상기 음성 입력 데이터 처리수단으로부터 전달된 음성을 인식하기 위한 음성 입력 데이터 인식수단;상기 인식 결과 합성수단으로부터 전달된 음성 인식 결과에 대해 자연어 처리를 통해 음성 명령어로 변환하기 위한 자연어 처리수단; 및상기 인식 결과 실행수단으로부터 전달된 문자를 음성으로 합성하여 출력하는 음성 합성수단을 포함하는 멀티모달 인터페이스 처리 장치
|
| 4 |
4
멀티모달 인터페이스 처리 장치에 적용되는 인터페이스 처리 방법에 있어서,펜 데이터가 입력되면 타이머에 의해 펜 입력 시작시간과 펜 입력 종료시간을 기록하고, 입력된 펜 데이터에 대해 제스쳐 또는 문자 데이터로 인식하는 제1 단계;음성 데이터가 입력되면 타이머에 의해 음성 입력 시작시간과 음성 입력 종료시간을 기록하고 상기 입력된 음성을 인식하는 제2 단계;상기 제1 단계와 상기 제2 단계를 통해 인식된 펜 입력 데이터에 대한 제스쳐 또는 문자 인식 결과와, 음성 인식 결과와, 상기 펜 입력 시작시간과 종료시간 및 음성 입력 시작시간과 종료시간을 이용해, 현재 인식 결과에 대해 허용하는 시간 범위내에 있으면 이전의 인식 결과에 의한 명령어와 결합하여 명령어를 합성하는 제3 단계; 및상기 제3 단계에서 합성된 명령어에 따라 명령어를 처리하는 제4 단계를 포함하는 멀티모달 인터페이스 처리 방법
|
| 5 |
5
삭제
|
| 6 |
6
제 4 항에 있어서,상기 제1 단계는,펜 데이터가 입력되면 펜 데이터에 대한 입력 시작시간을 등록하고, 타이머를 셋팅한 후 입력되는 펜 데이터를 수집하며, 타이머가 종료되는지 확인하는 단계;타이머가 종료되면, 펜 입력 종료시간을 기록하고, 입력된 펜 데이터를 분석하여, 입력 스트로크의 수가 소정의 수 미만인지 확인하는 단계;입력 스트로크 수가 소정의 수 미만이면 입력된 펜 데이터를 제스쳐로 인식하는 단계; 및입력된 펜 데이터에 대한 제스쳐 인식이 실패하거나, 입력 스트로크 수가 소정 수 이상이면 입력된 펜 데이터를 문자로 인식하는 단계를 포함하는 멀티모달 인터페이스 처리 방법
|
| 7 |
7
제 4 항 또는 제 6 항에 있어서,상기 제2 단계는,음성 데이터가 입력되면 음성 입력 시작시간을 등록하고, 타이머를 셋팅한 후, 입력되는 음성 데이터를 수집하며, 타이머가 종료되는지 확인하는 단계; 및타이머가 종료되면, 음성 입력 종료시간을 기록하고, 입력된 음성 데이터를 인식하는 단계를 포함하는 멀티모달 인터페이스 처리 방법
|
| 8 |
8
제 7 항에 있어서, 상기 제3 단계는,상기 펜 입력 데이터에 대한 제스쳐 인식 결과 또는 문자 인식 결과와, 상기 음성 입력 데이터에 대한 음성 인식 결과를 수신하면, 수신된 인식 결과에 대한 시작/종료시간을 분석하는 단계;상기 분석 결과, 상기 시작/종료시간이 수신 명령에서 허용하는 시간 범위내에 있으면 이전 수신된 인식 결과 명령과 결합하여 한 개의 명령어를 조합하는 단계;상기 조합된 명령어가 완전한 명령어가 아니면 오류를 보정한 후, 상기 수신된 인식 결과에 대한 시작/종료시간이 수신 명령에서 허용하는 시간 범위내에 있으면 이전 수신된 인식 결과 명령과 결합하여 한 개의 명령어를 조합하는 단계; 및상기 조합된 명령어가 완전한 명령어이면 명령어를 합성하는 단계를 포함하는 멀티모달 인터페이스 처리 방법
|
| 9 |
9
삭제
|
| 10 |
9
삭제
|
