| 1 |
1
단일 또는 다종의 모달리티 인식기를 구비한 시스템의 멀티모달 융합 장치에 있어서,단일 또는 다종의 사용자 입력 인식 정보를 해당 인식기를 통해 제공받아 추론 가능한 정보로 가공하는 입력처리부;모달리티 조합 규칙 정보를 파싱하여 저장하는 규칙저장부; 및상기 모달리티 조합 규칙 정보 및 기 생성한 액션을 참조하여, 상기 가공된 사용자 입력 인식 정보가 융합 가능 및 융합 필요 정보인지 여부를 파악하고, 융합 가능하며 필요한 정보인 경우, 상기 가공된 사용자 입력 인식 정보에 대응하는 액션을 추론하는 추론엔진부를 포함하는 멀티모달 융합 장치
|
| 2 |
2
제1항에 있어서,상기 규칙저장부는,XML 형태의 모달리티 조합 규칙 정보를 파싱하는 것을 특징으로 하는 멀티모달 융합 장치
|
| 3 |
3
제2항에 있어서,상기 XML 형태의 모달리티 조합 규칙 정보는,하나의 액션을 정의하는 제 1 엘러먼트(action), 해당 액션에 입력으로 올 수 있는 모달리티들을 나열하는 제 2 엘러먼트(input), 해당 액션을 위해 상기 나열된 입력 모달리티들의 의미있는 조합을 위한 방법을 제시하는 제 3 엘러먼트(integration), 해당 모달리티의 명령어들을 나열한 제 4 엘러먼트(command), 상기 모달리티의 명령어들 중 하나를 지칭하는 제 5 엘러먼트(modality) 및 여러개의 액션을 조합하기 위한 제 6 엘러먼트(set) 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 멀티모달 융합 장치
|
| 4 |
4
제3항에 있어서,상기 제 3 엘러먼트는 상기 나열된 입력 모달리티에 따른 적어도 하나 이상의 조합 조건에 대하여 하나의 조건만을 만족시키면 되는 것을 나타내는 엘러먼트 및 상기 모든 조건을 만족시켜야 한다는 것을 나타내는 엘러먼트 중 적어도 하나 이상을 자식 엘러먼트로 포함하며, 상기 제 4 엘러먼트는 모달리티 명령어 리스트를 나타내는 엘러먼트(item)를 자식 엘러먼트로 포함하며, 상기 제 6 엘러먼트는 이전에 추론된 액션 순서를 정의하여, 상기 각 액션을 나타내는 엘러먼트(actionname)를 자식 엘러먼트로 포함하는 엘러먼트(sequence)와 상기 각 액션들에 대한 의미 있는 최대 입력 시간을 나타내는 엘러먼트(time) 중 적어도 하나 이상을 자식 엘러먼트로 포함하는 것을 특징으로 하는 멀티모달 융합 장치
|
| 5 |
5
제3항에 있어서,상기 제 1 엘러먼트는 해당 액션의 이름(name), 해당 액션이 멀티(multi) 또는 싱글(single)인지 여부를 나타내는 상태 값, 같은 이름의 액션을 구분하기 위한 서브네임(subname) 및 시스템의 입력으로 사용될 수 있는 여부를 나타내는 값(send) 중 적어도 하나 이상을 속성으로 포함하며,상기 제 3 엘러먼트는 웨이팅 값 계산을 위한 가중치 값(weight)을 속성으로 포함하며,상기 제 4 엘러먼트는 이름 속성 값(name)과 입력 모달리티 모드(mode) 중 적어도 하나 이상을 속성으로 포함하며,상기 제 6 엘러먼트는 상기 여러개의 액션의 입력 순서를 나타내는 순서 값 및 시간 값 중 적어도 하나 이상을 속성으로 포함하는 것을 특징으로 하는 멀티모달 융합 장치
|
| 6 |
6
제1항에 있어서,상기 액션은,상기 시스템의 시스템 명령어인 것을 특징으로 하는 멀티모달 융합 장치
|
| 7 |
7
삭제
|
| 8 |
8
제1항에 있어서,상기 추론엔진부로부터 생성되는 액션들을 시간 순서에 따라 저장하고, 상기 추론엔진부의 추론을 위한 정보로 기 저장된 액션들을 제공하는 결과저장부를 더 포함하는 멀티모달 융합 장치
|
| 9 |
9
제1항에 있어서,상기 추론엔진부로부터 액션이 생성되면 해당 액션의 타당 여부를 검증하여, 해당 액션이 타당하다고 판단되는 경우 해당 액션을 시스템 입력으로 전달하고, 해당 액션이 타당하지 않다고 판단되는 경우 액션 오류 정보를 발생시키는 검증부를 더 포함하는 것을 특징으로 하는 멀티모달 융합 장치
|
| 10 |
10
제9항에 있어서,상기 발생되는 액션 오류 정보를 사용자에게 알리기 위한 정보로 변환하여 시스템 출력으로 전달하는 피드백 생성부를 더 포함하는 것을 특징으로 하는 멀티모달 융합 장치
|
| 11 |
11
단일 또는 다종의 모달리티 인식기를 구비한 시스템의 멀티모달 융합 방법에 있어서,시스템 초기 시, 모달리티 조합 규칙 정보를 파싱하여 저장하는 단계;단일 또는 다종의 사용자 입력 인식 정보가 해당 인식기로부터 입력되면, 이를 액션 추론 가능한 정보로 가공하여 저장하는 단계; 및상기 모달리티 조합 규칙 정보 및 기 생성된 액션을 참조하여, 상기 가공된 사용자 입력 인식 정보가 융합 가능 및 융합 필요 정보인지 여부를 순차적으로 파악한 후, 융합 가능하고 필요한 정보로 판단되는 경우 상기 가공된 사용자 입력 인식 정보에 대응하는 액션을 추론하는 단계를 포함하는 멀티모달 융합 방법
|
| 12 |
12
제11항에 있어서,상기 파싱 단계는,XML 형태의 모달리티 조합 규칙 정보를 파싱하는 것을 특징으로 하는 멀티모달 융합 방법
|
| 13 |
13
제12항에 있어서,상기 XML 형태의 모달리티 조합 규칙 정보는,하나의 액션을 정의하는 제 1 엘러먼트(action), 해당 액션에 입력으로 올 수 있는 모달리티들을 나열하는 제 2 엘러먼트(input), 해당 액션을 위해 상기 나열된 입력 모달리티들의 의미있는 조합을 위한 방법을 제시하는 제 3 엘러먼트(integration), 해당 모달리티의 명령어들을 나열한 제 4 엘러먼트(command), 상기 모달리티의 명령어들 중 하나를 지칭하는 데 5 엘러먼트(modality) 및 여러개의 액션을 조합하기 위한 제 6 엘러먼트(set) 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 멀티모달 융합 방법
|
| 14 |
14
제11항에 있어서,상기 액션은,상기 시스템의 시스템 명령어인 것을 특징으로 하는 멀티모달 융합 방법
|
| 15 |
15
삭제
|
| 16 |
16
제11항에 있어서,상기 추론된 액션의 타당 여부를 검증하는 단계;상기 검증결과 상기 추론된 액션이 타당하다고 판단되는 경우, 상기 액션을 시스템 입력으로 전달하고, 타당하지 않다고 판단되는 경우, 액션 오류 정보를 발생시키는 단계; 및상기 발생시킨 액션 오류 정보를 사용자에게 알리기 위한 정보로 변환하여 시스템 출력으로 전달하는 단계를 더 포함하는 것을 특징으로 하는 멀티모달 융합 방법
|
