| 1 |
1
통합 토크나이저 학습 장치 및 음성 신호를 수신하여 토큰화된 텍스트로 변환시켜 출력하는 음성 인식기를 구비하는 음성 이해 시스템에서의 토큰화 방법에 있어서, (a) 상기 통합 토크나이저 학습 장치가 훈련용 데이터들을 이용하여 통합 토크나이저를 학습시키고 통합 토큰 사전을 생성하는 통합 토크나이저 학습 단계; 및(b) 상기 음성 인식기가 상기 통합 토크나이저 및 상기 통합 토큰 사전을 이용하여, 입력 데이터에 대한 토큰들을 구하여 출력하는 통합 토큰화 단계;를 구비하고, (a) 상기 통합 토크나이저 학습 단계는,(a1) 훈련용 데이터들에 대하여, 발성되지 않는 표기상의 기호를 제거하여 정제된 형태로 출력하는 전처리 단계;(a2) 전처리 단계에서 전처리된 훈련용 데이터들에 대하여, 명사와 조사를 분리하는 명사 토큰화 단계; (a3) 상기 명사 토큰화 단계에서 명사와 조사가 분리된 훈련용 데이터들을 이용하여 통합 토크나이저를 학습시키는 단계; 및(a4) 통합 토크나이저를 학습시키는 과정에서 구한 토큰들을 이용하여 통합 토큰 사전을 생성하는 단계;를 구비하는 것을 특징으로 하는 음성 이해 시스템에서의 통합 토큰화 방법
|
| 2 |
2
제1항에 있어서, 상기 (b) 단계는, 입력 데이터들에 대하여, 발성되지 않는 표기상의 기호를 제거하여 정제된 형태로 전처리하고, 상기 통합 토크나이저 및 통합 토큰 사전을 이용하여, 상기 전처리된 데이터들을 서브워드 단위로 분리하여 토큰들을 구하는 것을 특징으로 하는 음성 이해 시스템에서의 통합 토큰화 방법
|
| 3 |
3
제1항에 있어서, 상기 (b) 단계는,입력 데이터들에 대하여, 발성되지 않는 표기상의 기호를 제거하여 정제된 형태로 전처리하고, 상기 전처리된 데이터들에 대하여 명사와 조사를 분리하고, 상기 통합 토크나이저 및 통합 토큰 사전을 이용하여, 명사와 조사가 분리된 데이터들을 서브워드 단위로 분리하여 토큰들을 구하는 것을 특징으로 하는 음성 이해 시스템에서의 통합 토큰화 방법
|
| 4 |
4
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 통합 토크나이저는, 입력된 데이터에 대하여 서브워드 단위로 분리하여 토큰들을 생성하는 알고리즘으로 구현된 서브워드 방식의 토크나이저로 구성된 것을 특징으로 하는 음성 이해 시스템에서의 통합 토큰화 방법
|
| 5 |
5
제1항에 있어서, 상기 음성 이해 시스템은 언어 이해 처리기를 더 구비하고, 상기 언어 이해 처리기는, 상기 음성 인식기로부터 출력된 토큰화된 텍스트들을 이용하여, 별도의 토큰화 과정없이 언어 이해 알고리즘을 실행하는 것을 특징으로 하는 음성 이해 시스템에서의 통합 토큰화 방법
|
| 6 |
6
음성 신호를 수신하여 토큰화된 텍스트로 변환하여 출력하는 음성 인식기 및 음성 인식기에 의해 인식된 텍스트를 분석하여 세부 태스크를 처리하는 언어 이해 처리기를 구비하는 음성 이해 시스템에 있어서, 훈련용 데이터들을 이용하여 통합 토크나이저를 학습시키고, 학습 과정에서 생성된 토큰들을 이용하여 통합 토큰 사전을 생성하는 통합 토크나이저 학습 장치; 를 더 구비하고, 상기 음성 인식기는, 상기 통합 토크나이저 및 상기 통합 토큰 사전을 이용하여, 입력 데이터에 대한 토큰들을 구하여 출력하는 통합 토큰화 모듈;을 구비하고, 상기 통합 토크나이저 학습 장치는, 훈련용 데이터들에 대하여, 발성되지 않는 표기상의 기호를 제거하여 정제된 형태로 출력하는 전처리 모듈;전처리 모듈에 의해 전처리된 훈련용 데이터들에 대하여, 명사와 조사를 분리하는 명사 토큰화 모듈; 입력되는 데이터들에 대하여 사전 설정된 알고리즘으로 토큰들을 생성하는 통합 토크나이저; 상기 명사 토큰화 모듈에 의해 명사와 조사가 분리된 훈련용 데이터들을 이용하여 상기 통합 토크나이저를 학습시키는 통합 토크나이저 학습 모듈; 및상기 통합 토크나이저 학습 모듈에 의해 통합 토크나이저의 학습 과정에서 생성된 토큰들을 이용하여 통합 토큰 사전을 생성하는 토큰 사전 생성 모듈;을 구비하는 것을 특징으로 하는 통합 토크나이저를 갖는 음성 이해 시스템
|
| 7 |
7
제6항에 있어서, 상기 통합 토큰화 모듈은, 입력 데이터들에 대하여, 발성되지 않는 표기상의 기호를 제거하여 정제된 형태로 전처리하고, 상기 통합 토크나이저 및 통합 토큰 사전을 이용하여, 상기 전처리된 데이터들을 서브워드 단위로 분리하여 토큰들을 구하는 것을 특징으로 하는 통합 토크나이저를 갖는 음성 이해 시스템
|
| 8 |
8
제6항에 있어서, 상기 통합 토큰화 모듈은, 입력 데이터들에 대하여, 발성되지 않는 표기상의 기호를 제거하고 발음 형태로 변경하여 전처리하고, 상기 전처리된 입력 데이터들에 대하여 명사와 조사를 분리하고, 상기 통합 토크나이저 및 통합 토큰 사전을 이용하여, 명사와 조사가 분리된 입력 데이터들을 서브워드 단위로 분리하여 토큰들을 구하는 것을 특징으로 하는 통합 토크나이저를 갖는 음성 이해 시스템
|
| 9 |
9
제6항 내지 제8항 중 어느 한 항에 있어서, 상기 통합 토크나이저는, 입력된 데이터에 대하여 서브워드 단위로 분리하여 토큰들을 생성하는 서브워드 방식의 토크나이저인 것을 특징으로 하는 통합 토크나이저를 갖는 음성 이해 시스템
|
| 10 |
10
제6항에 있어서, 상기 언어 이해 처리기는, 상기 음성 인식기로부터 출력된 토큰화된 텍스트들을 이용하여, 별도의 토큰화 과정없이 언어 이해 알고리즘을 실행하는 것을 특징으로 하는 통합 토크나이저를 갖는 음성 이해 시스템
|
