| 1 |
1
각각 적어도 하나의 콘볼루션 레이어를 포함하는 복수 개의 레이어 블록으로 구성되는 인공 신경망에 음성신호로부터 변환된 음향특징벡터를 입력하는 단계;상기 인공 신경망에 포함된 제1 레이어 블록에서 상기 음향특징벡터로부터 기설정된 행렬 사이즈를 가지는 공유특징벡터를 출력하는 단계;상기 인공 신경망에 포함된 제2 레이어 블록에서 상기 공유특징벡터로부터 문자의 확률에 따른 복수 개의 행렬값으로 구성된 문자분류벡터를 출력하고 상기 인공 신경망에 포함된 제3 레이어 블록에서 상기 공유특징벡터로부터 단어조각의 확률에 따른 복수 개의 행렬값으로 구성된 단어조각분류벡터를 출력하는 단계;상기 인공 신경망에 포함된 제4 레이어 블록에서 상기 공유특징벡터와 상기 문자분류벡터와 상기 단어조각분류벡터를 결합함에 따른 결합특징벡터로부터 가중치값을 출력하는 단계;상기 인공 신경망에 포함된 풀링 레이어 블록에서 상기 공유특징벡터에 상기 가중치값을 적용하여 가중함에 따른 발화단위벡터를 출력하는 단계; 및상기 인공 신경망에 포함된 화자분류 레이어 블록에서 상기 발화단위벡터로부터 화자의 특징에 따른 복수 개의 행렬값으로 구성된 화자 임베딩을 출력하는 단계;를 포함하는 음소 및 문맥 정보를 고려한 화자 임베딩 추출 방법
|
| 2 |
2
제1항에 있어서,상기 가중치값을 출력하는 단계는상기 공유특징벡터와 상기 문자분류벡터와 상기 단어조각분류벡터를 프레임 단위로 구분하여 결합함에 따른 복수 개의 프레임에 대응되는 복수 개의 결합특징벡터를 상기 인공 신경망에 포함되며 복수 개의 은닉 레이어와 소프트맥스 레이어를 포함하는 제4 레이어 블록에서 입력받는 단계와,상기 복수 개의 결합특징벡터가 상기 복수 개의 은닉 레이어을 통과함에 따른 복수 개의 프레임에 대응되는 복수 개의 스칼라값을 출력하는 단계와,상기 복수 개의 스칼라값을 소프트맥스 함수에 적용하여 복수 개의 프레임에 대응되는 복수 개의 가중치값을 출력하는 단계를 포함하는 것인 음소 및 문맥 정보를 고려한 화자 임베딩 추출 방법
|
| 3 |
3
제1항에 있어서,상기 음성신호에 대응되는 텍스트를 포함하는 전사텍스트와 미리 저장된 복수 개의 화자 중 상기 음성신호의 화자를 구분하기 위한 화자 인덱스가 제공되는 경우상기 화자 임베딩을 출력하는 단계 이후에 있어서,상기 화자분류 레이어에서 상기 화자 임베딩으로부터 미리 저장된 복수 개의 화자인 확률에 따른 행렬값으로 구성된 화자분류벡터를 출력하는 단계;분류 손실함수를 이용해 상기 화자분류벡터와 상기 화자 인덱스의 오류값을 산출하는 단계;상기 오류값이 최소가 되도록 상기 화자분류 레이어, 상기 제4 레이어 블록, 상기 제1 레이어 블록을 역전파하며 업데이트 하는 단계;를 더 포함하는 음소 및 문맥 정보를 고려한 화자 임베딩 추출 방법
|
| 4 |
4
외부에서 입력된 음성신호로부터 음향특징벡터를 생성하는 음향특징벡터 변환부; 및각각 적어도 하나의 콘볼루션 레이어를 포함하는 복수 개의 레이어 블록으로 구성되어 상기 음향특징벡터를 입력받아 상기 음향특징벡터로부터 화자 임베딩을 추출하는 인공 신경망;을 포함하고,상기 인공 신경망은상기 음향특징벡터로부터 기설정된 행렬 사이즈를 가지는 공유특징벡터를 출력하는 제1 레이어 블록과,상기 공유특징벡터로부터 문자의 확률에 따른 복수 개의 행렬값으로 구성된 문자분류벡터를 출력하는 제2 레이어 블록과,상기 공유특징벡터로부터 단어조각의 확률에 따른 복수 개의 행렬값으로 구성된 단어조각분류벡터를 출력하는 제3 레이어 블록과,상기 공유특징벡터와 상기 문자분류벡터와 상기 단어조각분류벡터를 결합함에 따른 결합특징벡터로부터 가중치값을 출력하는 제4 레이어 블록과,상기 공유특징벡터에 상기 가중치값을 적용하여 가중함에 따른 발화단위벡터를 출력하는 풀링 레이어 블록과,상기 발화단위벡터로부터 화자의 특징에 따른 복수 개의 행렬값으로 구성된 화자 임베딩을 출력하는 화자분류 레이어 블록을 포함하는 것인 음소 및 문맥 정보를 고려한 화자 임베딩 추출 장치
|
| 5 |
5
제4항에 있어서,상기 제4 레이어 블록은복수 개의 은닉 레이어와 소프트맥스 레이어를 포함하고,상기 복수 개의 은닉 레이어는 상기 공유특징벡터와 상기 문자분류벡터와 상기 단어조각분류벡터를 프레임 단위로 구분하여 결합함에 따른 복수 개의 프레임에 대응되는 복수 개의 결합특징벡터를 통과시킴에 따른 복수 개의 프레임에 대응되는 복수 개의 스칼라값을 출력하고상기 소프트맥스 레이어는상기 복수 개의 프레임에 대응되는 복수 개의 스칼라값을 소프트맥스 함수에 적용하여 복수 개의 프레임에 대응되는 복수 개의 가중치값을 출력하는 것인 음소 및 문맥 정보를 고려한 화자 임베딩 추출 장치
|
