| 1 |
1
컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서에서 실행되는 경우, 신경망을 이용하여 음성을 변환하기 위한 이하의 동작들을 수행하도록 하며, 상기 동작들은:입력 음성을 음성 특징 추출부에 입력시켜 획득한 제 1 음성 특징 정보 또는 입력 영상을 영상 특징 추출부에 입력시켜 획득한 영상 특징 정보 중 적어도 하나에 기초하여 상기 입력 영상과 동기화된 음성 특징 정보인 영상-음성 특징 정보를 획득하는 동작; 및상기 영상-음성 특징 정보를 특정 발화자의 음성을 재구성하도록 학습된 음성 변환부에 입력시켜 상기 입력 음성을 상기 특정 발화자의 음성 특징이 반영된 음성으로 변환하는 동작;을 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 2 |
2
제 1 항에 있어서,상기 음성 특징 추출부는,상기 입력 음성으로부터 발화자 독립 음성 특징 정보를 포함하는 상기 제 1 음성 특징 정보를 추출하도록 학습된 모델을 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 3 |
3
제 2 항에 있어서,상기 음성 특징 추출부는, 발화자 독립 음성 특징 정보를 포함하는 상기 제 1 음성 특징 정보를 추출하기 위하여 발화자를 구분하기 위한 발화자 분류 모델과 적대적(adversarial) 학습 동작으로 학습된 모델을 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 4 |
4
제 3 항에 있어서,상기 적대적 학습 동작은,상기 입력 음성에 대한 발화자를 구분하기 위하여 발화자 분류 모델을 학습시키는 동작; 및상기 입력 음성에 대한 발화자를 구분하기 위한 발화자 분류 모델을 이용하여 상기 입력 음성의 발화자를 구분할 수 없도록 상기 음성 특징 추출부를 학습시키는 동작; 을 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 5 |
5
제 1 항에 있어서,상기 영상 특징 추출부는,상기 입력 영상으로부터 발화자 독립 영상 특징 정보를 포함하는 상기 영상 특징 정보를 추출하도록 학습된 모델을 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 6 |
6
제 1 항에 있어서,상기 영상-음성 특징 정보는,상기 영상 특징 정보가 반영된 음성 특징 정보로서,상기 제 1 음성 특징 정보 또는 상기 영상 특징 정보 중 적어도 하나를 음성 정렬부에 입력시켜 획득한 특징 정보를 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 7 |
7
제 1 항에 있어서,상기 영상-음성 특징 정보는,상기 제 1 음성 특징 정보와 상기 영상 특징 정보 사이의 유사도에 기초하여 산출된 음성 특징 정보를 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 8 |
8
제 1 항에 있어서,상기 영상-음성 특징 정보는,단위 시간별 상기 제 1 음성 특징 정보 또는 단위 시간별 상기 영상 특징 정보 중 적어도 하나를 인코딩한 결과를 하나의 벡터 요소로 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 9 |
9
제 6 항에 있어서,상기 음성 정렬부는 손실 함수의 결과값을 감소시키기 위하여 역전파 방식으로 음성 정렬부를 학습시키는 방법을 통해 학습된 모델을 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 10 |
10
제 9 항에 있어서,상기 손실 함수는,상기 입력 음성으로부터 획득한 영상-음성 특징 정보 또는상기 입력 음성의 세기, 속도 또는 피치 중 적어도 하나를 조정시킨 조정 입력 음성으로부터 획득한 조정 영상-음성 특징 정보 중 적어도 하나에 기초하여 결정된 함수를 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 11 |
11
제 10 항에 있어서,상기 조정 영상-음성 특징 정보는,입력 음성의 세기, 속도 또는 피치가 조정된 입력 음성을 상기 음성 특징 추출부에 입력시켜 획득한 제 2 음성 특징 정보 또는 상기 영상 특징 정보 중 적어도 하나를 상기 음성 정렬부에 입력시켜 획득한 특징 정보를 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 12 |
12
제 1 항에 있어서,상기 음성 변환부는,상기 영상-음성 특징 정보를 상기 음성 변환부에 입력시켜 상기 입력 음성을 재구성(reconstruction)하도록 학습된 모델을 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 13 |
13
제 1 항에 있어서,상기 특정 발화자의 음성 특징이 반영된 음성은,상기 입력 영상과 동기화되어 입력 영상 정보가 반영된 음성을 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 14 |
14
제 1 항에 있어서,상기 특정 발화자의 음성 특징이 반영된 음성이 상기 입력 영상과 동기화되어 출력되는 출력 영상을 생성하는 동작;을 더 포함하는,컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램
|
| 15 |
15
신경망을 이용하여 음성을 변환하기 위한 방법에 있어서,입력 음성을 음성 특징 추출부에 입력시켜 획득한 제 1 음성 특징 정보 또는 입력 영상을 영상 특징 추출부에 입력시켜 획득한 영상 특징 정보 중 적어도 하나에 기초하여 상기 입력 영상과 동기화된 음성 특징 정보인 영상-음성 특징 정보를 획득하는 단계; 및상기 영상-음성 특징 정보를 특정 발화자의 음성을 재구성하도록 학습된 음성 변환부에 입력시켜 상기 입력 음성을 상기 특정 발화자의 음성 특징이 반영된 음성으로 변환하는 단계;를 포함하는,신경망을 이용하여 음성을 변환하기 위한 방법
|
| 16 |
16
신경망을 이용하여 음성을 변환하기 위한 컴퓨팅 장치는하나 이상의 프로세서; 및 상기 하나 이상의 프로세서에서 실행 가능한 명령들을 저장하는 메모리; 를 포함하고, 상기 하나 이상의 프로세서는,입력 음성을 음성 특징 추출부에 입력시켜 획득한 제 1 음성 특징 정보 또는 입력 영상을 영상 특징 추출부에 입력시켜 획득한 영상 특징 정보 중 적어도 하나에 기초하여 상기 입력 영상과 동기화된 음성 특징 정보인 영상-음성 특징 정보를 획득하고, 그리고상기 영상-음성 특징 정보를 특정 발화자의 음성을 재구성하도록 학습된 음성 변환부에 입력시켜 상기 입력 음성을 상기 특정 발화자의 음성 특징이 반영된 음성으로 변환하는,컴퓨팅 장치
|
| 17 |
17
학습 과정에서 적어도 일부가 업데이트 되는 신경망의 파라미터에 대응하는 데이터 구조가 저장된 컴퓨터 판독가능한 기록 매체로서, 상기 신경망의 동작은 상기 파라미터에 적어도 부분적으로 기초하고, 상기 학습 과정은,발화자 독립 음성 특징 정보를 포함하는 제 1 음성 특징 정보를 추출하기 위하여 발화자를 구분하기 위한 발화자 분류 모델과 적대적 학습 동작으로 음성 특징 추출부를 학습시키는 단계; 손실 함수의 결과값을 감소시키기 위하여 역전파 방식으로 음성 정렬부를 학습시키는 단계; 및영상-음성 특징 정보를 음성 변환부에 입력시켜 입력 음성을 재구성하도록 음성 변환부를 학습시키는 단계;를 포함하는,데이터 구조가 저장된 컴퓨터 판독가능한 기록 매체
|
