| 1 |
1
수어 영상에서 수어를 인식하여 글로스의 시퀀스를 출력하는 수어인식부, 상기 수어인식부가 출력하는 글로스의 시퀀스를 입력받아 토큰 단위의 시퀀스 형태로 음성문장을 출력하는 제1 번역모델을 포함하는 글로스-음성 번역부, 및 상기 글로스-음성 번역부가 출력하는 토큰 단위의 시퀀스 형태인 음성문장을 TTS 변환 엔진을 통해 음성으로 변환하는 음성생성부를 포함하는 수어-음성 번역 모델;음성을 STT 변환 엔진을 통해 토큰 단위의 시퀀스 형태의 음성문장으로 출력하는 음성인식부, 상기 음성인식부가 출력하는 상기 토큰 단위의 시퀀스 형태의 음성문장을 입력받아 글로스의 시퀀스 형태로 수어를 출력하는 제2 번역모델을 포함하는 음성-글로스 번역부, 및 상기 음성-글로스 번역부가 출력하는 상기 글로스의 시퀀스 형태인 수어를 연속적인 동작이 표현된 수어 영상으로 생성하는 영상생성부를 포함하는 음성-수어 번역 모델;을 포함하고,상기 제1 번역모델은 입력이 수어의 문법에 따라 나열된 글로스의 시퀀스이고 정답이 음성 언어 문법에 따라 나열된 토큰 단위의 시퀀스 형태인 음성문장인 학습데이터로 학습되어, 수어의 문법에 따른 수어를 음성 언어 문법에 따른 음성문장으로 번역을 수행하는 딥러닝 신경망 네트워크이고, 상기 수어인식부로부터 수어의 문법에 따라 나열된 상기 글로스의 시퀀스를 입력받아 임의 크기의 벡터로 출력하는 순환신경망 네트워크 구조의 인코더; 및 상기 인코더가 출력하는 벡터를 입력받아 음성 언어 문법에 따라 나열된 토큰 단위의 음성문장을 출력하는 순환신경망 네트워크 구조의 디코더를 포함하며,상기 제2 번역모델은 입력이 음성 언어 문법에 따라 나열된 토큰 단위의 시퀀스 형태인 음성문장이고 정답이 수어의 문법에 따라 나열된 글로스의 시퀀스인 학습데이터로 학습되어, 음성 언어 문법에 따른 음성문장을 수어의 문법에 따른 수어로 번역을 수행하는 딥러닝 신경망 네트워크이고, 상기 음성인식부로부터 음성 언어 문법에 따라 나열된 토큰 단위의 시퀀스 형태인 음성문장을 입력받아 임의의 크기의 벡터로 출력하는 순환신경망 네트워크 구조의 인코더; 및 상기 인코더가 출력하는 벡터를 입력받아 글로스의 시퀀스를 출력하는 순환신경망 네트워크 구조의 디코더를 포함하며,상기 글로스는 하나 또는 복수의 제스처로 구성되는 수어의 의미단위이며,상기 글로스의 시퀀스는 글로스가 정해진 순서에 따라 나열되는 것인, 글로스를 이용한 수어 번역 장치
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
청구항 1에 있어서, 번역의 자연스러움을 향상시킬 수 있는 부가조건을 추출하고 저장하며, 상기 제1 번역모델에 제공하는 부가조건 관리부를 더 포함하며, 상기 제1 번역모델은 상기 부가조건이 상기 글로스의 시퀀스와 함께 입력되는 경우, 상기 부가조건이 포함하는 정보를 반영한 음성문장을 출력하고,상기 부가조건은 상기 글로스의 시퀀스가 포함하지 않으면서 음성문장을 완성하기 위하여 필요한 정보이고, 상기 글로스의 시퀀스보다 먼저 상기 제1 번역모델에 입력되는, 글로스를 이용한 수어 번역 장치
|
| 7 |
7
청구항 6에 있어서, 상기 부가조건은 수어 사용자와 음성 언어 사용자의 대화내용, 개인정보, 현재위치 중의 어느 하나에 기초하여 부가조건 관리부가 추출하는 정보인, 글로스를 이용한 수어 번역 장치
|
| 8 |
8
입력이 수어의 문법에 따라 나열된 글로스의 시퀀스이고 정답이 음성 언어 문법에 따라 나열된 토큰 단위의 시퀀스 형태인 음성문장인 학습데이터를 이용하여 제1 번역모델을 학습시키고, 입력이 음성 언어 문법에 따라 나열된 토큰 단위의 시퀀스 형태인 음성문장이고 정답이 수어의 문법에 따라 나열된 글로스의 시퀀스인 학습데이터를 이용하여 제2 번역모델을 학습시키는 학습부;수어-음성 번역 모델 및 음성-수어 번역 모델의 양방향 번역의 결과물을 사용자로부터 입력되는 번역 결과의 정확성에 관한 피드백에 기초하여 상기 학습데이터에 추가하여 학습 성능을 개선하는 번역결과 업데이트부를 포함하고,상기 제1 번역모델은 수어의 문법에 따른 수어를 음성 언어 문법에 따른 음성문장으로 번역을 수행하는 딥러닝 신경망 네트워크이고, 상기 수어의 문법에 따라 나열된 상기 글로스의 시퀀스를 입력받아 임의 크기의 벡터로 출력하는 순환신경망 네트워크 구조의 인코더; 및 상기 인코더가 출력하는 벡터를 입력받아 음성 언어 문법에 따라 나열된 토큰 단위의 음성문장을 출력하는 순환신경망 네트워크 구조의 디코더를 포함하며,상기 제2 번역모델은 음성 언어 문법에 따른 음성문장을 수어의 문법에 따른 수어로 번역을 수행하는 딥러닝 신경망 네트워크이고, 상기 음성 언어 문법에 따라 나열된 토큰 단위의 시퀀스 형태인 음성문장을 입력받아 임의의 크기의 벡터로 출력하는 순환신경망 네트워크 구조의 인코더; 및 상기 인코더가 출력하는 벡터를 입력받아 글로스의 시퀀스를 출력하는 순환신경망 네트워크 구조의 디코더를 포함하며,상기 글로스는 하나 또는 복수의 제스처로 구성되는 수어의 의미단위이고,상기 글로스의 시퀀스는 글로스가 정해진 순서에 따라 나열되는 것인, 글로스를 이용한 번역모델 학습장치
|
| 9 |
9
청구항 8에 있어서, 번역의 자연스러움을 향상시킬 수 있는 부가조건을 상기 학습데이터에 추가하여 학습 성능을 개선하는 부가조건 업데이트부를 더 포함하고, 상기 부가조건은 상기 글로스의 시퀀스가 포함하지 않으면서 음성문장을 완성하기 위하여 필요한 정보이고, 상기 제1 번역모델을 학습시키기 위한 학습데이터의 입력에서 상기 글로스의 시퀀스보다 먼저 상기 제1 번역모델에 입력되도록 나열되는, 글로스를 이용한 번역모델 학습장치
|
