맞춤기술찾기

이전대상기술

Zero UI 기반 자동 통역 시스템 및 방법

  • 기술번호 : KST2022005476
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 Zero UI 기반 자동 통역 시스템 및 방법에 관한 것이다. 본 발명에 따른 자동 통역 시스템 및 방법은, 언어가 서로 다른 두 명 이상 사용자의 면대면 대화 시 Zero UI 기반 자동 통역 서비스로 기존 음성 신호를 입력하는 절차 상 불편함과 크로스톡으로 인한 음성 인식 오작동 문제를 해소한다. 각 사용자 단말은 자동 통역 서버와 연결된 후 자동 통역 서버로 원시 음성 신호를 전송하며, 자동 통역 서버는 복수의 원시 음성 신호에 대한 시간 지연 보상과 잡음 제거를 수행하고 자동으로 발화의 시작과 끝을 검출하며, 전력 스펙트럼 밀도의 차이와 화자 특징 값을 이용하여 발화자의 음성 신호를 결정한다. 자동 통역 서버는 결정된 음성 신호를 음성 인식 및 자동 번역 과정을 거쳐서 타겟 언어로 변환하고, 이를 자막 또는 음성의 형태로 사용자의 단말로 전송하며, 각 사용자 단말은 전송받은 자막 또는 음성을 출력한다. 본 발명에 따른 Zero UI 기반 자동 통역 시스템은 자동 통역 서비스에 연결된 각 사용자 단말에서 전송받은 복수 개의 음성 신호에서 발화자의 음성 신호를 선택하며, 상기 발화자의 음성 신호를 타겟 언어로 번역한 결과를 하기 상대 단말에 전송하는 자동 통역 서버; 상기 발화자의 음성 신호를 입력받아 상기 자동 통역 서버로 전송하는 발화자 단말; 및 상기 번역한 결과를 타겟 언어로 된 문자나 음성의 형태로 출력하는 상대 단말;을 포함한다.
Int. CL G06F 40/58 (2020.01.01) G10L 21/0208 (2013.01.01) G10L 25/87 (2013.01.01) G10L 17/02 (2013.01.01)
CPC
출원번호/일자 1020210117156 (2021.09.02)
출원인 한국전자통신연구원
등록번호/일자
공개번호/일자 10-2022-0063715 (2022.05.17) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020200149444   |   2020.11.10
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.09.02)
심사청구항수 20

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김상훈 대전광역시 유성구
2 윤승 대전광역시 유성구
3 이민규 대전광역시 유성구
4 맹준규 대전광역시 유성구
5 김동현 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인지명 대한민국 서울특별시 강남구 남부순환로**** 차우빌딩*층

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.09.02 수리 (Accepted) 1-1-2021-1019383-46
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
자동 통역 서비스에 연결된 각 사용자 단말에서 전송받은 복수 개의 음성 신호에서 발화자의 음성 신호를 선택하며, 상기 발화자의 음성 신호를 타겟 언어로 번역한 결과를 하기 상대 단말에 전송하는 자동 통역 서버;상기 발화자의 음성 신호를 입력받아 상기 자동 통역 서버로 전송하는 발화자 단말; 및상기 번역한 결과를 타겟 언어로 된 문자나 음성의 형태로 출력하는 상대 단말;을 포함하는 Zero UI 기반 자동 통역 시스템
2 2
제1항에 있어서, 상기 자동 통역 서버는,상기 복수 개의 음성 신호 간 발생하는 시간 차이를 위상 기반 상호 상관(phase-based cross-correlation)을 통해 보정하는 것인 Zero UI 기반 자동 통역 시스템
3 3
제1항에 있어서, 상기 자동 통역 서버는,에너지 비율(power level ratio) 기반 알고리즘을 통해 상기 각 사용자 단말에서 전송받은 음성 신호의 잡음을 제거하는 것인 Zero UI 기반 자동 통역 시스템
4 4
제1항에 있어서, 상기 자동 통역 서버는,신경망 모델을 이용하여 사용자 단말에서 전송받은 음성 신호에서 실제 발화가 존재하는 구간을 검출하고,상기 신경망 모델은 음성 신호를 입력받아 음성 존재 확률을 산출하도록 학습된 것을 특징으로 하는 것인 Zero UI 기반 자동 통역 시스템
5 5
제1항에 있어서, 자동 통역 서버는,에너지 기반 음성 신호 선택 알고리즘과 화자 특징 벡터를 이용하여 발화자의 음성 신호를 선택하는 것인 Zero UI 기반 자동 통역 시스템
6 6
자동 통역 서비스에 연결된 각 사용자 단말에서 복수 개의 음성 신호를 전송받고, 상기 음성 신호 중 발화자의 음성 신호를 번역한 결과를 타겟 언어를 구사하는 사용자의 단말에 전송하는 통신 모듈;상기 발화자의 음성 신호에 대해 음성 인식을 수행하여 음성 인식 결과를 획득하는 음성 인식기; 및상기 음성 인식 결과에 대해 번역을 수행하여 번역 결과를 획득하는 자동 번역기;를 포함하는 Zero UI 기반 자동 통역 서버
7 7
제6항에 있어서,상기 자동 통역 서버의 자동 통역 프로세스의 수행을 위해 상기 자동 통역 서버에 포함된 구성 요소를 제어하는 제어기;상기 복수 개의 음성 신호 간 발생하는 시간 차이를 위상 기반 상호 상관(phase-based cross-correlation)을 통해 보정하는 시간 보정기;에너지 비율(power level ratio) 기반 알고리즘을 통해 상기 위상 기반 상호 상관을 통해 보정된 음성 신호의 잡음을 제거하는 잡음 제거기;상기 잡음이 제거된 음성 신호에서 실제 발화가 존재하는 음성 구간을 자동으로 검출하는 자동 음성 검출기;상기 잡음이 제거된 복수 개의 음성 신호의 프레임별 에너지 평균값의 차이를 계산하는 전력 레벨 차이 계산기;상기 실제 발화가 존재하는 음성 구간과 상기 프레임별 에너지 평균값의 차이를 기초로 실제 발화자의 음성 신호를 선택하는 음성 신호 선택기; 및상기 선택된 음성 신호를 기초로 화자 특징 벡터를 추출하고, 사전에 등록된 화자 특징 벡터와 유사도를 비교하여 발화자 일치 여부를 검증하는 화자 특징 벡터 추출기;를 더 포함하는 Zero UI 기반 자동 통역 서버
8 8
제7항에 있어서, 상기 시간 보정기는,상기 복수 개의 음성 신호를 시간-주파수 관계의 스펙트럼으로 표현하였을 때 획득할 수 있는 위상 정보를 이용하여 상호 상관(cross-correlation)을 도출하는 것인 Zero UI 기반 자동 통역 서버
9 9
제7항에 있어서, 상기 잡음 제거기는,복수 개의 음성 신호의 전력 스펙트럼 밀도로 비율을 도출해내고, 이득 함수 (gain function)를 적용하여 잡음을 제거하는 알고리즘을 통해 상기 보정된 음성신호의 잡음을 제거하는 것인 Zero UI 기반 자동 통역 서버
10 10
제7항에 있어서, 상기 자동 음성 검출기는,신경망 모델을 이용하여 상기 잡음이 제거된 음성 신호에서 실제 발화가 존재하는 구간을 검출하고,상기 신경망 모델은 음성 신호를 입력받아 음성 존재 확률을 산출하도록 학습된 것을 특징으로 하는 것인 Zero UI 기반 자동 통역 서버
11 11
제7항에 있어서, 상기 음성 신호 선택기는,상기 실제 발화가 존재하는 음성 구간 정보와 상기 프레임별 에너지 평균값의 차이 정보를 기초로, 상기 잡음이 제거된 복수 개의 음성 신호에서 실제 음성 프레임 개수를 산출하고, 상기 실제 음성 프레임 개수가 소정 기준치 이상일 경우에 한해 실제 발화자의 음성 신호를 선택하는 것인 Zero UI 기반 자동 통역 서버
12 12
제7항에 있어서, 상기 화자 특징 벡터는,발화 구간의 음성 신호를 일정 차원의 벡터로 변환한 것인 Zero UI 기반 자동 통역 서버
13 13
제7항에 있어서, 상기 제어기는,상기 번역 결과를 타겟 언어로 된 문자나 음성 중 적어도 하나로 변환하고,상기 통신 모듈은,상기 변환 결과를 타겟 언어를 구사하는 사용자의 단말에 전송하는 것인 Zero UI 기반 자동 통역 서버
14 14
자동 통역 서비스를 제공받는 각 사용자 단말에서 복수 개의 음성 신호를 전송받는 단계; 에너지 기반 음성 신호 선택 알고리즘에 따라 상기 복수 개의 음성 신호 중 발화자의 음성 신호를 선택하는 단계;상기 선택한 음성 신호에 대한 음성 인식 결과를 획득하는 단계;상기 음성 인식 결과에 대해 타겟 언어로 번역한 결과를 획득하는 단계; 및상기 번역한 결과를 타겟 언어의 사용자 단말로 전송하는 단계;를 포함하는 Zero UI 기반 자동 통역 방법
15 15
제14항에 있어서, 상기 복수 개의 음성 신호를 전송받는 단계 이후에,상기 복수 개의 음성 신호 간 시간의 차이를 위상 기반 상호 상관을 통해 보정하는 시간 차이 보정 단계;에너지 비율 기반 알고리즘을 통해 상기 보정된 복수 개의 음성 신호에 존재하는 잡음을 제거하는 잡음 제거 단계;상기 잡음이 제거된 복수 개의 음성 신호에서 실제 발화가 존재하는 음성 구간을 자동으로 검출하는 발화 구간 자동 검출 단계; 및상기 잡음이 제거된 복수 개의 음성 신호의 프레임별 에너지 평균값의 차이를 계산하는 단계;를 더 포함하는 Zero UI 기반 자동 통역 방법
16 16
제14항에 있어서, 상기 발화자의 음성 신호를 선택하는 단계 이후에,화자 특징 벡터를 이용하여 선택한 음성 신호가 타겟 화자의 음성인지 검증하는 단계;를 더 포함하는 Zero UI 기반 자동 통역 방법
17 17
제15항에 있어서, 상기 시간 차이 보정 단계는,상기 복수 개의 음성 신호를 시간-주파수 관계의 스펙트럼으로 표현하였을 때 획득할 수 있는 위상 정보를 이용하여 상호 상관(cross-correlation)을 도출하는 것인 Zero UI 기반 자동 통역 방법
18 18
제15항에 있어서, 상기 잡음 제거 단계는,복수 개의 음성 신호의 전력 스펙트럼 밀도로 비율을 도출해내고, 이득 함수 (gain function)를 적용하여 잡음을 제거하는 알고리즘을 통해 상기 보정된 복수 개의 음성 신호에 존재하는 잡음을 제거하는 것인 Zero UI 기반 자동 통역 방법
19 19
제15항에 있어서, 상기 발화 구간 자동 검출 단계는,음성 신호를 입력받아 음성 존재 확률을 산출하도록 학습된 신경망 모델을 이용하여 상기 잡음이 제거된 복수 개의 음성 신호에서 실제 발화가 존재하는 구간을 검출하는 것인 Zero UI 기반 자동 통역 방법
20 20
제15항에 있어서, 상기 발화자의 음성 신호를 선택하는 단계는,상기 실제 발화가 존재하는 음성 구간과 상기 프레임별 에너지 평균값의 차이를 기초로 실제 발화자의 음성 신호를 선택하는 것인 Zero UI 기반 자동 통역 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 한국전자통신연구원 정부출연금사업(기관고유사업) 자율성장형 복합인공지능 원천기술연구