| 1 |
1
시각적 정보를 이용한 통역 결과 제공 장치에 의해 수행되는 방법에 있어서,사용자의 시선 정보를 포함하는 공간영역 영상 및 상기 공간영역 영상 내 응시지점 정보를 획득하는 단계;상기 획득한 공간영역 영상을 복수 개의 영상으로 분할하는 단계;상기 분할된 영상 각각에 대하여 텍스트가 포함된 텍스트 영역을 탐지하는 단계;상기 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록을 생성하고, 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하는 단계; 상기 결정된 텍스트 블록에 포함된 제1 언어를 목표언어인 제2 언어로 변환하는 단계; 및상기 변환된 제2 언어 결과를 사용자에게 제공하는 단계를 포함하는,시각적 정보를 이용한 통역 결과 제공 방법
|
| 2 |
2
제1항에 있어서,상기 공간영역 영상 및 이에 상응하는 응시지점 정보를 시간을 기준으로 정렬하는 단계를 더 포함하는,시각적 정보를 이용한 통역 결과 제공 방법
|
| 3 |
3
제1항에 있어서,상기 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록을 생성하고, 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하는 단계는,소정의 인접 구간 내에 연속하여 위치하는 텍스트 블록을 하나의 텍스트 블록으로 결합하는 단계; 및상기 텍스트 블록 또는 결합된 텍스트 블록을 대상으로 고유번호를 부여하는 단계를 포함하는,시각적 정보를 이용한 통역 결과 제공 방법
|
| 4 |
4
제3항에 있어서,상기 소정의 인접 구간 내에 연속하여 위치하는 텍스트 블록을 하나의 텍스트 블록으로 결합하는 단계는,동일 또는 상호 인접한 텍스트 영역에 위치하되 서로 다른 사이즈 및 폰트 중 적어도 하나를 갖는 텍스트 블록은 분리하는 단계를 포함하는,시각적 정보를 이용한 통역 결과 제공 방법
|
| 5 |
5
제3항에 있어서,상기 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록을 생성하고, 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하는 단계는,이전 시각 정보에서 부여된 고유번호에 상응하는 텍스트 블록을 일정 시간 동안 동일한 텍스트 블록으로 인식하는 단계를 더 포함하는,시각적 정보를 이용한 통역 결과 제공 방법
|
| 6 |
6
제1항에 있어서,상기 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록을 생성하고, 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하는 단계는,상기 생성된 텍스트 블록 중 상기 응시지점 정보에 가장 가까운 텍스트 블록을 선택하여 결정하는 것인,시각적 정보를 이용한 통역 결과 제공 방법
|
| 7 |
7
제1항에 있어서,상기 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록을 생성하고, 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하는 단계는,상기 응시지점 정보와 상이한 사용자의 포인트 정보가 있는 경우, 상기 포인트 정보와 가장 가까운 텍스트 블록을 선택하여 결정하는 것인,시각적 정보를 이용한 통역 결과 제공 방법
|
| 8 |
8
제7항에 있어서,상기 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록을 생성하고, 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하는 단계는,상기 사용자의 포인트 정보가 복수 개로 탐지되는 경우, 복수 개의 포인트 정보 중 하나의 포인트 정보만을 사용하도록 하는 피드백 정보를 제공하는 것인,시각적 정보를 이용한 통역 결과 제공 방법
|
| 9 |
9
제7항에 있어서,상기 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록을 생성하고, 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하는 단계는,상기 사용자의 포인트 정보가 동일한 텍스트 블록 내에서 일정한 시간동안 연속적으로 이동한 경우, 상기 포인트 정보가 가르킨 텍스트 범위를 하나의 독립된 사용자 지정 텍스트 블록으로 선택하여 결정하는 것인, 시각적 정보를 이용한 통역 결과 제공 방법
|
| 10 |
10
제1항에 있어서,상기 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록을 생성하고, 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하는 단계는,상기 응시지점 정보가 일정 시간동안 고정되지 않고 산발적으로 흔들리는 경우, 사용자의 포인트 정보를 이용할 것을 안내하는 메시지를 제공하는 단계를 포함하는,시각적 정보를 이용한 통역 결과 제공 방법
|
| 11 |
11
제1항에 있어서,상기 획득한 공간영역 영상을 복수 개의 영상으로 분할하는 단계는,상기 획득한 공간영역 영상을 미리 학습된 신경망 알고리즘에 기초하여 복수 개의 영상으로 분할하는 단계; 상기 분할된 영상 각각에 대하여 기 지정된 분류(class) 중 어느 하나의 개별 객체로 결정하는 단계; 및상기 결정된 개별 객체를 대상으로 상기 텍스트 인식 결과인 텍스트 블록을 기준으로 하는 개별 객체의 상대적인 위치 정보를 생성하는 단계를 포함하는,시각적 정보를 이용한 통역 결과 제공 방법
|
| 12 |
12
제11항에 있어서,상기 결정된 텍스트 블록에 포함된 제1 언어를 목표언어인 제2 언어로 변환하는 단계는,상기 결정된 텍스트 블록에 상응하는 개별 객체의 상대적인 위치 정보를 상기 제2 언어로 변환하고,상기 변환된 제2 언어를 사용자에게 제공하는 단계는,상기 결정된 텍스트 블록 및 위치 정보에 대한 제2 언어를 사용자에게 제공하는 것인,시각적 정보를 이용한 통역 결과 제공 방법
|
| 13 |
13
시각적 정보를 이용한 통역 결과 제공 장치에 있어서,사용자의 시선 정보를 포함하는 공간영역 영상 및 상기 공간영역 영상 내 응시지점 정보를 획득하는 시각정보 수신부,상기 획득한 공간영역 영상을 복수 개의 영상으로 분할하고, 분할된 영상 각각에 대하여 텍스트가 포함된 텍스트 영역을 탐지하며, 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록 중 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하고, 결정된 텍스트 블록에 포함된 제1 언어를 목표언어인 제2 언어로 변환하는 시각정보 변환부 및상기 변환된 제2 언어 결과를 사용자에게 제공하는 통역 결과 제공부를 포함하는,시각적 정보를 이용한 통역 결과 제공 장치
|
| 14 |
14
제13항에 있어서,상기 시각정보 변환부는 소정의 인접 구간 내에 연속하여 위치하는 텍스트 블록을 하나의 텍스트 블록으로 결합하고, 상기 텍스트 블록 또는 결합된 텍스트 블록을 대상으로 고유번호를 부여하는 것인,시각적 정보를 이용한 통역 결과 제공 장치
|
| 15 |
15
제14항에 있어서,상기 시각정보 변환부는 이전 시각 정보에서 부여된 고유번호에 상응하는 텍스트 블록을 일정 시간 동안 동일한 텍스트 블록으로 인식하는 것인,시각적 정보를 이용한 통역 결과 제공 장치
|
| 16 |
16
제13항에 있어서,상기 시각정보 변환부는 상기 생성된 텍스트 블록 중 상기 응시지점 정보에 가장 가까운 텍스트 블록을 선택하여 결정하는 것인,시각적 정보를 이용한 통역 결과 제공 장치
|
| 17 |
17
제13항에 있어서,상기 시각정보 변환부는 상기 응시지점 정보와 상이한 사용자의 포인트 정보가 있는 경우, 상기 포인트 정보와 가장 가까운 텍스트 블록을 선택하여 결정하는 것인,시각적 정보를 이용한 통역 결과 제공 장치
|
| 18 |
18
제13항에 있어서,상기 시각정보 변환부는 상기 획득한 공간영역 영상을 미리 학습된 신경망 알고리즘에 기초하여 복수 개의 영상으로 분할하고, 상기 분할된 영상 각각에 대하여 기 지정된 분류(class) 중 어느 하나의 개별 객체로 결정하며,상기 통역 결과 제공부는 상기 결정된 개별 객체를 대상으로 상기 텍스트 인식 결과인 텍스트 블록을 기준으로 하는 개별 객체의 상대적인 위치 정보를 생성하는 것인,시각적 정보를 이용한 통역 결과 제공 장치
|
| 19 |
19
제18항에 있어서,상기 시각정보 변환부는 상기 결정된 텍스트 블록에 상응하는 개별 객체의 상대적인 위치 정보를 상기 제2 언어로 변환하고,상기 통역 결과 제공부는 상기 결정된 텍스트 블록 및 위치 정보에 대한 제2 언어 결과를 사용자에게 제공하는 것인,시각적 정보를 이용한 통역 결과 제공 장치
|
| 20 |
20
시각적 정보를 이용한 통역 결과 제공 시스템에 있어서,외부 장치로부터 사용자의 시선 정보를 포함하는 공간영역 영상 및 상기 공간영역 영상 내 응시지점 정보를 획득하는 통신모듈,상기 공간영역 영상 및 응시지점 정보에 기초하여 텍스트를 인식하고, 인식된 텍스트를 대상으로 통역 결과를 제공하기 위한 프로그램이 저장된 메모리, 상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 획득한 공간영역 영상을 복수 개의 영상으로 분할하고, 분할된 영상 각각에 대하여 텍스트가 포함된 텍스트 영역을 탐지하며, 탐지된 각 텍스트 영역에 대한 텍스트 인식 결과인 텍스트 블록 중 상기 응시지점 정보에 상응하는 텍스트 블록을 결정하고, 결정된 텍스트 블록에 포함된 제1 언어를 목표언어인 제2 언어로 변환하는 프로세서 및상기 변환된 제2 언어 결과를 사용자에게 제공하는 장치를 포함하는,시각적 정보를 이용한 통역 결과 제공 시스템
|
