| 1 |
1
음성 정보로부터 음성 언어 문장을 인식하고, 영상 정보로부터 외형 이미지와 배경 이미지를 인식하는 인식단계;관절 정보 데이터베이스로부터 상기 음성 언어 문장에 대응하는 복수의 단어-관절정보를 획득하고, 상기 단어-관절정보를 딥러닝 신경망 네트워크에 순서에 따라 입력하여 문장-관절정보를 생성하는 수어 관절 정보 생성 단계; 및 상기 문장-관절정보에 기초하여 모션 모델을 생성하고, 상기 모션 모델에 상기 배경 이미지 및 외형 이미지를 합성한 수어 영상을 생성하는 영상 생성 단계를 포함하고,상기 영상 정보는 수어 사용자와 대화하는 대화 상대를 촬영한 영상 데이터이고,상기 외형 이미지는 상기 영상 정보에 나타난 상기 수어 사용자와 대화하는 대화 상대의 외형이며, 상기 수어 영상은 상기 수어 사용자와 대화하는 대화 상대의 외형이 반영되어, 상기 대화 상대가 수어 제스처를 재현하는 것인, 대화 상대의 외형을 반영한 수어 영상 제공 방법
|
| 2 |
2
청구항 1에 있어서, 상기 수어 관절 정보 생성 단계는 상기 음성 언어 문장과 같은 의미를 갖는 하나 이상의 수어 단어에 해당하는 하나 이상의 단어-관절정보를 수어 문법에 기초하여 관절 정보 데이터베이스로부터 획득하는 관절 정보 획득 단계; 및입력데이터가 단어-관절정보를 포함하고, 정답데이터가 문장-관절정보인 학습데이터로 학습된 딥러닝 신경망 네트워크를 이용하여, 관절 정보 획득부에서 획득한 하나 이상의 단어-관절정보를 입력받아 문장-관절정보를 생성하는 문장-관절정보 생성 단계를 포함하는, 대화 상대의 외형을 반영한 수어 영상 제공 방법
|
| 3 |
3
청구항 1에 있어서, 상기 영상 생성 단계는 상기 문장-관절정보에 따라 움직이는 모션 모델을 생성하는 모션 모델 생성 단계;상기 모션 모델의 배경에 상기 배경 이미지를 합성하는 배경 이미지 합성 단계; 및 상기 모션 모델에 상기 외형 이미지를 합성하는 외형 이미지 합성 단계를 포함하는, 대화 상대의 외형을 반영한 수어 영상 제공 방법
|
| 4 |
4
청구항 3에 있어서, 상기 외형 이미지 합성 단계는 상기 외형 이미지에 대화 상대의 신체의 일부가 포함되지 않는 경우, 미리 저장된 대화 상대의 외형 이미지 또는 기본 외형 이미지의 전부 또는 일부를 상기 모션 모델에 합성하는 것인, 대화 상대의 외형을 반영한 수어 영상 제공 방법
|
| 5 |
5
청구항 2에 있어서, 상기 인식단계는 상기 음성 정보로부터 음성-기반 비언어정보를 더 인식하고, 상기 영상 정보로부터 영상-기반 비언어정보를 더 인식하며, 상기 문장-관절정보 생성 단계는 입력데이터가 상기 음성-기반 비언어정보와 상기 영상-기반 비언어정보를 더 포함하고, 정답데이터가 상기 음성-기반 비언어정보 또는 영상-기반 비언어정보가 반영된 문장-관절정보인 학습데이터로 학습된 딥러닝 신경망 네트워크를 이용하여, 상기 관절 정보 획득부에서 획득한 하나 이상의 단어-관절정보, 음성-기반 비언어정보, 영상-기반 비언어정보를 입력받아 문장-관절정보를 생성하는, 대화 상대의 외형을 반영한 수어 영상 제공 방법
|
| 6 |
6
청구항 1에 있어서, 상기 인식단계 이전에, 수어 사용자가 착용한 단말이 음성 언어를 말하는 대화 상대를 촬영하여 생성한 영상 정보 및 소리로 전달되는 음성 언어를 수신하여 생성한 음성 정보를 상기 단말로부터 실시간으로 수신하는 음성 언어 획득 단계; 및 상기 영상 생성 단계 이후에, 상기 영상 생성 단계에서 생성한 상기 수어 영상을 상기 수어 사용자에게 시각적으로 표시하도록, 상기 수어 영상을 상기 수어 사용자가 착용한 단말로 실시간으로 전송하여 상기 수어 사용자에게 증강현실 방식으로 제공하는 증강현실 제공단계를 더 포함하는, 대화 상대의 외형을 반영한 수어 영상 제공 방법
|
| 7 |
7
청구항 1에 있어서, 상기 단어-관절정보 및 상기 문장-관절정보는 제스처를 재현하기 위하여 필요한 신체의 복수의 특징점의 좌표를 포함하는 단위-관절정보를 순서에 따라 하나 이상 포함하는 것인, 대화 상대의 외형을 반영한 수어 영상 제공 방법
|
| 8 |
8
영상 정보 및 음성 정보에 기초하여, 상기 영상 정보로부터 외형 이미지 및 배경 이미지를 인식하고, 상기 음성 정보로부터 음성 언어 문장을 인식하는 인식모듈;상기 음성 언어 문장에 대응하는 복수의 단어-관절정보를 획득하고, 상기 단어-관절정보를 딥러닝 신경망 네트워크에 순서에 따라 입력하여 문장-관절정보를 생성하는 관절정보 생성모듈; 및 상기 문장-관절정보에 기초하여 모션 모델을 생성하고, 상기 모션 모델에 상기 배경 이미지 및 외형 이미지를 합성한 수어 영상을 생성하는 영상 생성 모듈을 포함하고,상기 영상 정보는 수어 사용자와 대화하는 대화 상대를 촬영한 영상 데이터이고,상기 외형 이미지는 상기 영상 정보에 나타난 상기 수어 사용자와 대화하는 대화 상대의 외형이며, 상기 수어 영상은 상기 수어 사용자와 대화하는 대화 상대의 외형이 반영되어, 상기 대화 상대가 수어 제스처를 재현하는 것인, 대화 상대의 외형을 반영한 수어 영상 제공 장치
|
| 9 |
9
청구항 8에 있어서, 상기 관절정보 생성모듈은 수어 단어를 표현하는 제스처를 재현하기 위한 단어-관절정보를 저장하는 관절 정보 데이터베이스;상기 음성 언어 문장과 같은 의미를 갖는 하나 이상의 수어 단어에 해당하는 하나 이상의 단어-관절정보를 수어 문법에 기초하여 상기 관절 정보 데이터베이스로부터 획득하는 관절 정보 획득부; 및입력데이터가 단어-관절정보를 포함하고, 정답데이터가 문장-관절정보인 학습데이터로 학습된 딥러닝 신경망 네트워크를 이용하여, 상기 관절 정보 획득부에서 획득한 하나 이상의 단어-관절정보를 입력받아 문장-관절정보를 생성하는 문장-관절정보 생성부를 포함하는, 대화 상대의 외형을 반영한 수어 영상 제공 장치
|
| 10 |
10
청구항 9에 있어서, 상기 인식모듈은 상기 음성 정보로부터 음성-기반 비언어정보를 더 인식하고, 상기 영상 정보로부터 영상-기반 비언어정보를 더 인식하며,상기 문장-관절정보 생성부는 입력데이터가 상기 음성-기반 비언어정보와 상기 영상-기반 비언어정보를 더 포함하고, 정답데이터가 상기 음성-기반 비언어정보 또는 영상-기반 비언어정보가 반영된 문장-관절정보인 학습데이터로 학습된 딥러닝 신경망 네트워크를 이용하여, 상기 관절 정보 획득부에서 획득한 하나 이상의 단어-관절정보, 음성-기반 비언어정보, 영상-기반 비언어정보를 입력받아 문장-관절정보를 생성하는, 대화 상대의 외형을 반영한 수어 영상 제공 장치
|
| 11 |
11
청구항 8에 있어서, 상기 영상 생성 모듈은 상기 외형 이미지에 대화 상대의 신체의 일부가 포함되지 않는 경우, 미리 저장된 대화 상대의 외형 이미지 또는 기본 외형 이미지의 전부 또는 일부를 상기 모션 모델에 합성하는, 대화 상대의 외형을 반영한 수어 영상 제공 장치
|
| 12 |
12
청구항 10에 있어서, 상기 음성-기반 비언어정보는 음성 언어의 어조, 높낮이, 음량 및 빠르기 중에서 적어도 하나를 인식하여 수치화한 정보이고,상기 영상-기반 비언어정보는 영상 정보의 외형 이미지에 나타나는 표정이나 몸동작에 기초하여, 감정의 종류, 긍정과 부정의 밸런스, 흥분도 중의 적어도 하나를 인식하여 수치화한 정보인, 대화 상대의 외형을 반영한 수어 영상 제공 장치
|
| 13 |
13
청구항 8에 있어서, 상기 영상 정보 및 음성 정보는 수어 사용자가 착용한 단말이 실시간으로 제공하는 데이터이며, 상기 단말이 대화 상대를 촬영하고 녹음하여 생성한 것이고, 상기 영상 생성 모듈은 상기 수어 사용자가 착용한 단말에서 상기 수어 영상이 실시간으로 재생되도록, 상기 수어 영상을 상기 수어 사용자가 착용한 단말로 제공하는, 대화 상대의 외형을 반영한 수어 영상 제공 장치
|
| 14 |
14
음성 언어를 말하는 대화 상대를 촬영하여 영상 정보를 생성하고 소리로 전달되는 음성 언어를 수신하여 음성 정보를 생성하고, 상기 영상 정보와 음성 정보를 수어 영상 제공 장치로 실시간으로 전송하는 음성 언어 획득부; 및수어 영상 제공 장치로부터 상기 영상 정보와 음성 정보에 기초하여 생성된 상기 대화 상대의 외형이 반영된 수어 영상을 실시간으로 수신하고, 상기 수어 영상을 수어 사용자에게 증강현실 방법으로 시각적으로 표시하는 증강현실 제공부를 포함하고,상기 수어 영상은 상기 수어 사용자와 대화하는 대화 상대의 외형이 반영되어, 상기 대화 상대가 수어 제스처를 재현하는 것인, 대화 상대의 외형을 반영한 수어 영상 제공 단말
|
| 15 |
15
청구항 14에 있어서, 상기 수어 영상은 상기 수어 영상 제공 장치의 인식모듈이 상기 영상 정보 및 음성 정보에 기초하여, 상기 영상 정보로부터 외형 이미지 및 배경 이미지를 인식하고, 상기 음성 정보로부터 음성 언어 문장을 인식하며, 관절정보 생성모듈이 관절 정보 데이터베이스로부터 상기 음성 언어 문장에 대응하는 복수의 단어-관절정보를 획득하고, 상기 단어-관절정보를 딥러닝 신경망 네트워크에 순서에 따라 입력하여 문장-관절정보를 생성하며, 영상 생성 모듈이 상기 문장-관절정보에 기초하여 모션 모델을 생성하고, 상기 모션 모델에 상기 배경 이미지 및 외형 이미지를 합성하여 생성한 수어 영상인, 대화 상대의 외형을 반영한 수어 영상 제공 단말
|
