| 1 |
1
피드백 제공 시스템에서 수행되는 피드백 제공 방법에 있어서, 발화자의 의사소통 훈련을 수행하기 위한 가상현실 환경을 구성하는 단계;상기 가상현실 환경에서 상기 발화자로부터 발화되는 발화자의 시선 정보, 행동 정보 및 대화 정보를 포함하는 발화 훈련 정보를 획득하는 단계; 상기 획득된 발화 훈련 정보를 분석함에 따라 상기 발화자와 관련된 분석 결과를 생성하는 단계; 및 상기 발화자로부터 실제 상황에서 발생하는 발화 정보에 대응하여 상기 분석 결과에 기반한 피드백을 모바일 장치를 통해 제공하는 단계를 포함하고, 상기 획득된 발화 훈련 정보를 분석함에 따라 상기 발화자와 관련된 분석 결과를 생성하는 단계는,상기 발화자의 텍스트 데이터 또는 음성 데이터를 포함하는 대화 정보에 대하여 시나리오 스크립트에 대한 모범 답안과 상기 발화자의 답변에 대한 유사도를 측정하여 발화자의 답변에 대한 정답 여부를 판단하고, 상기 판단된 발화자의 답변에 대한 정답 여부에 기초하여 다음에 진행될 질문을 선정하고, 상기 발화자로부터 발화된 답변이 정답인 경우, 발화자의 이해도에 따라 정해진 다음 질문을 제시하고, 정답이 아닌 경우, 상기 발화자로부터 질문이 재질의되고, 상기 재질의된 질문에 대하여 다시 오답이 제시될 경우 상기 질문을 패스하고, 상기 발화자의 적어도 하나 이상의 신체 부위에 대한 3차원 좌표값에 기반하여 9개의 방향 벡터를 계산하고, 상기 계산된 방향 벡터에 기초하여 상기 발화자의 상체 동작의 행동 정보를 파악하고, 의사소통 훈련 장치로 질문에 대한 정답률, 상기 질문에 대하여 오답된 모범 답안, 상기 발화자의 시선 마주침 등급 또는 상기 발화자로부터 기 설정된 횟수 이상 행해진 상체 동작의 행동 정보와 상기 상체 동작의 행동 정보의 의미를 포함하는 분석 결과를 제공하는 단계를 포함하고,상기 분석 결과에 기반한 피드백을 모바일 장치를 통해 제공하는 단계는,상기 모바일 장치로 상기 발화자의 발화 내용에 대한 요약 정보, 상기 발화자의 대화 흐름의 변경 여부 또는 상기 발화자로부터 예측되는 상체 동작의 행동 정보를 피드백 정보로 제공하는 단계를 포함하고,상기 발화자의 대화 흐름의 변경 여부는, 수학식 6()에 의하여 도출되고, 상기 수학식 6에서 scurrent는 현재 발화된 내용, scurrent-1은 scurrent의 이전 발화된 내용을 의미하며, 내용 간의 문맥 유사도가 낮아질 경우, 문맥이 변경되었다고 판단되고, 상기 발화자로부터 예측되는 상체 동작의 행동 정보는, 데이터베이스에 저장된 훈련 시의 발화 훈련 정보와 상체 동작 기록에 기초하여 수학식 7()의 확률 모델이 생성되고, 상기 단어()가 발화됐을 때, 상체 동작(가 발현될 확률 이 일정 기준 이상일 경우, 상체 동작으로 정의되고, 상기 발화자로부터 표현된 상체 동작이 수학식 8()의 선정 기준에 의하여 선정되고, 상기 발화자로부터 발화된 대화 정보를 단어 단위로 분할함에 따라 발화된 단어들에 대하여 상기 수학식 7의 확률 모델과 수학식 8의 선정 기준에 기초하여 기 설정된 확률 이상의 상체 동작들이 선정되는피드백 제공 방법
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
제1항에 있어서,상기 발화자의 의사소통 훈련을 수행하기 위한 가상현실 환경을 구성하는 단계는,상기 발화자와 대화를 수행하는 아바타를 생성함에 따라 상기 가상현실 환경을 제공하는 의사소통 훈련 장치를 통하여 상기 발화자가 상기 생성된 아바타와 의사소통 훈련이 수행되는 단계 를 포함하는 피드백 제공 방법
|
| 7 |
7
제6항에 있어서, 상기 발화자의 의사소통 훈련을 수행하기 위한 가상현실 환경을 구성하는 단계는,상기 의사소통 훈련을 수행하기 위한 적어도 하나 이상의 종류를 포함하는 시나리오를 제공하고, 상기 발화자로부터 선택된 시나리오에 기초하여 시나리오 스크립트가 셋팅되는 단계를 포함하고,상기 시나리오 스크립트는, 상기 발화자의 발화 훈련 정보에 대응하여 동적으로 질문 순서가 결정되는 것 을 포함하는 피드백 제공 방법
|
| 8 |
8
피드백 제공 시스템에서 수행되는 피드백 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서, 발화자의 의사소통 훈련을 수행하기 위한 가상현실 환경을 구성하는 단계;상기 가상현실 환경에서 상기 발화자로부터 발화되는 발화자의 시선 정보, 행동 정보 및 대화 정보를 포함하는 발화 훈련 정보를 획득하는 단계; 상기 획득된 발화 훈련 정보를 분석함에 따라 상기 발화자와 관련된 분석 결과를 생성하는 단계; 및 상기 발화자로부터 실제 상황에서 발생하는 발화 정보에 대응하여 상기 분석 결과에 기반한 피드백을 모바일 장치를 통해 제공하는 단계를 포함하고, 상기 획득된 발화 훈련 정보를 분석함에 따라 상기 발화자와 관련된 분석 결과를 생성하는 단계는,상기 발화자의 텍스트 데이터 또는 음성 데이터를 포함하는 대화 정보에 대하여 시나리오 스크립트에 대한 모범 답안과 상기 발화자의 답변에 대한 유사도를 측정하여 발화자의 답변에 대한 정답 여부를 판단하고, 상기 판단된 발화자의 답변에 대한 정답 여부에 기초하여 다음에 진행될 질문을 선정하고, 상기 발화자로부터 발화된 답변이 정답인 경우, 발화자의 이해도에 따라 정해진 다음 질문을 제시하고, 정답이 아닌 경우, 상기 발화자로부터 질문이 재질의되고, 상기 재질의된 질문에 대하여 다시 오답이 제시될 경우 상기 질문을 패스하고, 상기 발화자의 적어도 하나 이상의 신체 부위에 대한 3차원 좌표값에 기반하여 9개의 방향 벡터를 계산하고, 상기 계산된 방향 벡터에 기초하여 상기 발화자의 상체 동작의 행동 정보를 파악하고, 의사소통 훈련 장치로 질문에 대한 정답률, 상기 질문에 대하여 오답된 모범 답안, 상기 발화자의 시선 마주침 등급 또는 상기 발화자로부터 기 설정된 횟수 이상 행해진 상체 동작의 행동 정보와 상기 상체 동작의 행동 정보의 의미를 포함하는 분석 결과를 제공하는 단계를 포함하고,상기 분석 결과에 기반한 피드백을 모바일 장치를 통해 제공하는 단계는,상기 모바일 장치로 상기 발화자의 발화 내용에 대한 요약 정보, 상기 발화자의 대화 흐름의 변경 여부 또는 상기 발화자로부터 예측되는 상체 동작의 행동 정보를 피드백 정보로 제공하는 단계를 포함하고,상기 발화자의 대화 흐름의 변경 여부는, 수학식 6()에 의하여 도출되고, 상기 수학식 6에서 scurrent는 현재 발화된 내용, scurrent-1은 scurrent의 이전 발화된 내용을 의미하며, 내용 간의 문맥 유사도가 낮아질 경우, 문맥이 변경되었다고 판단되고, 상기 발화자로부터 예측되는 상체 동작의 행동 정보는, 데이터베이스에 저장된 훈련 시의 발화 훈련 정보와 상체 동작 기록에 기초하여 수학식 7()의 확률 모델이 생성되고, 상기 단어()가 발화됐을 때, 상체 동작(가 발현될 확률 이 일정 기준 이상일 경우, 상체 동작으로 정의되고, 상기 발화자로부터 표현된 상체 동작이 수학식 8()의 선정 기준에 의하여 선정되고, 상기 발화자로부터 발화된 대화 정보를 단어 단위로 분할함에 따라 발화된 단어들에 대하여 상기 수학식 7의 확률 모델과 수학식 8의 선정 기준에 기초하여 기 설정된 확률 이상의 상체 동작들이 선정되는컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램
|
| 9 |
9
피드백 제공 시스템에 있어서, 발화자의 의사소통 훈련을 수행하기 위한 가상현실 환경을 구성하는 구성부;상기 가상현실 환경에서 상기 발화자로부터 발화되는 발화자의 시선 정보, 행동 정보 및 대화 정보를 포함하는 발화 훈련 정보를 획득하는 획득부; 상기 획득된 발화 훈련 정보를 분석함에 따라 상기 발화자와 관련된 분석 결과를 생성하는 생성부; 및 상기 발화자로부터 실제 상황에서 발생하는 발화 정보에 대응하여 상기 분석 결과에 기반한 피드백을 모바일 장치를 통해 제공하는 제공부를 포함하고, 상기 생성부는, 상기 발화자의 텍스트 데이터 또는 음성 데이터를 포함하는 대화 정보에 대하여 시나리오 스크립트에 대한 모범 답안과 상기 발화자의 답변에 대한 유사도를 측정하여 발화자의 답변에 대한 정답 여부를 판단하고, 상기 판단된 발화자의 답변에 대한 정답 여부에 기초하여 다음에 진행될 질문을 선정하고, 상기 발화자로부터 발화된 답변이 정답인 경우, 발화자의 이해도에 따라 정해진 다음 질문을 제시하고, 정답이 아닌 경우, 상기 발화자로부터 질문이 재질의되고, 상기 재질의된 질문에 대하여 다시 오답이 제시될 경우 상기 질문을 패스하고, 상기 발화자의 적어도 하나 이상의 신체 부위에 대한 3차원 좌표값에 기반하여 9개의 방향 벡터를 계산하고, 상기 계산된 방향 벡터에 기초하여 상기 발화자의 상체 동작의 행동 정보를 파악하고, 의사소통 훈련 장치로 질문에 대한 정답률, 상기 질문에 대하여 오답된 모범 답안, 상기 발화자의 시선 마주침 등급 또는 상기 발화자로부터 기 설정된 횟수 이상 행해진 상체 동작의 행동 정보와 상기 상체 동작의 행동 정보의 의미를 포함하는 분석 결과를 제공하는 것을 포함하고,상기 제공부는,모바일 장치로 상기 발화자의 발화 내용에 대한 요약 정보, 상기 발화자의 대화 흐름의 변경 여부 또는 상기 발화자로부터 예측되는 상체 동작의 행동 정보를 피드백 정보로 제공하는 것을 포함하고,상기 발화자의 대화 흐름의 변경 여부는, 수학식 6()에 의하여 도출되고, 상기 수학식 6에서 scurrent는 현재 발화된 내용, scurrent-1은 scurrent의 이전 발화된 내용을 의미하며, 내용 간의 문맥 유사도가 낮아질 경우, 문맥이 변경되었다고 판단되고, 상기 발화자로부터 예측되는 상체 동작의 행동 정보는, 데이터베이스에 저장된 훈련 시의 발화 훈련 정보와 상체 동작 기록에 기초하여 수학식 7()의 확률 모델이 생성되고, 상기 단어()가 발화됐을 때, 상체 동작(가 발현될 확률 이 일정 기준 이상일 경우, 상체 동작으로 정의되고, 상기 발화자로부터 표현된 상체 동작이 수학식 8()의 선정 기준에 의하여 선정되고, 상기 발화자로부터 발화된 대화 정보를 단어 단위로 분할함에 따라 발화된 단어들에 대하여 상기 수학식 7의 확률 모델과 수학식 8의 선정 기준에 기초하여 기 설정된 확률 이상의 상체 동작들이 선정되는피드백 제공 시스템
|
| 10 |
10
삭제
|
| 11 |
11
삭제
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
제9항에 있어서,상기 구성부는, 상기 발화자와 대화를 수행하는 아바타를 생성함에 따라 상기 가상현실 환경을 제공하는 의사소통 훈련 장치를 통하여 상기 발화자가 상기 생성된 아바타와 의사소통 훈련이 수행되는 것을 특징으로 하는 피드백 제공 시스템
|
| 15 |
15
제14항에 있어서, 상기 구성부는, 상기 의사소통 훈련을 수행하기 위한 적어도 하나 이상의 종류를 포함하는 시나리오를 제공하고, 상기 발화자로부터 선택된 시나리오에 기초하여 시나리오 스크립트가 셋팅되는 것을 포함하고,상기 시나리오 스크립트는, 상기 발화자의 발화 훈련 정보에 대응하여 동적으로 질문 순서가 결정되는 피드백 제공 시스템
|
