| 1 |
1
항공기를 포함하는 기계류의 정비 훈련, 교육 및 홍보를 위한 메타버스 혼합 현실(Mixed Reality)에서, 스마트 안경을 통해 상기 정비 훈련, 교육 및 홍보를 위한 특정 시각적 요소에 대하여 시뮬레이션을 수행하기 위한 디지털 트윈(Digital Twin)을 제공하여 3D 시뮬레이션을 수행하는 시뮬레이션 수행부; 2D 매뉴얼, 상기 2D 매뉴얼의 작업 지시서 및 SCM(Simulation Cost Model)을 포함하는 학습 정보에 기초하여 인공지능 지식(Knowledge)을 제공하는 학습부; 및상기 제공된 인공지능 지식, 상기 디지털 트윈에 기초하여 상기 3D 시뮬레이션을 수행하기 위해 음성 요청을 처리하기 위한 신경망 작업과 언어적 추론을 수행하고, 사용자에게 시각 및 음성 피드백을 전송하여 요청된 작업의 처리 및 완료에 대해 통지하는 신경 언어 음성 실행부를 포함하고, 상기 신경 언어 음성 실행부는, 스마트 안경을 착용한 사용자가 자신의 오디오 요청을 녹음하도록 신경 언어 음성 실행부를 트리거하고, 신경 언어 음성 실행부가 트리거 구문을 감지하고 동적 길이 오디오 녹음 알고리즘을 호출하여 마이크에서 출력되는 음성 신호 스트림에서 오디오 데이터를 생성하도록 처리하는 동적 길이 오디오 녹음기; 상기 오디오 데이터를 텍스트로 변환하여 자동 음성 인식을 위한 음성-텍스트의 형태로 텍스트-프로그램 네트워크로 전달하는 음성-텍스트 네트워크-상기 음성-텍스트 네트워크는 자동 음성 인식 신경망(Automatic Speech Recognition neural network)임-; 상기 음성-텍스트를 도메인별 언어의 실행 가능한 프로그램 시퀀스로 변환하기 위한 함수와 매개변수로 구성된 텍스트-프로그램 네트워크; 및 사용자에게 시각 및 음성 피드백을 전송하여 요청된 작업의 처리 및 완료에 대해 통지하는 언어 프로그램 실행기를 포함하는 메타버스 플랫폼을 이용한 혼합현실에서의 훈련, 교육 및 홍보 시스템
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서,상기 텍스트-프로그램 네트워크는, 텍스트의 단어를 교육 데이터셋의 단어와 일치시키 위한 일반 어휘(General Vocabulary)를 이용하여 요청 벡터로 변환하고, 상기 요청 벡터를 프로그램 벡터로 변환하며, 상기 프로그램 벡터는 프로그램 생성에 사용되는 도메인 특정 언어(Domain Specific Language)의 구성 요소에 대한 참조를 포함하는 메타버스 플랫폼을 이용한 혼합현실에서의 훈련, 교육 및 홍보 시스템
|
| 4 |
4
제1항에 있어서,상기 언어 프로그램 실행기는, 실행해야 하는 프로그램을 입력으로 사용하고, 각 프로그램은 함수 및 해당 매개변수로 구성되며, 주어진 프로그램의 각 프로그램에 대해 반복을 입력하면 함수 및 매개변수가 추출되고, 이전 반복의 결과를 설명하는 변수(Prev)가 매개변수에 추가되고, 함수와 매개변수가 준비되면 Execute 함수는 각 함수를 호출하고 추출된 매개변수를 전달하며, 각 함수는 반환 값을 가지므로 각 반복에서 변수(Prev)가 업데이트되고, 상기 사용자에게 시각 및 음성 피드백을 전송하여 요청된 작업의 처리 및 완료에 대해 통지하기 위해 매뉴얼에서 추출된 지식에 기초하여 주어진 명령어를 수행하고 프로그램에 적용하는 메타버스 플랫폼을 이용한 혼합현실에서의 훈련, 교육 및 홍보 시스템
|
| 5 |
5
항공기를 포함하는 기계류의 정비 훈련, 교육 및 홍보를 위한 메타버스 혼합 현실(Mixed Reality)에서, 스마트 안경을 통해 상기 정비 훈련, 교육 및 홍보를 위한 특정 시각적 요소에 대하여 시뮬레이션을 수행하기 위한 디지털 트윈(Digital Twin)을 시뮬레이션 수행부가 제공하여 3D 시뮬레이션을 수행하는 단계; 학습부를 통해 2D 매뉴얼, 상기 2D 매뉴얼의 작업 지시서 및 SCM(Simulation Cost Model)을 포함하는 학습 정보에 기초하여 인공지능 지식(Knowledge)을 제공하는 단계; 및상기 제공된 인공지능 지식, 상기 디지털 트윈에 기초하여 상기 3D 시뮬레이션을 수행하기 위해 신경 언어 음성 실행부가 음성 요청을 처리하기 위한 신경망 모델과 심볼릭(Symbolic)한 인공지능 지식 추론을 함께 수행하고, 사용자에게 시각 및 음성 피드백을 전송하여 요청된 작업의 처리 및 완료에 대해 통지하는 단계를 포함하고, 상기 제공된 2D 매뉴얼 및 3D 매뉴얼에 기초하여 시뮬레이션을 수행하기 위해 신경 언어 음성 실행부를 통해 음성 요청을 처리하기 위한 신경망의 작업과 언어적 추론을 수행하는 단계는, 스마트 안경을 착용한 사용자가 자신의 오디오 요청을 녹음하도록 신경 언어 음성 실행부를 트리거하고, 신경 언어 음성 실행부가 트리거 구문을 감지하고 동적 길이 오디오 녹음 알고리즘을 호출하여 마이크에서 출력되는 음성 신호 스트림에서 오디오 데이터를 생성하도록 처리하는 단계; 음성-텍스트 네트워크를 통해 상기 오디오 데이터를 텍스트로 변환하여 자동 음성 인식을 위한 음성-텍스트의 형태로 텍스트-프로그램 네트워크로 전달하는 단계 -상기 음성-텍스트 네트워크는 자동 음성 인식 신경망(Automatic Speech Recognition neural network)임-; 함수와 매개변수로 구성된 텍스트-프로그램 네트워크를 통해 상기 음성-텍스트를 인공지능 도메인 지식에 기초하여 실행 가능한 프로그램 시퀀스로 변환하는 단계; 및 언어 프로그램 실행기를 통해 사용자에게 시각 및 음성 피드백을 전송하여 요청된 작업의 처리 및 완료에 대해 통지하는 단계를 포함하는 메타버스 플랫폼을 이용한 혼합현실에서의 훈련, 교육 및 홍보 방법
|
| 6 |
6
삭제
|
| 7 |
7
제5항에 있어서,상기 함수와 매개변수로 구성된 텍스트-프로그램 네트워크를 통해 상기 음성-텍스트를 도메인별 언어의 실행 가능한 프로그램 시퀀스로 변환하는 단계는, 텍스트의 단어를 교육 데이터셋의 단어와 일치시키 위한 일반 어휘(General Vocabulary)를 이용하여 요청 벡터로 변환하고, 상기 요청 벡터를 프로그램 벡터로 변환하며, 상기 프로그램 벡터는 프로그램 생성에 사용되는 도메인 특정 언어(Domain Specific Language)의 구성 요소에 대한 참조를 포함하는 메타버스 플랫폼을 이용한 혼합현실에서의 훈련, 교육 및 홍보 방법
|
| 8 |
8
제5항에 있어서,언어 프로그램 실행기를 통해 사용자에게 시각 및 음성 피드백을 전송하여 요청된 작업의 처리 및 완료에 대해 통지하는 단계는, 실행해야 하는 프로그램을 입력으로 사용하고, 각 프로그램은 함수 및 해당 매개변수로 구성되며, 주어진 프로그램의 각 프로그램에 대해 반복을 입력하면 함수 및 매개변수가 추출되고, 이전 반복의 결과를 설명하는 변수(Prev)가 매개변수에 추가되고, 함수와 매개변수가 준비되면 Execute 함수는 각 함수를 호출하고 추출된 매개변수를 전달하며, 각 함수는 반환 값을 가지므로 각 반복에서 변수(Prev)가 업데이트되고, 상기 언어 프로그램 실행기를 통해 상기 사용자에게 시각 및 음성 피드백을 전송하여 요청된 작업의 처리 및 완료에 대해 통지하기 위해 매뉴얼에서 추출된 지식을 바탕으로 주어진 명령어를 수행하고 프로그램에 적용하는 메타버스 플랫폼을 이용한 혼합현실에서의 훈련, 교육 및 홍보 방법
|
