| 1 |
1
사이버멀미 예측 시스템에 의해 수행되는 가상현실 환경의 사이버멀미 예측을 위한 인공지능 모델 구축 방법에 있어서, 멀티모달 데이터를 이용하여 가상현실 환경의 사이버멀미를 예측하기 위해 어텐션 메커니즘이 적용된 복수 개의 서브 네트워크를 구성하는 단계; 및 상기 구성된 복수 개의 서브 네트워크를 기반으로 가상현실 환경의 사이버멀미 예측을 위한 인공지능 모델을 구축하는 단계 를 포함하는 인공지능 모델 구축 방법
|
| 2 |
2
제1항에 있어서, 상기 구성하는 단계는, 모달리티별 특징을 융합하기 위해 각 데이터 모달리티에 대한 가중치를 변경하는 어텐션 기반 개별 서브 네트워크(Attention-based Individual subnetwork)를 구성하는 단계를 포함하는 인공지능 모델 구축 방법
|
| 3 |
3
제2항에 있어서, 상기 어텐션 기반 개별 서브 네트워크는,각 데이터 모달리티의 특징을 추출하는 개별 컨볼루션 서브 네트워크를 포함하고, 상기 개별 컨볼루션 서브 네트워크는, 두 개의 스택된 컨볼루션 계층과 풀링 계층으로 구성되고, 내부 공변량 이동을 줄이기 위해 각 계층에 배치 정규화 계층이 적용된, 것을 특징으로 하는 인공지능 모델 구축 방법
|
| 4 |
4
제3항에 있어서, 상기 개별 컨볼루션 서브 네트워크에 시간 t에서 i번째 센서의 프리퀀시 표현이 입력됨에 따라 각 데이터 모달리티의 특징 벡터가 생성되고, 상기 생성된 각 데이터 모달리티의 특징 벡터가 어텐션 네트워크에 입력됨에 따라 각 모달리티에 대한 어텐션 가중치가 생성되도록 구성된, 것을 특징으로 하는 인공지능 모델 구축 방법
|
| 5 |
5
제1항에 있어서,상기 구성하는 단계는, BiLSTM의 은닉 상태를 융합하기 위해 타임스텝으로 각 데이터 모달리티의 가중치를 변경하는 어텐션 기반 BiLSTM 서브 네트워크(Attention-based BiLSTM subnetwork)를 구성하는 단계를 포함하는 인공지능 모델 구축 방법
|
| 6 |
6
제5항에 있어서, 상기 어텐션 기반 BiLSTM 서브 네트워크(Attention-based BiLSTM subnetwork)는, 어텐션 기반 개별 서브 네트워크를 통해 출력된 각 데이터 모달리티의 특징 벡터가 BiLSTM에 입력됨에 따라 각 타임스텝의 은닉 상태가 출력되고, 상기 출력된 각 타임스텝의 은닉 상태가 어텐션 네트워크에 입력됨에 따라 각 타임스텝의 은닉 상태의 가중 평균 합계가 계산되도록 구성된, 것을 특징으로 하는 인공지능 모델 구축 방법
|
| 7 |
7
제1항에 있어서,상기 구성하는 단계는, 소프트맥스 함수를 사용하여 사이버멀미 예측에 대한 확률을 획득하기 위한 출력 계층을 구성하는 단계를 포함하는 인공지능 모델 구축 방법
|
| 8 |
8
제7항에 있어서,어텐션 기반 BiLSTM 서브 네트워크의 출력 데이터가 완전 연결 계층과 사이버멀미를 예측하는 소프트맥스 함수를 이용하는 출력 계층에 입력되고, 상기 출력 계층을 통해 사이버멀미 예측 확률이 계산되도록 구성된, 것을 특징으로 하는 인공지능 모델 구축 방법
|
| 9 |
9
제1항에 있어서, 상기 구축하는 단계는, 자전거, 운전, 회전그네, 비행, 오토바이, 비행기, 롤러코스터, 항해, 우주, 워터 슬라이드를 포함하는 복수 개의 주제의 가상현실 비디오의 시청을 통해 복수 개의 센서 장비로부터 비디오 데이터를 포함하는 멀티모달 데이터를 수집하는 단계를 포함하는 인공지능 모델 구축 방법
|
| 10 |
10
제9항에 있어서, 상기 멀티모달 데이터는,헤드 마운트 디스플레이(HMD; Head mounted Display)를 통해 안구 운동 데이터와 머리 움직임 데이터가 수집되고, 손목 밴드를 통해 생리학적 데이터가 수집되는, 것을 특징으로 하는 인공지능 모델 구축 방법
|
| 11 |
11
제9항에 있어서, 상기 구축하는 단계는, 상기 수집된 비디오 데이터를 포함하는 멀티모달 데이터를 이용하여 상기 구성된 복수 개의 서브 네트워크를 기반으로 가상현실 사이버멀미 예측을 위한 인공지능 모델을 학습시키는 단계 를 포함하는 인공지능 모델 구축 방법
|
| 12 |
12
사이버멀미 예측 시스템에 의해 수행되는 인공지능 모델에 기초하여 가상현실 환경의 사이버멀미 예측 방법에 있어서,가상현실 환경의 사이버멀미 예측을 위해 구축된 인공지능 모델에 복수 개의 센서 장비로부터 수집된 멀티모달 데이터를 입력받는 단계;상기 구축된 인공지능 모델을 이용하여 상기 복수 개의 센서 장비로부터 수집된 멀티모달 데이터로부터 사이버멀미를 예측하는 단계를 포함하고,상기 가상현실 환경의 사이버멀미 예측을 위해 구축된 인공지능 모델은, 복수 개의 주제의 가상현실 비디오의 시청을 통해 비디오 데이터를 포함하는 멀티모달 데이터의 시간적 순서와 특징을 학습하여 사이버멀미를 예측하도록 구축된 것을 특징으로 하는 가상현실 환경의 사이버멀미 예측 방법
|
| 13 |
13
제11항에 있어서,상기 가상현실 사이버멀미 예측을 위해 구축된 인공지능 모델에, 모달리티별 특징을 융합하기 위해 각 데이터 모달리티에 대한 가중치를 변경하는 어텐션 기반 개별 서브 네트워크(Attention-based Individual subnetwork)가 구성된 것을 특징으로 하는 가상현실 환경의 사이버멀미 예측 방법
|
| 14 |
14
제11항에 있어서,상기 가상현실 사이버멀미 예측을 위해 구축된 인공지능 모델에, BiLSTM의 은닉 상태를 융합하기 위해 타임스텝으로 각 데이터 모달리티의 가중치를 변경하는 어텐션 기반 BiLSTM 서브 네트워크(Attention-based BiLSTM subnetwork)가 구성된 것을 특징으로 하는 가상현실 환경의 사이버멀미 예측 방법
|
| 15 |
15
제11항에 있어서,상기 가상현실 사이버멀미 예측을 위해 구축된 인공지능 모델에, 소프트맥스 함수를 사용하여 사이버멀미 예측에 대한 확률을 획득하기 위한 출력 계층이 구성된 것을 특징으로 하는 가상현실 환경의 사이버멀미 예측 방법
|
