| 1 |
1
전자 장치에 있어서,프로세서; 및상기 프로세서와 전기적으로 연결되고, 상기 프로세서에 의해 실행 가능한 명령어를 포함하는 메모리를 포함하고,상기 프로세서는, 상기 명령어가 실행될 때, 뇌의 활동을 측정한 EEG 신호 및 상기 뇌의 활동을 측정한 fNIRS 신호를 수집하고;상기 EEG 신호 및 상기 fNIRS 신호를 이용하여, 학습된 신경망 모델로부터 상기 뇌의 활동의 종류를 판단한 결과를 출력하고,상기 신경망 모델은,순차적으로 연결된 복수의 컨볼루션 레이어를 포함하는 EEG 브랜치를 이용하여, 상기 EEG 신호로부터 EEG 특징을 추출하고,순차적으로 연결된 복수의 컨볼루션 레이어를 포함하는 fNIRS 브랜치를 이용하여, 상기 fNIRS 신호로부터 fNIRS 특징을 추출하고,순차적으로 연결된 복수의 컨볼루션 레이어 및 FGA(fNIRS-guided attention) 레이어를 포함하는 합성 브랜치를 이용하여, 상기 EEG 신호 및 상기 fNIRS 신호에 기초하여 합성 특징을 추출하고,상기 EEG 특징 및 상기 합성 특징에 기초하여, 상기 뇌의 활동의 종류를 판단한 상기 결과를 출력하도록 학습된, 전자 장치
|
| 2 |
2
제1항에 있어서,상기 FGA 레이어는,입력된 상기 EEG 특징, 이전 스텝의 합성 특징 및 상기 fNIRS 특징을 이용하여 다음 스텝의 합성 특징을 출력하고,상기 이전 스텝의 합성 특징은,상기 FGA 레이어 전단의 컨볼루션 레이어로부터 출력되고,상기 다음 스텝의 합성 특징은,상기 FGA 레이어 후단의 컨볼루션 레이어 또는 TAP(temporal attention pooling) 레이어에 입력되는, 전자 장치
|
| 3 |
3
제2항에 있어서,상기 FGA 레이어는,상기 FGA 레이어에 포함된 TAP 레이어를 이용하여, 상기 뇌의 활동과 관련된 시간 세그먼트(segment)에 가중치를 적용함으로써 상기 fNIRS 특징으로부터 FGA 맵을 출력하고,상기 FGA 맵 및 잔여 파라미터(residual parameter)에 따라 상기 EEG 특징 및 상기 이전 스텝의 합성 특징을 처리하여, 상기 다음 스텝의 합성 특징을 출력하는, 전자 장치
|
| 4 |
4
제2항에 있어서,상기 TAP 레이어는,입력된 높이(height), 넓이(width), 시간(time) 및 채널(channel) 차원을 가지는 특징에 대하여, 상기 특징의 시간 축으로 압축하는, 전자 장치
|
| 5 |
5
제1항에 있어서,상기 신경망 모델은,상기 EEG 특징에 기초하여, 제1 결과를 출력하고,상기 합성 특징에 기초하여, 제2 결과를 출력하고,상기 제1 결과 및 상기 제2 결과 각각에 부여된 가중치를 적용하여 상기 결과를 출력하는, 전자 장치
|
| 6 |
6
뇌의 활동을 측정한 EEG 신호 및 상기 뇌의 활동을 측정한 fNIRS 신호를 수집하는 단계; 및상기 EEG 신호 및 상기 fNIRS 신호를 이용하여, 학습된 신경망 모델로부터 상기 뇌의 활동의 종류를 판단한 결과를 출력하는 단계를 포함하고,상기 신경망 모델은,순차적으로 연결된 복수의 컨볼루션 레이어를 포함하는 EEG 브랜치를 이용하여, 상기 EEG 신호로부터 EEG 특징을 추출하고,순차적으로 연결된 복수의 컨볼루션 레이어를 포함하는 fNIRS 브랜치를 이용하여, 상기 fNIRS 신호로부터 fNIRS 특징을 추출하고,순차적으로 연결된 복수의 컨볼루션 레이어 및 FGA(fNIRS-guided attention) 레이어를 포함하는 합성 브랜치를 이용하여, 상기 EEG 신호 및 상기 fNIRS 신호에 기초하여 합성 특징을 추출하고,상기 EEG 특징 및 상기 합성 특징에 기초하여, 상기 뇌의 활동의 종류를 판단한 상기 결과를 출력하도록 학습된, 뇌 활동 판단 방법
|
| 7 |
7
제6항에 있어서,상기 FGA 레이어는,입력된 상기 EEG 특징, 이전 스텝의 합성 특징 및 상기 fNIRS 특징을 이용하여 다음 스텝의 합성 특징을 출력하고,상기 이전 스텝의 합성 특징은,상기 FGA 레이어 전단의 컨볼루션 레이어로부터 출력되고,상기 다음 스텝의 합성 특징은,상기 FGA 레이어 후단의 컨볼루션 레이어 또는 TAP(temporal attention pooling) 레이어에 입력되는, 뇌 활동 판단 방법
|
| 8 |
8
제7항에 있어서,상기 FGA 레이어는,상기 FGA 레이어에 포함된 TAP 레이어를 이용하여, 상기 뇌의 활동과 관련된 시간 세그먼트(segment)에 가중치를 적용함으로써 상기 fNIRS 특징으로부터 FGA 맵을 출력하고,상기 FGA 맵 및 잔여 파라미터(residual parameter)에 따라 상기 EEG 특징 및 상기 이전 스텝의 합성 특징을 처리하여, 상기 다음 스텝의 합성 특징을 출력하는, 뇌 활동 판단 방법
|
| 9 |
9
MI(motor imagery) 데이터 셋 또는 MA(mental arithmetic) 데이터 셋의 뇌의 활동을 측정한 EEG 신호 및 상기 뇌의 활동을 측정한 fNIRS 신호를 수집하는 단계; 및순차적으로 연결된 복수의 컨볼루션 레이어를 포함하는 EEG 브랜치를 이용하여, 상기 EEG 신호로부터 EEG 특징을 추출하는 단계;순차적으로 연결된 복수의 컨볼루션 레이어를 포함하는 fNIRS 브랜치를 이용하여, 상기 fNIRS 신호로부터 fNIRS 특징을 추출하는 단계;순차적으로 연결된 복수의 컨볼루션 레이어 및 FGA(fNIRS-guided attention) 레이어를 포함하는 합성 브랜치를 이용하여, 상기 EEG 신호 및 상기 fNIRS 신호에 기초하여 합성 특징을 추출하는 단계;상기 EEG 특징 및 상기 합성 특징에 기초하여, 상기 뇌의 활동의 종류를 판단한 결과를 출력하는 단계;상기 결과 및 상기 EEG 신호와 상기 fNIRS 신호의 라벨링에 기초하여 손실을 계산하는 단계; 및상기 손실을 이용하여, 신경망 모델을 학습시키는 단계를 포함하는, 신경망 모델의 학습 방법
|
| 10 |
10
제9항에 있어서,상기 합성 특징을 추출하는 단계는,상기 EEG 특징, 이전 스텝의 합성 특징 및 상기 fNIRS 특징을 상기 FGA 레이어에 입력하여, 다음 스텝의 합성 특징을 출력하는 단계를 포함하고,상기 이전 스텝의 합성 특징은,상기 FGA 레이어 전단의 컨볼루션 레이어로부터 출력되고,상기 다음 스텝의 합성 특징은,상기 FGA 레이어 후단의 컨볼루션 레이어 또는 TAP(temporal attention pooling) 레이어에 입력되는, 신경망 모델의 학습 방법
|
| 11 |
11
제10항에 있어서,상기 FGA 레이어는,상기 FGA 레이어에 포함된 TAP 레이어를 이용하여, 상기 뇌의 활동과 관련된 시간 세그먼트(segment)에 가중치를 적용함으로써 상기 fNIRS 특징으로부터 FGA 맵을 출력하고,상기 FGA 맵 및 잔여 파라미터(residual parameter)에 따라 상기 EEG 특징 및 상기 이전 스텝의 합성 특징을 처리하여, 상기 다음 스텝의 합성 특징을 출력하는, 신경망 모델의 학습 방법
|
| 12 |
12
제10항에 있어서,상기 TAP 레이어는,입력된 높이(height), 넓이(width), 시간(time) 및 채널(channel) 차원을 가지는 특징에 대하여, 상기 특징의 시간 축으로 압축하는, 신경망 모델의 학습 방법
|
| 13 |
13
제9항에 있어서,상기 판단 결과를 계산하는 단계는,상기 EEG 특징에 기초하여, 제1 판단 결과를 출력하는 단계;상기 합성 특징에 기초하여, 제2 판단 결과를 출력하는 단계; 및상기 제1 판단 결과 및 상기 제2 판단 결과 각각에 부여된 가중치를 적용하는 단계를 포함하는, 신경망 모델의 학습 방법
|
| 14 |
14
제9항에 있어서,상기 손실을 계산하는 단계는,상기 결과 및 상기 라벨링에 기초하여 분류 손실(classification loss)를 계산하는 단계;상기 fNIRS 특징에 기초하여, 상기 fNIRS 브랜치의 fNIRS 분류 손실(cross entropy loss)를 계산하는 단계; 및상기 EEG 신호 및 상기 fNIRS 신호의 상관계수 손실을 계산하는 단계를 포함하는, 신경망 모델의 학습 방법
|
| 15 |
15
제1 특징, 이전 스텝의 제2 특징 및 제3 특징을 수신하는 단계;TAP(temporal attention pooling) 레이어를 이용하여, 상기 제3 특징으로부터 공간 가중치 행렬(spatial weight matrix)을 나타내는 어텐션 맵(attention map)을 출력하는 단계; 및상기 어텐션 맵 및 잔여 파라미터에 따라 상기 제1 특징 및 상기 이전 스텝의 제2 스텝을 처리하여, 다음 스텝의 제2 특징을 출력하는 단계를 포함하는, 데이터 처리 방법
|
