| 1 |
1
단일모달 센서에 대해 매 샘플링(sampling) 주기마다 센서 출력의 일반성(normality)을 측정하고, 이를 바탕으로 센서의 이상 동작을 감지하는 개별 센서 고장 진단부;멀티모달 심층 오토인코더로 구성되어 멀티모달 사이에 존재하는 연관관계를 학습하고, 이를 기반으로 멀티모달 입력으로부터 모달 간에 공유되는 공통의 정보를 추출하고 센서간 상호 고장 진단을 하는 센서간 상호 고장 진단부;다른 모달의 센서로부터 추출한 공통정보를 이용하여 특정 센서의 출력 값이 누락되었을 경우에도 다른 센서 정보를 이용하여 해당 센서의 출력 값을 예측하여 복원하는 복원 대상 센서 출력값 복원부;를 포함하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 2 |
2
제 1 항에 있어서, 개별 센서 고장 진단부는,각각의 개별 센서의 출력 정보를 압축하는 정보 압축기와,학습데이터를 통해 모델링한 동적 양상을 이용하여 이전시간의 압축 데이터로부터 현재시각의 압축데이터가 될 것으로 예상되는 값을 도출하는 동적정보 신뢰도 측정기와,특정 시간에서의 센서 출력에 대해 정상 및 비정상의 관점에서 신뢰도를 계산하는 개별입력 신뢰도 측정기와,각각 복원 및 압축데이터 분포에 대한 신뢰도 가중치를 기준으로 선형 회귀 분석기를 이용하여 최종 신뢰도를 산출하는 최종 신뢰도 측정기를 포함하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 3 |
3
제 2 항에 있어서, 개별입력 신뢰도 측정기는 특정 시간 에서의 센서 출력 에 대해 정상 및 비정상의 관점에서 신뢰도를 계산하기 위하여,를 VAE(variational auto-encoder)에 인가하여 압축된 데이터 를 얻고, 이 로부터 입력을 다시 복원한 를 얻은 후, 에 대해서는 학습데이터에서 추출했던 압축 데이터들과 압축 공간에서 얼마나 가까이 위치하는지를 측정하고,복원 데이터에 대해서는 값을 측정하여 이를 신뢰도 계산에 반영하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 4 |
4
제 3 항에 있어서, 개별입력 신뢰도 측정기는 개별 입력 신뢰도를,으로 산출하고,여기서, 과 는 각각 복원 및 압축데이터 분포에 대한 신뢰도 가중치를 의미하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 5 |
5
제 3 항에 있어서, 동적 정보 신뢰도 측정기는,학습데이터를 통해 모델링한 동적 양상을 이용하여 이전시간의 압축 데이터 으로부터 현재시각의 압축데이터가 될 것으로 예상되는 를 도출하고,동적 정보 신뢰도 는으로 구하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 6 |
6
제 1 항에 있어서, 멀티모달 심층 오토인코더는 3가지 종류의 모달 데이터로부터 공통의 정보를 추출하는 구조에서,각 모달에서의 입력 데이터 , , 에 대해 서로 독립적인 추상화 과정을 거친 후 이들로부터 공통정보(shared representation) 를 추출하는 인코더(encoder)와,추출된 공통정보를 통해 다시 입력 데이터에 대한 복원 , , 를 생성하는 디코더(decoder)로 구성되는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 7 |
7
제 6 항에 있어서, 멀티모달을 이용한 멀티 센서간 상호 검증을 위하여,개의 학습데이터 를 기반으로 다음의 목적함수 을 최적화 하도록 멀티모달 오토인코더를 학습하고,여기서 는 네트워크의 계수(parameter)를 의미하며 와 는 각각 디코더와 인코더의 출력을 의미하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 8 |
8
제 1 항 또는 제 6 항에 있어서, 검증하고자 하는 센서를 , 검증에 사용하고자 하는 센서들을 , 라 하면,멀티모달 심층 오토인코더를 사용하여 센서 , 로부터 공통정보 를 추출하고, 검증 대상인 센서 의 데이터에 대한 압축결과 를 다층 퍼셉트론(multi-layer perceptron)의 입력으로 인가하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 9 |
9
제 1 항에 있어서, 복원 대상 센서 출력값 복원부는,새로운 가상의 데이터를 생성하는 generator 네트워크 와 생성된 데이터와 실제 데이터를 구분하는 discriminator 네트워크 로 구성되어 서로 상대방에 대해 상보적인 결과를 도출하는 경쟁 관계를 바탕으로 학습을 수행하는 GAN(Generative Adversarial Network) 딥러닝 모델이 적용되는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 10 |
10
제 9 항에 있어서, 실제 취득 데이터들이 확률분포 를 따르고, 확률분포 로부터 샘플링 된 저차원 노이즈 를 입력으로 하여 가 만든 가상의 데이터를 라 할 때, GAN은 학습과정에서 다음의 목적함수를 최적화하고,의 입장에서는 자신이 생성한 데이터들을 가 실제 데이터로 판별하도록 학습되며, 의 입장에서는 가 만든 데이터를 실제 데이터에서 솎아내는 방향으로 학습하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치
|
| 11 |
11
이종 센서로 결합된 다중모달 센서 네트워크에서의 센서 고장 진단 및 복원을 위하여,단일모달 센서에 대해 매 샘플링(sampling) 주기마다 센서 출력의 일반성(normality)을 측정하고, 이를 바탕으로 센서의 이상 동작을 감지하는 개별 센서 고장 진단 단계;멀티모달 심층 오토인코더를 이용하여 멀티모달 사이에 존재하는 연관관계를 학습하고, 이를 기반으로 멀티모달 입력으로부터 모달 간에 공유되는 공통의 정보를 추출하고 센서간 상호 고장 진단을 하는 단계;다른 모달의 센서로부터 추출한 공통정보를 이용하여 특정 센서의 출력 값이 누락되었을 경우에도 다른 센서 정보를 이용하여 해당 센서의 출력 값을 예측하여 복원하는 단계;를 포함하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 방법
|
| 12 |
12
제 11 항에 있어서, 복원 대상 센서의 출력값 복원을 위하여,새로운 가상의 데이터를 생성하는 generator 네트워크 와 생성된 데이터와 실제 데이터를 구분하는 discriminator 네트워크 로 구성되어 서로 상대방에 대해 상보적인 결과를 도출하는 경쟁 관계를 바탕으로 학습을 수행하는 GAN(Generative Adversarial Network) 딥러닝 모델을 적용하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 방법
|
