| 1 |
1
멀티모달센서(multi-modal sensor)를 이용하여 이상탐지를 수행하는 방법에 있어서,서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을, 동기화 및 콘볼루션 연산을 통해 축소 및 결합하여 멀티모달 표현형(multi-modal representation)을 생성하는 단계; 및상기 멀티모달 표현형을 오토 인코더(auto encoder)에 대한 입력 데이터로서 인가하고, 상기 오토 인코더에서 출력되는 복원 데이터와 상기 입력 데이터 간 차이에 기초하여 이상탐지(anomaly detection)를 수행하는 단계를 포함하며,상기 오토 인코더는 정상 상태에 대응되는 데이터들을 이용하여 미리 학습된 것을 특징으로 하는, 방법
|
| 2 |
2
제1항에 있어서,상기 이상탐지를 수행하는 단계는,상기 입력 데이터가 상기 오토 인코더에 인가되었을 때 상기 오토 인코더에 포함된 인코더의 은닉층에서 출력되는 결과와, 상기 복원 데이터가 상기 오토 인코더에 인가되었을 때 상기 오토 인코더에 포함된 인코더의 은닉층에서 출력되는 결과 간 차이를 이용하여 오차점수(anomaly score)를 산출하는 단계; 및상기 산출된 오차점수가 미리 설정된 기준값보다 크다면 이상 상태로 판단하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 3 |
3
제2항에 있어서,상기 기준값은, 상기 정상 상태에 대응되는 데이터들을 상기 오토 인코더에 입력했을 때 산출되는 오차점수에 기초하여 결정되는 것을 특징으로 하는 방법
|
| 4 |
4
제1항에 있어서,상기 멀티모달 표현형을 생성하는 단계는,미리 설정된 주기를 기준으로 상기 수집된 데이터들을 샘플링하고, 샘플링된 데이터들을 미리 설정된 구간의 값으로 정규화하는 단계; 및콘볼루션 연산을 통해 상기 정규화된 데이터들의 차원을 축소 및 통일한 후 서로 결합하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 5 |
5
제1항에 있어서,상기 복수의 센서들은, 이동형 조작 로봇에 설치된 RGB 카메라, 뎁스(depth) 카메라, 라이다(LiDAR) 센서 및 포스-토크(force-torque) 센서 및 마이크를 포함하고,상기 멀티모달 표현형을 생성하는 단계는, 상기 이동형 조작 로봇이 물체를 파지하는 동작을 수행하는 과정에서 상기 복수의 센서들을 통해 수집한 RGB 이미지, 뎁스 이미지, 라이다 측정값 및 포스-토크 측정값 및 사운드를 동기화 및 정규화한 후 차원을 통일시켜 결합함으로써 상기 멀티모달 표현형을 생성하며,상기 정상 상태에 대응되는 데이터들은, 상기 이동형 조작 로봇이 물체를 정상적으로 파지한 상태에서 상기 복수의 센서들을 이용하여 수집된 데이터들인 것을 특징으로 하는 방법
|
| 6 |
6
제1항에 있어서,컴퓨터에 제1항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
|
| 7 |
7
컴퓨팅 장치에 의해 수행되며, 제1항에 기재된 방법을 수행하기 위해 기록 매체에 저장된 컴퓨터 프로그램
|
| 8 |
8
멀티모달센서(multi-modal sensor)를 이용하여 이상탐지를 수행하기 위한 컴퓨팅 장치에 있어서,서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을 입력 받고, 이에 기초하여 이상탐지를 수행한 결과를 출력하기 위한 입출력부;이상탐지를 수행하기 위한 프로그램이 저장되는 저장부; 및적어도 하나의 프로세서를 포함하며, 상기 프로그램을 실행시킴으로써 상기 입출력부를 통해 수신된 데이터들을 이용하여 이상탐지를 수행하는 제어부를 포함하며,상기 제어부가 상기 프로그램을 실행함으로써 구현되는 이상탐지 모델은, 동기화 및 콘볼루션 연산을 통해 상기 수집된 데이터들을 축소 및 결합하여 멀티모달 표현형을 생성하고, 상기 멀티모달 표현형을 오토 인코더에 대한 입력 데이터로서 인가하고, 상기 오토 인코더에서 출력되는 복원 데이터와 상기 입력 데이터 간 차이에 기초하여 이상탐지를 수행하며,상기 오토 인코더는 정상 상태에 대응되는 데이터들을 이용하여 미리 학습된 것을 특징으로 하는, 컴퓨팅 장치
|
| 9 |
9
제8항에 있어서,상기 이상탐지 모델은 상기 이상탐지를 수행함에 있어서,상기 입력 데이터가 상기 오토 인코더에 인가되었을 때 상기 오토 인코더에 포함된 인코더의 은닉층에서 출력되는 결과와, 상기 복원 데이터가 상기 오토 인코더에 인가되었을 때 상기 오토 인코더에 포함된 인코더의 은닉층에서 출력되는 결과 간 차이를 이용하여 오차함수를 산출하고, 상기 산출된 오차점수가 미리 설정된 기준값보다 크다면 이상 상태로 판단하는 것을 특징으로 하는 컴퓨팅 장치
|
| 10 |
10
제9항에 있어서,상기 이상탐지 모델은 상기 정상 상태에 대응되는 데이터들을 상기 오토 인코더에 입력했을 때 산출되는 오차점수에 기초하여 상기 기준값을 결정하는 것을 특징으로 하는 컴퓨팅 장치
|
| 11 |
11
제8항에 있어서,상기 이상탐지 모델은 상기 멀티모달 표현형을 생성함에 있어서,미리 설정된 주기를 기준으로 상기 수집된 데이터들을 샘플링하고, 샘플링된 데이터들을 미리 설정된 구간의 값으로 정규화한 후, 콘볼루션 연산을 통해 상기 정규화된 데이터들의 차원을 축소 및 통일한 후 서로 결합하는 것을 특징으로 하는 컴퓨팅 장치
|
| 12 |
12
제8항에 있어서,상기 복수의 센서들은, 이동형 조작 로봇에 설치된 RGB 카메라, 뎁스(depth) 카메라, 라이다(LiDAR) 센서 및 포스-토크(force-torque) 센서 및 마이크를 포함하고,상기 이상탐지 모델은 상기 멀티모달 표현형을 생성함에 있어서, 상기 이동형 조작 로봇이 물체를 파지하는 동작을 수행하는 과정에서 상기 복수의 센서들을 통해 수집한 RGB 이미지, 뎁스 이미지, 라이다 측정값 및 포스-토크 측정값 및 사운드를 동기화 및 정규화한 후 차원을 통일시켜 결합함으로써 상기 멀티모달 표현형을 생성하며,상기 정상 상태에 대응되는 데이터들은, 상기 이동형 조작 로봇이 물체를 정상적으로 파지한 상태에서 상기 복수의 센서들을 이용하여 수집된 데이터들인 것을 특징으로 하는 컴퓨팅 장치
|
