| 1 |
1
이상 상황을 탐지하는 방법으로,입력 비디오 시퀀스에 포함되며 서로 시간적으로 인접하는 두 개의 프레임들에 대한 옵티컬 플로우(Optical Flow)를 산출하는 단계;상기 옵티컬 플로우를 입력으로 하는 제1 ConvLSTM(Convolutional Long short term memory network) 모델을 기초로 주의집중 결과값을 산출하는 단계;상기 주의집중 결과값을 입력으로 하는 제2 ConvLSTM 모델을 기초로 잔차 학습 결과값을 산출하는 단계;상기 잔차 학습 결과값 및 상기 입력 비디오 시퀀스의 프레임들 중 시간적으로 마지막에 위치하는 프레임을 기초로, 상기 입력 비디오 시퀀스의 다음 프레임을 예측하는 단계; 및상기 예측된 프레임과 원본 프레임의 차이를 기반으로 상기 예측된 프레임에 이상 상황이 있는지를 탐지하는 단계;를 포함하는, 방법
|
| 2 |
2
제1 항에 있어서, 상기 옵티컬 플로우는, 상기 프레임들의 적어도 일부 영역의 픽셀에 대하여 산출되는, 방법
|
| 3 |
3
제2 항에 있어서,상기 옵티컬 플로우는, 확장 다항식 기반으로 상기 프레임들 전체의 픽셀에 대해 산출되는 밀집(dense) 옵티컬 플로우인, 방법
|
| 4 |
4
제1 항에 있어서, 상기 제1 ConvLSTM 모델은,서로 동일한 필터 크기를 갖는 제1 ConvLSTM 레이어와 제2 ConvLSTM 레이어, 및 상기 제1 및 제2 ConvLSTM 레이어와 상이한 필터 크기를 갖는 제3 ConvLSTM 레이어를 포함하고,상기 제3 ConvLSTM 레이어의 출력값과 상기 두 개의 프레임들 중 시간적으로 뒤의 프레임의 엘리먼트별(element-wise) 곱셈 연산을 수행하여 상기 주의집중 결과값을 산출하는, 방법
|
| 5 |
5
제1 항에 있어서,상기 제2 ConvLSTM 모델은,입력값과 중간 ConvLSTM 레이어의 출력값을 연결한 복수의 ConvLSTM 연결 모델 및 소정의 필터 크기를 가진 ConvLSTM 레이어를 포함하는, 방법
|
| 6 |
6
제5 항에 있어서,상기 ConvLSTM 연결 모델은, 서로 동일한 필터 크기를 갖는 제4 ConvLSTM 레이어와 제5 ConvLSTM 레이어, 및 상기 제4 및 제5 ConvLSTM 레이어와 상이한 필터 크기를 갖는 제6 ConvLSTM 레이어가 서로 연결된 모델이고,상기 입력값과 상기 제5 ConvLSTM 레이어의 출력값이 서로 연결되는, 방법
|
| 7 |
7
제1 항에 있어서,상기 잔차 학습 결과값은, 상기 두 개의 프레임들 중 시간적으로 앞서는 프레임 별로 획득된 학습 결과값에 기초한 값인, 방법
|
| 8 |
8
제1 항에 있어서, 상기 예측된 프레임과 원본 프레임의 차이를 기반으로 상기 예측된 프레임에 이상 상황이 있는지를 탐지하는 단계는,상기 예측된 프레임과 상기 원본 프레임의 차이를 기반으로 상기 예측된 프레임에 대한 이상 상황 탐지 점수를 산출하는 단계; 및상기 이상 상황 탐지 점수가 소정의 값보다 크거나 같은지에 기초하여 상기 예측된 프레임에 이상 상황이 있는지를 탐지하는 단계;를 포함하는, 방법
|
| 9 |
9
제8 항에 있어서,상기 이상 상황 탐지 점수를 산출하는 단계는,상기 예측된 프레임과 상기 원본 프레임의 예측 에러를 평균 제곱 오차(Mean Square Error)를 이용하여 산출하는 단계; 및 상기 산출된 평균 제곱 오차를 기초로 상기 예측된 프레임에 대한 이상 상황 탐지 점수를 산출하는 단계;를 포함하는, 방법
|
| 10 |
10
제9 항에 있어서,상기 산출된 평균 제곱 오차는, 가우시안 필터를 이용하여 필터링이 수행된 값인, 방법
|
| 11 |
11
제9 항에 있어서,상기 산출된 평균 제곱 오차를 기초로 상기 예측된 프레임에 대한 이상 상황 탐지 점수를 산출하는 단계는,상기 산출된 평균 제곱 오차에 대하여 Min-Max 정규화를 수행하여 상기 예측된 프레임에 대한 이상 상황 탐지 점수를 산출하는, 방법
|
| 12 |
12
제1 항에 있어서,상기 제1 및 제2 ConvLSTM 모델들은, 일부 입력값의 연산에 컨볼루션 연산을 수행하는 모델인, 방법
|
| 13 |
13
이상 상황을 탐지하는 전자 장치로,입력 비디오 시퀀스에 포함되며 서로 시간적으로 인접하는 두 개의 프레임들에 대한 옵티컬 플로우를 산출하는 옵티컬 플로우 산출부;상기 옵티컬 플로우를 입력으로 하는 제1 ConvLSTM 모델을 기초로 주의집중 결과값을 산출하는 주의집중 결과 산출부;상기 주의집중 결과값을 입력으로 하는 제2 ConvLSTM 모델을 기초로 잔차 학습 결과값을 산출하는 잔차 학습 결과 산출부;상기 잔차 학습 결과값 및 상기 입력 비디오 시퀀스의 프레임들 중 시간적으로 마지막에 위치하는 프레임을 기초로, 상기 입력 비디오 시퀀스의 다음 프레임을 예측하는 프레임 예측부; 및상기 예측된 프레임과 원본 프레임의 차이를 기반으로 상기 예측된 프레임에 이상 상황이 있는지를 탐지하는 이상 상황 탐지부;를 포함하는, 전자 장치
|
