| 1 |
1
비정상 상황을 예측하는 영상 기반 모니터링 시스템에 있어서,데이터 통신을 통해 서로 정보를 공유하는 복수의 카메라 에이전트 장치들을 포함하되,상기 카메라 에이전트 장치는영상을 촬영하는 카메라 모듈;데이터 통신을 수행하는 통신 모듈;촬영된 영상에 기반하여 비정상 상황을 탐지하는 프로그램이 탑재된 메모리; 및상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 프로그램의 실행에 따라, 촬영된 영상에서 키 프레임들을 추출하고, 추출된 키 프레임에 대하여 객체 분석을 수행하고, 각 키 프레임에서 분석된 각 객체들을 각 객체 단위로 시간 순서에 따라 그룹핑한 각 객체의 시퀀스를 기계 학습 모델에 입력하여 각 객체의 행동을 결정하고, 상기 키 프레임들 중 동일 객체가 등장하는 키 프레임들을 시간 순서에 따라 그룹핑한 키 프레임의 시퀀스를 상기 기계 학습 모델에 입력하여 상기 각 객체의 행동이 이루어지는 문맥을 결정하고, 상기 각 객체의 행동과 상기 결정된 문맥 정보의 매칭 정도에 따라 비정상 상황이 발생할지 여부에 대한 예측 결과를 생성하고, 상기 예측 결과에 따라 경고 메시지 출력 여부를 결정하고,상기 문맥은 각 객체의 행동이 이루어지는 장소 또는 시간을 포함하는 주변 상황에 대한 정보를 포함하는 것인 영상 기반 모니터링 시스템
|
| 2 |
2
제 1 항에 있어서,상기 프로세서는 상기 객체에 대한 행동을 결정할 때, 각 행동별로 산출된 확률값에 기초하여 각 객체의 행동을 결정하고,상기 문맥을 결정할 때, 각 문맥별로 산출된 확률값에 기초하여 상기 객체의 행동이 이루어지는 문맥을 결정하고, 상기 예측 결과가 발생할 확률값에 기초하여 상기 예측 결과를 결정하는 것인 영상 기반 모니터링 시스템
|
| 3 |
3
제 2 항에 있어서,제 1 카메라 에이전트 장치는 상기 결정된 문맥의 확률값 및 상기 예측 결과에 대한 확률값을 인접한 카메라 에이전트 장치에 전달하고,하나 이상의 인접한 카메라 에이전트 장치에서 수신한 문맥의 확률값 및 예측 결과의 확률값을 추가적으로 고려하여, 상기 예측 결과에 대한 확률값을 재산출하되, 상기 제 1 카메라 에이전트 장치는 상기 카메라 모듈에 대하여 설정된 감시 영역의 적어도 일부를 함께 촬영하는 카메라 에이전트 장치를 상기 인접한 카메라 에이전트 장치로 설정하는 것인 영상 기반 모니터링 시스템
|
| 4 |
4
제 3 항에 있어서,상기 제 1 카메라 에이전트 장치는 인접한 제 2 카메라 에이전트 장치가 산출한 문맥의 확률값 및 상기 제 1 카메라 에이전트 장치가 산출한 문맥의 확률값에 기초하여 문맥을 결정하되,상기 확률값이 가장 큰 문맥을 최종 문맥으로 결정하는 영상 기반 모니터링 시스템
|
| 5 |
5
제 3 항에 있어서,상기 제 1 카메라 에이전트 장치는 인접한 제 2 카메라 에이전트 장치가 산출한 문맥의 확률값 및 상기 제 1 카메라 에이전트 장치가 산출한 문맥의 확률값에 기초하여 문맥을 결정하되,상기 제 1 카메라 에이전트 장치가 각 문맥별로 산출한 확률값에 제 1 가중치를 곱하고, 상기 제 2 카메라 에이전트 장치가 각 문맥별로 산출한 확률값에 제 2 가중치를 곱한 후, 각 문맥별로 제 1 가중치가 적용된 확률값과 제 2 가중치가 적용된 확률값을 합산하여 확률값이 가장 큰 문맥을 최종 문맥으로 결정하는 영상 기반 모니터링 시스템
|
| 6 |
6
제 1 항에 있어서,제 1 카메라 에이전트 장치는 상기 경고 메시지의 출력 여부, 경고 메시지의 종류 및 해당 경고 메시지가 출력된 횟수에 대한 정보를 결정된 인접한 카메라 에이전트 장치에 전달하되,상기 제 1 카메라 에이전트 장치는 상기 카메라 모듈에 대하여 설정된 감시 영역의 적어도 일부를 함께 촬영하는 카메라 에이전트 장치를 상기 인접한 카메라 에이전트 장치로 설정하는 것인 영상 기반 모니터링 시스템
|
| 7 |
7
제 1 항에 있어서,상기 기계 학습 모델은 상기 키 프레임별로 이미지의 옵티컬 플로우 특징을 추출하는 CNN(Convolution Neural Netwokr) 모듈 및상기 CNN 모듈의 출력 결과를 상기 키 프레임의 시간 순서에 따라 각각 수신하여 처리하는 복수의 LSTM(Long short-term memory) 모듈을 포함하는 영상 기반 모니터링 시스템
|
| 8 |
8
비정상 상황을 예측하는 영상 기반 모니터링 시스템을 이용한 영상 기반 모니터링 방법에 있어서,(a) 상기 영상 기반 모니터링 시스템에 포함된 제 1 카메라 에이전트 장치가 촬영된 영상에서 키 프레임들을 추출하는 단계, (b) 추출된 키 프레임에 대하여 객체 분석을 수행하고, 각 키 프레임에서 분석된 각 객체들을 각 객체 단위로 시간 순서에 따라 그룹핑한 각 객체의 시퀀스를 기계 학습 모델에 입력하여 각 객체의 행동을 결정하는 단계, (c) 상기 키 프레임들 중 동일 객체가 등장하는 키 프레임들을 시간 순서에 따라 그룹핑한 키 프레임의 시퀀스를 상기 기계 학습 모델에 입력하여 상기 각 객체의 행동이 이루어지는 문맥을 결정하는 단계, (d) 상기 각 객체의 행동과 상기 결정된 문맥 정보의 매칭 정도에 따라 비정상 상황이 발생할지 여부에 대한 예측 결과를 생성하는 단계 및(e) 상기 예측 결과에 따라 경고 메시지 출력 여부를 결정하는 단계를 포함하고,상기 문맥은 각 객체의 행동이 이루어지는 장소 또는 시간을 포함하는 주변 상황에 대한 정보를 포함하는 것인 영상 기반 모니터링 방법
|
| 9 |
9
제 8 항에 있어서,상기 제 1 카메라 에이전트 장치는 상기 객체에 대한 행동을 결정할 때, 각 행동별로 산출된 확률값에 기초하여 각 객체의 행동을 결정하고,상기 문맥을 결정할 때, 각 문맥별로 산출된 확률값에 기초하여 상기 객체의 행동이 이루어지는 문맥을 결정하고, 상기 예측 결과가 발생할 확률값에 기초하여 상기 예측 결과를 결정하는 것인 영상 기반 모니터링 방법
|
| 10 |
10
제 9 항에 있어서,상기 제 1 카메라 에이전트 장치는 상기 결정된 문맥의 확률값 및 상기 예측 결과에 대한 확률값을 인접한 카메라 에이전트 장치에 전달하는 단계를 더 포함하는 영상 기반 모니터링 방법
|
| 11 |
11
제 9 항에 있어서,상기 (c) 단계는 하나 이상의 인접한 카메라 에이전트 장치에서 수신한 문맥의 확률값을 추가적으로 고려하여 최종 문맥을 결정하고,상기 (d) 단계는 상기 결정된 최종 문맥을 기초로 상기 예측 결과에 대한 확률값을 재산출하되, 상기 제 1 카메라 에이전트 장치는 카메라 모듈에 대하여 설정된 감시 영역의 적어도 일부를 함께 촬영하는 카메라 에이전트 장치를 상기 인접한 카메라 에이전트 장치로 설정하는 것인 영상 기반 모니터링 방법
|
| 12 |
12
제 11 항에 있어서,상기 (c) 단계는 상기 제 1 카메라 에이전트 장치와 인접한 제 2 카메라 에이전트 장치가 산출한 문맥의 확률값 및 상기 제 1 카메라 에이전트 장치가 산출한 문맥의 확률값에 기초하여 문맥을 결정하되,상기 확률값이 가장 큰 문맥을 상기 최종 문맥으로 결정하는 영상 기반 모니터링 방법
|
| 13 |
13
제 11 항에 있어서,상기 (c) 단계는 상기 제 1 카메라 에이전트 장치와 인접한 제 2 카메라 에이전트 장치가 산출한 문맥의 확률값 및 상기 제 1 카메라 에이전트 장치가 산출한 문맥의 확률값에 기초하여 문맥을 결정하되,상기 제 1 카메라 에이전트 장치가 각 문맥별로 산출한 확률값에 제 1 가중치를 곱하고, 상기 제 2 카메라 에이전트 장치가 각 문맥별로 산출한 확률값에 제 2 가중치를 곱한 후, 각 문맥별로 제 1 가중치가 적용된 확률값과 제 2 가중치가 적용된 확률값을 합산하여 확률값이 가장 큰 문맥을 상기 최종 문맥으로 결정하는 영상 기반 모니터링 방법
|
| 14 |
14
제 8 항에 있어서,상기 제 1 카메라 에이전트 장치는 상기 경고 메시지의 출력 여부, 경고 메시지의 종류 및 해당 경고 메시지가 출력된 횟수에 대한 정보를 결정된 인접한 카메라 에이전트 장치에 전달하는 단계를 더 포함하되,상기 제 1 카메라 에이전트 장치는 카메라 모듈에 대하여 설정된 감시 영역의 적어도 일부를 함께 촬영하는 카메라 에이전트 장치를 상기 인접한 카메라 에이전트 장치로 설정하는 것인 영상 기반 모니터링 방법
|
| 15 |
15
제 8 항에 있어서,상기 기계 학습 모델은 상기 키 프레임별로 이미지의 옵티컬 플로우 특징을 추출하는 CNN(Convolution Neural Netwokr) 모듈 및상기 CNN 모듈의 출력 결과를 상기 키 프레임의 시간 순서에 따라 각각 수신하여 처리하는 복수의 LSTM(Long short-term memory) 모듈을 포함하는 영상 기반 모니터링 방법
|
| 16 |
16
제 8 항 내지 제 15 항 중 어느 한 항에 기재된 영상 기반 모니터링 방법을 실행하는 매체에 저장된 컴퓨터 프로그램
|
