| 1 |
1
CNN 기반의 자기 지도 샘플러의 학습방법에 있어서,학습을 위한 제1 비디오 및 제2 비디오를 수신하는 수신단계;수신된 제2 비디오에서 하나의 무관한 프레임을 추출하고, 추출된 프레임을 제1 비디오에 혼합하여 무관한 프레임을 갖는 제1 비디오를 생성하는 혼합단계; 및상기 혼합된 제1 비디오에서 어느 프레임이 혼합된 프레임인지 식별하도록 학습하는 학습단계;를 포함하여 구성되며,상기 혼합단계는수신한 제2 비디오의 클립의 하나의 무관한 프레임을 수신한 제1 비디오의 클립에 랜덤하게 혼합하여 무관한 프레임을 갖는 제1 비디오의 클립을 생성하며,상기 무관한 프레임을 갖는 제1 비디오의 클립은배치(batch) 축에 따라 미니-배치 X를 셔플링하여 를 얻는 과정 - 여기서 B는 배치(batch) 크기이고, T는 시간 차원이고, C는 채널의 수이고, H 및 W는 공간 차원으로 정의되며 -; 및미니-배치 X 내의 각각의 비디오 클립 Xb에 대해, 시간 t에서 하나의 프레임 Xb(t)를 랜덤하게 선택하고, 그 후 그것을 시간 t에서 셔플링된 미니-배치 내의 b-번째 클립의 프레임 와 교환하는 과정;으로 얻어지며,상기 교환 과정은 다음 수식과 같이 표현되며,여기서, 및 는 자기 지도 샘플러를 훈련하기 위한 입력들 및 라벨들이고, Yb는 각각의 비디오 클립 에 대해 원-핫 벡터(one-hot vector)이고, Yb(t)는 프레임을 교환할 때 1이며 그 외는 0이 되는 것을 특징으로 하는 CNN 기반의 자기 지도 샘플러의 학습방법
|
| 2 |
2
제 1 항에 있어서, 상기 학습단계는혼합된 제1 비디오의 클립을 입력으로 하여 자기 지도 샘플러를 훈련하여 무관한 프레임의 인덱스를 찾도록 하며, 하나의 무관한 프레임을 갖는 제1 비디오 클립이 자기 지도 샘플러의 입력이고, 그 프레임의 인덱스가 목표 라벨이 되는 것을 특징으로 하는 CNN 기반의 자기 지도 샘플러의 학습방법
|
| 3 |
3
삭제
|
| 4 |
4
제 2 항에 있어서, 상기 자기 지도 샘플러 는 하나의 준비된 비디오 클립 를 취하고, 그 후 하나의 비디오 클립 내의 각각의 프레임에 대한 비관련성 점수 를 생성하며, 손실 함수를 기반으로 파라미터 Θ를 업데이트하는 것을 특징으로 하는 CNN 기반의 자기 지도 샘플러의 학습방법
|
| 5 |
5
자기 지도 샘플러를 포함하는 행동 인식 모델의 행동인식방법에 있어서, 제1항의 특징을 갖는 학습방법에 의해 학습된 자기 지도 샘플러가,다운샘플링된 비디오 클립을 수신하는 수신단계;다운샘플링된 비디오 클립의 전체 프레임의 각 프레임별로 무관련성 점수들을 예측하는 점수예측단계;상기 각 프레임에 대한 예측된 무관련성 점수에 기초하여 행동 무관련 프레임을 제거하는 프레임제거단계; 및비디오 클립의 프레임 중 무관련성 프레임을 제거하여 남은 프레임 중 선택된 프레임들을 입력으로 받아 행동인식모델이 행동인식을 수행하는 행동인식단계;를 포함하는 것을 특징으로 하는 자기 지도 샘플러를 포함하는 행동 인식 모델의 행동인식방법
|
| 6 |
6
제 5 항에 있어서, 상기 프레임제거단계는임계값과 비교를 통해 각 프레임의 예측된 무관련성 점수가 임계값보다 높은 프레임을 제거하는 것을 특징으로 하는 자기 지도 샘플러를 포함하는 행동 인식 모델의 행동인식방법
|
| 7 |
7
제 6 항에 있어서, 자기 지도 샘플러 네트워크 는 5개의 3D-CNN 레이어로 구성되며,는 비디오 클립들로 구성된 하나의 다운샘플링된 입력 미니 배치를 나타내고, 여기서 B는 배치(batch) 크기이고, T는 시간 차원이고, C는 채널의 수이고, H 및 W는 공간 차원으로 정의하면, 상기 학습된 자기 지도 샘플러는 하나의 미니-배치 X 내의 b번째 비디오 클립 Xb로부터의 각각의 프레임에 대한 비관련성 점수를 다음 수식과 같이 예측하며,여기서 및 Θ는 각각 자기 지도 샘플러의 비관련성 점수 및 학습 가능한 파라미터들을 나타내고, 하나의 비디오 클립에서 각 프레임의 무관련성 점수들은 각 프레임이 비디오 클립의 전체 프레임에 얼마나 멀리 떨어져 있는지를 나타내는 것을 특징으로 하는 자기 지도 샘플러를 포함하는 행동 인식 모델의 행동인식방법
|
| 8 |
8
제 5 항에 있어서, 상기 비디오 클립의 프레임 중 무관련성 프레임을 제거하여 남은 프레임 중 선택된 프레임은임계값 τ보다 큰 비관련성 점수를 갖는 프레임을 제거한 후 일정 간격으로 N개의 고정된 수의 프레임을 선택하는 과정 또는, 임계값 τ를 설정한 후, 비관련성 점수가 τ보다 작은 프레임들만을 선택하는 과정 중 어느 하나에 의해 선택된 프레임인 것을 특징으로 하는 자기 지도 샘플러를 포함하는 행동 인식 모델의 행동인식방법
|
| 9 |
9
제 5 항에 있어서, 상기 행동인식단계는상기 선택된 프레임을 입력으로 사용하여 조밀 예측 방법(dense prediction method)을 적용하여 비디오의 행동을 인식하는 것을 특징으로 하는 자기 지도 샘플러를 포함하는 행동 인식 모델의 행동인식방법
|
| 10 |
10
자기 지도 샘플러를 이용하는 영상 감시 시스템에 있어서,CCTV로부터 동영상을 수신하고, 실시간 객체 검출에 사용되는 객체 검출 모델을 이용하여 동영상 내 사람들을 검출하여 위치를 한정하는 객체 검출부;객체 추적에 사용되는 객체 추적 모델을 이용하여 검출된 사람 각각의 개별 ID를 인식하는 객체 추적부;제1항의 특징을 갖는 학습방법에 의해 학습되며, 인식된 ID별로 복수개의 프레임으로 구성되는 비디오 클립을 입력받아 비디오 클립 중 셔플링된 프레임을 제거하고, 나머지 프레임을 동작 인식 모델로 출력하는 자기 지도 샘플러; 및상기 자기 지도 샘플러로부터 수신된 나머지 프레임을 이용하여 각 사람의 행동을 인식하는 행동 인식 모델;을 포함하는 것을 특징으로 하는 자기 지도 샘플러를 이용하는 영상 감시 시스템
|
| 11 |
11
제 10 항에 있어서, 상기 자기 지도 샘플러는 다운샘플링된 비디오 클립을 수신하고, 다운샘플링된 비디오 클립의 전체 프레임의 각 프레임별로 무관련성 점수들을 예측하고, 상기 각 프레임에 대한 예측된 무관련성 점수에 기초하여 행동 무관련 프레임을 제거하는 과정을 수행하고, 상기 행동 인식 모델은 비디오 클립의 프레임 중 무관련성 프레임을 제거하여 남은 프레임 중 선택된 프레임들을 입력으로 받아 행동인식모델이 행동인식을 수행하는 것을 특징으로 하는 자기 지도 샘플러를 이용하는 영상 감시 시스템
|
| 12 |
12
삭제
|
| 13 |
13
자기 지도 샘플러를 이용하는 영상 감시 시스템의 동작방법에 있어서,객체 검출부가 CCTV로부터 동영상을 수신하고, 실시간 객체 검출에 사용되는 객체 검출 모델을 이용하여 동영상내 사람들을 검출하여 위치를 한정하는 객체검출단계;객체 추적부가 객체 추적에 사용되는 객체 추적 모델을 이용하여 검출된 사람 각각의 개별 ID를 인식하는 객체추적단계;제1항의 특징을 갖는 학습방법에 의해 학습된 자기 지도 샘플러가 인식된 ID별로 복수개의 프레임으로 구성되는 비디오 클립을 입력받아 비디오 클립 중 셔플링된 프레임을 제거하고, 나머지 프레임을 동작 인식 모델로 출력하는 프레임선택단계; 및행동 인식 모델이 자기 지도 샘플러로부터 수신된 나머지 프레임을 이용하여 각 사람의 행동을 인식하는 행동인식단계;를 포함하는 것을 특징으로 하는 자기 지도 샘플러를 이용하는 영상 감시 시스템의 동작방법
|
| 14 |
14
제 13 항에 있어서, 상기 자기 지도 샘플러는 다운샘플링된 비디오 클립을 수신하고, 다운샘플링된 비디오 클립의 전체 프레임의 각 프레임별로 무관련성 점수들을 예측하고, 상기 각 프레임에 대한 예측된 무관련성 점수에 기초하여 행동 무관련 프레임을 제거하는 과정을 수행하고, 상기 행동 인식 모델은 비디오 클립의 프레임 중 무관련성 프레임을 제거하여 남은 프레임 중 선택된 프레임들을 입력으로 받아 행동인식모델이 행동인식을 수행하는 것을 특징으로 하는 자기 지도 샘플러를 이용하는 영상 감시 시스템의 동작방법
|
