| 1 |
1
사전 설정된 프로그램을 실행하는 마이크로프로세서에 의해, 동영상의 각 씬에 대한 장소를 분류하도록 구성된 동영상의 씬단위 장소 분류 방법에 있어서, 동영상의 각 씬에 대하여, 각 씬을 구성하는 프레임들로부터 사전 설정된 개수의 프레임들을 샘플링하는 프레임 샘플링 단계;상기 프레임 샘플링 모듈에 의해 샘플링된 프레임들에 대한 특징 벡터들을 추출하는 특징 추출 단계;각 씬으로부터 샘플링된 프레임들로부터 상기 특징 추출 모듈에 의해 추출된 프레임들에 대한 특징 벡터들을 융합하여 씬에 대한 특징 벡터를 생성하는 씬 단위 특징 벡터 생성 단계;씬에 대한 씬 단위 특징 벡터를 이용하여 해당 씬에 대한 장소를 분류하는 분류 단계;를 구비하여, 동영상의 각 씬에 대한 장소를 인식하여 분류하는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 방법
|
| 2 |
2
제1항에 있어서, 상기 프레임 샘플링 단계는, 사전 학습에 의해 구성된 이진 분류기를 사용하여 장소 포함 확률이 50% 이상인 프레임들을 후보 프레임으로 1차 추출하고, 각 씬으로부터 1차 추출된 후보 프레임들의 개수가 사전 설정된 개수보다 많으면, 장소 포함 확률이 높은 순서에 따라 사전 설정된 개수만큼 프레임들을 최종 샘플링하고,각 씬으로부터 1차 추출된 후보 프레임들의 개수가 사전 설정된 개수보다 작으면, 상기 후보 프레임들을 반복적으로 추출하여 사전 설정된 개수만큼 프레임들을 최종 샘플링하는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 방법
|
| 3 |
3
제1항에 있어서, 상기 특징 추출 단계는, 사전 학습에 의해 구성된 CNN(Convolution Neural Network)을 기반으로 한 분류기를 사용하여, 각 프레임에 대한 장소 인식을 위한 특징을 추출하는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 방법
|
| 4 |
4
제1항에 있어서, 상기 씬 단위 특징 벡터 생성 단계는, 각 프레임에 대한 특징을 분석하여 각 특징에 대한 가중치를 부여하고 프레임에 대한 강조된 특징 벡터를 생성하는 어텐션 단계; 및 하나의 씬으로부터 샘플링된 프레임들에 대하여 상기 강조된 특징 벡터들을 융합하여 씬 단위 특징 벡터를 생성하는 융합 단계;를 구비하는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 방법
|
| 5 |
5
제4항에 있어서, 상기 어텐션 단계는, 각 프레임들에 대한 특징 벡터들을 구성하는 특징을 이용하여 어텐션 맵(Attention Map)을 생성하고, 어텐션 맵을 구성하는 각 특징에 대한 가중치를 조절하고, 상기 가중치가 조절된 어텐션 맵과 입력된 프레임의 특징 벡터들을 곱하여, 일부 특징들이 강조된 특징 벡터를 생성하는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 방법
|
| 6 |
6
제4항에 있어서, 상기 융합 단계는, 풀링 방법, 합성곱 방법, 클러스터링 방법 중 하나를 사용하여, 사전 설정된 개수의 프레임들에 대한 강조된 특징 벡터들을 융합하여 씬 단위 특징 벡터를 생성하는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 방법
|
| 7 |
7
마이크로프로세서를 구비하여 동영상의 각 씬에 대한 장소를 분류하고 인식하는 동영상의 씬단위 장소 분류 장치에 있어서, 동영상의 각 씬에 대하여, 각 씬을 구성하는 프레임들로부터 사전 설정된 개수의 프레임들을 샘플링하는 프레임 샘플링 모듈;상기 프레임 샘플링 모듈에 의해 샘플링된 프레임들에 대한 장소 인식을 위한 특징 벡터들을 추출하는 특징 추출 모듈;각 씬으로부터 샘플링된 프레임들로부터 상기 특징 추출 모듈에 의해 추출된 프레임들에 대한 특징 벡터들을 융합하여 씬에 대한 특징 벡터를 생성하는 씬 단위 특징 벡터 생성 모듈;씬에 대한 씬 단위 특징 벡터를 이용하여 해당 씬에 대한 장소를 분류하는 분류 모듈;을 구비하여, 동영상의 각 씬에 대한 장소를 인식하여 분류하는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 장치
|
| 8 |
8
제7항에 있어서, 상기 프레임 샘플링 모듈은, 이진 분류기를 사용하여 장소 포함 확률이 50% 이상인 프레임들을 추출하고, 각 씬으로부터 추출된 프레임이 사전 설정된 개수보다 많으면, 장소 포함 확률이 높은 순서에 따라 사전 설정된 개수의 프레임들을 샘플링하고,각 씬으로부터 추출된 프레임이 사전 설정된 개수보다 작으면, 추출된 프레임들을 반복적으로 추출하여 사전 설정된 개수의 프레임들을 샘플링하는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 장치
|
| 9 |
9
제7항에 있어서, 상기 씬 단위 특징 벡터 생성 모듈은, 프레임에 대한 특징 벡터들에 대하여 각 특징에 대한 가중치를 조정하는 어텐션 모듈; 및 하나의 씬으로부터 샘플링된 프레임들에 대하여 어텐션 모듈에 의해 강조된 특징 벡터들을 융합하여 씬 단위 특징 벡터를 생성하는 융합 모듈;을 구비하고,는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 장치
|
| 10 |
10
제9항에 있어서, 상기 어텐션 모듈은, 각 프레임들에 대한 특징 벡터들을 구성하는 특징을 이용하여 어텐션 맵(Attention Map)을 생성하고, 학습을 통해 어텐션 맵을 구성하는 특징들에 대한 가중치를 조절하고, 상기 가중치가 조절된 어텐션 맵과 입력된 프레임의 특징 벡터를 곱하여, 일부 특징들이 강조된 특징 벡터를 생성하는 것을 특징으로 하는 동영상의 씬 단위 장소 분류 장치
|
