| 1 |
1
이미지와 오디오로 이루어지는 동영상의 특징 벡터 추출 방법에 있어서,(a) 상기 동영상의 이미지에 대한 이미지 특징 벡터를 추출하는 단계;(b) 상기 동영상의 오디오에 대한 오디오 특징 벡터를 추출하는 단계;(c) 상기 이미지 특징 벡터 및 상기 오디오 특징 벡터를 각각 단위 벡터를 이용하여 정규화시키는 단계;(d) 정규화된 이미지 특징 벡터와 정규화된 오디오 특징 벡터를 통합하여 상기 동영상에 대한 특징 벡터를 생성하는 단계;를 구비하여 동영상을 대표하는 단일의 특징 벡터를 추출하는 동영상의 특징 벡터 추출 방법
|
| 2 |
2
제1항에 있어서, 상기 (d) 단계는, 상기 정규화된 이미지 특징 벡터와 오디오 특징 벡터에 대한 상관 계수를 추출하고, 상기 상관 계수를 가중값으로 이용하여 상기 정규화된 이미지 특징 벡터와 오디오 특징 벡터를 상관 관계 통합하여 상기 동영상에 대한 특징 벡터를 생성하는 것을 특징으로 하는 동영상의 특징 벡터 추출 방법
|
| 3 |
3
제2항에 있어서, 상기 상관 계수는 상기 정규화된 이미지 특징 벡터와 오디오 특징 벡터에 대한 피어슨 상관 계수인 것을 특징으로 하는 동영상의 특징 벡터 추출 방법
|
| 4 |
4
제2항에 있어서, 상기 (d) 단계는 상기 정규화된 이미지 특징 벡터와 오디오 특징 벡터에 대하여 평균 통합을 하여 상기 동영상에 대한 특징 벡터를 생성하되, 상기 상관 계수를 가중값으로 사용하는 것을 특징으로 하는 동영상의 특징 벡터 추출 방법
|
| 5 |
5
제1항에 있어서, 상기 (c) 단계는 단일 계층 신경망을 사용하여 상기 (a) 단계에서 추출된 이미지 특징 벡터의 차원과 상기 (b) 단계에서 추출된 오디오 특징 벡터의 차원을 일치시키고, 서로 일치된 차원을 갖는 이미지 특징 벡터와 오디오 특징 벡터를 단위 벡터를 이용하여 정규화시키는 것을 특징으로 하며, 상기 단위 벡터는 이미지 특징 벡터와 오디오 특징 벡터의 속성은 그대로 유지하면서 크기가 1인 벡터인 것을 특징으로 하는 동영상의 특징 벡터 추출 방법
|
| 6 |
6
제1항 내지 제5항 중 어느 한 항에 따른 동영상의 특징 벡터 추출 방법에 의해 추출된 동영상을 대표하는 단일의 특징 벡터를 이용하여 동영상에 대한 이벤트를 분류하는 것을 특징으로 하는 동영상 분류 방법
|
| 7 |
7
동영상으로부터 이미지와 오디오를 각각 추출하는 이미지/오디오 추출 모듈;상기 이미지/오디오 추출 모듈로부터 추출된 이미지에 대한 이미지 특징 벡터를 추출하는 이미지 특징 벡터 추출 모듈;상기 이미지/오디오 추출 모듈로부터 추출된 오디오에 대한 오디오 특징 벡터를 추출하는 오디오 특징 벡터 추출 모듈;단일 계층 신경망을 이용하여 상기 이미지 특징 벡터 추출 모듈에 의해 추출된 이미지 특징 벡터의 차원과 상기 오디오 특징 벡터 추출 모듈에 의해 추출된 오디오 특징 벡터의 차원을 서로 일치시키는 차원 일치 모듈;상기 차원 일치 모듈에 의해 차원이 일치된 이미지 특징 벡터 및 오디오 특징 벡터를 단위 벡터를 이용하여 각각 정규화시키는 정규화 모듈;정규화된 이미지 특징 벡터와 오디오 특징 벡터를 통합시켜 동영상을 대표하는 하나의 특징 벡터를 추출하는 벡터 통합 모듈;을 구비하여, 동영상을 대표하는 단일을 특징 벡터를 추출하여 제공하는 동영상의 특징 벡터 추출 시스템
|
| 8 |
8
제7항에 있어서, 상기 벡터 통합 모듈은, 상기 정규화된 이미지 특징 벡터와 오디오 특징 벡터에 대한 상관 계수를 추출하고, 상기 상관 계수를 가중값으로 이용하여 상기 정규화된 이미지 특징 벡터와 오디오 특징 벡터를 상관 관계 통합하여 상기 동영상에 대한 특징 벡터를 생성하는 것을 특징으로 하는 동영상의 특징 벡터 추출 시스템
|
| 9 |
9
제8항에 있어서, 상기 상관 계수는 상기 정규화된 이미지 특징 벡터와 오디오 특징 벡터에 대한 피어슨 상관 계수인 것을 특징으로 하는 동영상의 특징 벡터 추출 시스템
|
| 10 |
10
제8항에 있어서, 상기 벡터 통합 모듈은, 상기 정규화된 이미지 특징 벡터와 오디오 특징 벡터에 대하여 평균 통합을 하여 상기 동영상에 대한 특징 벡터를 생성하되, 상기 상관 계수를 가중값으로 사용하는 것을 특징으로 하는 동영상의 특징 벡터 추출 시스템
|
| 11 |
11
제7항 내지 제10항 중 어느 한 항에 따른 동영상의 특징 벡터 추출 시스템에 의해 추출된 동영상을 대표하는 단일의 특징 벡터를 이용하여 동영상에 대한 이벤트를 분류하는 것을 특징으로 하는 동영상 분류 시스템
|
