| 1 |
1
입력된 영상 데이터의 각 이미지의 외형 매칭(Contour shape matching)을 통한 상기 각 이미지 간의 외형 차이가 미리 결정된 임계값을 초과하는 영상 변이점을 기준으로 상기 입력된 영상 데이터를 분할하는 영상 분할 단계와 입력된 음악 데이터의 주파수 영역에서의 순간적인 진폭 변화가 미리 결정된 임계값을 초과하는 음악 변이점을 기준으로 상기 입력된 음악 데이터를 분할하는 음악 분할 단계를 포함하는 데이터 분할 단계;
상기 영상 분할 단계에 의해 분할된 영상 데이터 조각으로부터 영상의 속도 정보 또는 밝기 정보를 추출하는 영상 분석 단계와 상기 음악 분할 단계에 의해 분할된 음악 데이터 조각으로부터 음악의 속도 정보 또는 밝기 정보를 추출하는 음악 분석 단계를 포함하는 데이터 분석 단계; 및
상기 영상 및 음악의 변이점 또는 상기 영상 및 음악 데이터 조각의 속도 정보 또는 밝기 정보를 기준으로 한 매칭 텀이 서로 대응되도록 상기 영상 데이터 조각과 음악 데이터 조각을 매칭하는 데이터 매칭 단계;
를 포함하는 자동 뮤직 비디오 생성 방법
|
| 2 |
2
제 1 항에 있어서,
상기 영상 분할 단계에서 상기 각 이미지 간의 외형 차이를 추출하기 위한 전처리 과정으로 영상 데이터의 각 이미지의 외형은 캐니 특징점 추출 기법(Canny edge detector)을 통해 이미지의 특징점으로 표현되는 에지 맵(Edge Map)으로 변환되는 것
을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 3 |
3
제 1 항에 있어서,
상기 영상 분할 단계에서
상기 각 이미지의 외형 차이는 다음의 수학식에 따라 두 영상 프레임에서 특징점의 유사성을 측정하여 추출하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 4 |
4
제 3 항에 있어서,
상기 영상 변이점은
상기 유사도 값으로 이루어진 유사 행렬을 대각선 방향으로 Radial Symmetric gaussian Kernel(RSK) 적용한 다음의 식에 의해 결정되는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 5 |
5
제 4 항에 있어서,
상기 커널의 크기()는 상기 영상 데이터 조각의 길이를 결정하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 6 |
6
제 5 항에 있어서,
상기 영상 분할 단계는
사용자에 의해 미리 결정된 복수 개의 상기 커널의 크기에 따라 상기 영상 데이터를 복수 번 분할하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 7 |
7
제 1 항에 있어서,
상기 영상 분석 단계에서 상기 영상의 속도 정보는
상기 각 영상 데이터 조각 내에서 각 이미지의 특징점에 대한 속도 정보 또는 상기 각 영상 데이터 조각의 각 이미지에서 관심 영역(Region of interest)에 대한 속도 정보를 포함하는 것
을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 8 |
8
제 7 항에 있어서,
상기 영상 분석 단계에서 상기 특징점에 대한 속도 정보는
상기 각 영상 데이터 조각에 내에서 하나의 영상 프레임과 상기 하나의 영상 프레임과 이웃하는 영상 프레임간의 색상 차이 값(D2)을 최소화하는 다음의 수학식에 의해 추출되는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 9 |
9
제 7 항에 있어서,
상기 영상 분석 단계에서 상기 관심 영역에 대한 속도 정보는
이미지 공간에서 이웃하는 픽셀들 간의 차이 값인 공간적 집중도와 하나의 영상 프레임에서의 픽셀 위치와 상기 하나의 영상 프레임과 이웃하는 영상 프레임에서의 픽셀의 위치 차이 값인 시간적 집중도를 포함하는 집중도 맵에서 각 픽셀 속도를 합산함으로써 관심 영역에 대한 속도 정보를 추출하는 것
을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 10 |
10
제 9 항에 있어서,
상기 관심 영역에 대한 속도 정보는 다음의 수학식에 의해 추출되는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 11 |
11
제 1 항에 있어서,
상기 영상 분석 단계에서 상기 영상의 밝기 정보는 다음의 수학식에 의해 추출되는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 12 |
12
제 1 항에 있어서,
상기 음악 분할 단계는
상기 순간적인 크기 변화를 추출하기 위한 전처리 과정으로 미리 결정된 단위 샘플 기간의 윈도우로 상기 입력된 음악 데이터를 나누는 단계;와
상기 윈도우로 나누어진 음악 데이터를 각 단위 기간별로 푸리에 변환하여 주파수 영역으로 변환하는 단계;
를 포함하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 13 |
13
제 12 항에 있어서,
상기 음악 분할 단계에서 상기 순간적인 진폭 변화는 다음의 수학식에 따라 주파수 영역으로 변환된 음악 데이터의 두 윈도우에서 진폭의 유사성을 측정하는 Novalty Scoring방법을 이용하여 추출하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 14 |
14
제 13 항에 있어서,
상기 음악 변이점은
상기 유사도 값으로 이루어진 유사 행렬을 대각선 방향으로 Radial Symmetric gaussian Kernel(RSK) 적용하는 다음의 식에 의해 추출되는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 15 |
15
제 14 항에 있어서,
상기 커널의 크기는 상기 음악 데이터 조각의 길이를 결정하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 16 |
16
제 15 항에 있어서,
상기 음악 분할 단계는 사용자에 의해 미리 결정된 복수 개의 상기 커널의 크기에 따라 상기 음악 데이터를 복수 번 분할하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 17 |
17
제 12 항에 있어서,
상기 음악의 속도 정보는
시간 영역에서 상기 음악 데이터 조각에 대한 상기 윈도우에 대한 평균 진폭값 또는 상기 각 윈도우에 대한 평균 진폭값의 변이량을 포함하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 18 |
18
제 17 항에 있어서,
상기 각 윈도우에 대한 평균 진폭 값은 다음의 수학식에 의해 추출되는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 19 |
19
제 17 항에 있어서,
상기 각 윈도우에 대한 평균 진폭 값의 변이량은 하나의 윈도우에 대한 평균 진폭 값과 이전 윈도우에 대한 평균 진폭 값의 차이인 다음의 수학식에 의해 추출되는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 20 |
20
제 1 항에 있어서,
상기 음악의 밝기 정보는 상기 음악 데이터 조각의 주파수 영역에서의 진폭 값에 대한 정보인 스펙트럴 중심(Spectral centroid) 방법인 다음의 수학식에 의해 추출되는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 21 |
21
제 1 항에 있어서,
상기 데이터 매칭 단계는
상기 각각의 매칭 텀이 서로 대응되도록 하기 위해 상기 영상 및 음악 데이터 조각 각각 길이를 허밋 곡선(Hermit curve)을 이용하여 정규화하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 22 |
22
제 1 항에 있어서,
상기 데이터 매칭 단계는
상기 영상 및 음악 데이터 조각을 매칭하기 위한 기준인 매칭 텀은
상기 영상의 속도 정보를 기반으로 한 영상 데이터 조각의 히스토그램과 상기 음악 데이터 조각에 주파수 영역에서의 진폭값을 기반으로 한 히스토그램을 매칭 기준으로 하는 분위기 매칭 텀; 및
상기 영상 및 음악 데이터 조각의 시간 길이 값을 매칭 기준으로 하는 시간 매칭 텀;
을 더 포함하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 23 |
23
제 22 항에 있어서,
상기 분위기 매칭 텀은 다음의 수학식에 의해 매칭값이 결정되는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 24 |
24
제 22 항에 있어서,
상기 데이터 매칭 단계는
상기 각각의 매칭 텀에 대한 가중치를 부여하는 다음의 수학식을 통해 상기 영상 데이터 조각과 상기 음악 데이터 조각을 매칭하기 위한 최종 매칭값을 구하는 것을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 25 |
25
제 1 항에 있어서,
상기 데이터 매칭 단계는
상기 영상 분할 단계에서의 미리 결정된 임계값이 복수 개로 설정되어 상기 영상 데이터를 복수 번 분할한 경우
상기 영상 데이터 조각이 가장 큰 조각부터 작은 조각의 순서로 상기 음악 데이터 조각과 매칭하는 것
을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 26 |
26
제 25 항에 있어서,
상기 데이터 매칭 단계는
상기 상기 영상 데이터 조각이 가장 큰 것부터 작은 것의 순서로 상기 음악 데이터 조각과 매칭한 최종 매칭 값이 매칭 기준값 미만인 경우
상기 음악 분할 단계의 미리 결정된 임계값을 더 작은 값으로 상기 음악 데이터를 재분할하여 상기 복수 번 분할된 상기 각각의 영상 데이터 조각과 상기 재분할된 음악 데이터 조각과 매칭하는 것
을 특징으로 하는 자동 뮤직 비디오 생성 방법
|
| 27 |
27
입력된 영상 데이터의 각 이미지의 외형 매칭(Contour shape matching)을 통한 상기 각 이미지 간의 외형 차이를 기준으로 상기 입력된 영상 데이터를 복수 번 분할하는 다중 영상 분할 단계와 입력된 음악 데이터의 주파수 영역에서의 순간적인 진폭 변화를 기준으로 상기 입력된 음악 데이터를 분할하는 음악 분할 단계를 포함하는 데이터 분할 단계;
상기 다중 영상 분할 단계에 의해 복수 번 분할된 다중 영상 데이터 조각으로부터 영상의 속도 정보 또는 밝기 정보를 추출하는 영상 분석 단계와 상기 음악 분할 단계에 의해 분할된 음악 데이터 조각으로부터 음악의 속도 정보 또는 밝기 정보를 추출하는 음악 분석 단계를 포함하는 데이터 분석 단계; 및
상기 영상 및 음악의 변이점 또는 상기 영상 및 음악 데이터 조각의 속도 정보 또는 밝기 정보를 기준으로 한 매칭 텀이 서로 대응되도록 상기 다중 영상 데이터 조각 중 가장 큰 조각부터 작은 조각 순으로 상기 음악 데이터 조각과 매칭하는 데이터 매칭 단계;
를 포함하는 자동 뮤직 비디오 생성 방법
|
| 28 |
28
제 27 항에 있어서,
상기 자동 뮤직 비디오 생성 방법은
상기 데이터 매칭 단계에서 상기 다중 영상 데이터 조각과 상기 음악 데이터 조각을 매칭하기 위한 매칭값이 매칭 기준 값 이하인 경우
상기 음악 데이터를 이전에 분할된 음악 데이터 조각보다 더 작은 데이터 조각으로 분할하는 음악 재분할 단계;
를 더 포함하는 것
|
| 29 |
29
제 1 항 내지 제 28 항 중 어느 한 항의 상기 자동 뮤직 비디오 생성 방법을 컴퓨터상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체
|
| 30 |
30
입력된 영상 데이터의 각 이미지의 외형 매칭(Contour shape matching)을 통한 상기 각 이미지 간의 외형 차이가 미리 결정된 임계값을 초과하는 영상 변이점을 기준으로 상기 입력된 영상 데이터를 분할하는 영상 분할부와 입력된 음악 데이터의 주파수 영역에서의 순간적인 진폭 변화가 미리 결정된 임계값을 초과하는 음악 변이점을 기준으로 상기 입력된 음악 데이터를 분할하는 음악 분할부를 포함하는 데이터 분할부;
상기 영상 분할부에 의해 분할된 영상 데이터 조각으로부터 영상의 속도 정보 또는 밝기 정보를 추출하는 영상 분석부와 상기 음악 분할부에 의해 분할된 음악 데이터 조각으로부터 음악의 속도 정보 또는 밝기 정보를 추출하는 음악 분석부를 포함하는 데이터 분석부; 및
상기 영상 및 음악의 변이점 또는 상기 영상 및 음악 데이터 조각의 속도 정보 또는 밝기 정보를 기준으로 한 매칭 텀이 서로 대응되도록 상기 영상 데이터 조각과 음악 데이터 조각을 매칭하는 데이터 매칭부;
를 포함하는 자동 뮤직 비디오 생성 장치
|
| 31 |
31
제 30 항에 있어서,
상기 데이터 매칭부는
상기 영상 및 음악 데이터 조각을 매칭하기 위한 기준인 매칭 텀은
상기 영상의 속도 정보를 기반으로 한 영상 데이터 조각의 히스토그램과 상기 음악 데이터 조각에 주파수 영역에서의 진폭값을 기반으로 한 히스토그램을 매칭 기준으로 하는 분위기 매칭 텀; 및
상기 영상 및 음악 데이터 조각의 시간 길이 값을 매칭 기준으로 하는 시간 매칭 텀;
을 더 포함하는 것을 특징으로 하는 자동 뮤직 비디오 생성 장치
|
| 32 |
32
제 30 항에 있어서,
상기 데이터 매칭부는
상기 영상 분할부에서의 미리 결정된 임계값이 복수 개로 설정되어 상기 영상 데이터를 복수 번 분할한 경우
상기 영상 데이터 조각이 가장 큰 조각부터 작은 조각의 순서로 상기 음악 데이터 조각과 매칭하는 것
을 특징으로 하는 자동 뮤직 비디오 생성 장치
|
| 33 |
33
입력된 영상 데이터의 각 이미지의 외형 매칭(Contour shape matching)을 통한 상기 각 이미지 간의 외형 차이를 기준으로 상기 입력된 영상 데이터를 복수 번 분할하는 다중 영상 분할부와 입력된 음악 데이터의 주파수 영역에서의 순간적인 진폭 변화를 기준으로 상기 입력된 음악 데이터를 분할하는 음악 분할부를 포함하는 데이터 분할부;
상기 다중 영상 분할부에 의해 복수 번 분할된 다중 영상 데이터 조각으로부터 영상의 속도 정보 또는 밝기 정보를 추출하는 영상 분석부와 상기 음악 분할부에 의해 분할된 음악 데이터 조각으로부터 음악의 속도 정보 또는 밝기 정보를 추출하는 음악 분석부를 포함하는 데이터 분석부; 및
상기 영상 및 음악의 변이점 또는 상기 영상 및 음악 데이터 조각의 속도 정보 또는 밝기 정보를 기준으로 한 매칭 텀이 서로 대응되도록 상기 다중 영상 데이터 조각 중 가장 큰 조각부터 작은 조각 순으로 상기 음악 데이터 조각과 매칭하는 데이터 매칭부;
를 포함하는 자동 뮤직 비디오 생성 장치
|
| 34 |
34
제 33 항에 있어서,
상기 자동 뮤직 비디오 생성 장치는
상기 데이터 매칭부에서 상기 다중 영상 데이터 조각과 상기 음악 데이터 조각을 매칭하기 위한 매칭값이 매칭 기준 값 이하인 경우
상기 음악 데이터를 이전에 분할된 음악 데이터 조각보다 더 작은 데이터 조각으로 분할하는 음악 재분할부;
를 더 포함하는 것을 특징으로 하는 자동 뮤직 비디오 생성 장치
|
