| 1 |
1
여러 음을 가진 오디오 신호가 입력되면, 유동적 길이를 가지는 분석 창을 이용하여 주파수를 분석하는 주파수 분석 단계;상기 주파수 분석 단계를 통하여 분석된 여러 음을 가진 오디오 신호에서 하모닉 구조 모델을 이용하여 멜로디 피치 후보들을 추출하는 멜로디 피치 후보 추출 단계; 및상기 멜로디 피치 후보 추출 단계에서 추출된 멜로디 피치 후보들을 연결하여 멜로디 라인을 결정하는 멜로디 라인 결정 단계;를 포함하되,상기 주파수 분석 단계는, 입력된 여러 음을 가지는 오디오 신호를 리샘플링(Resampling)하는 제 1단계;시간 영역(Time Domain) 기준으로 입력된 오디오 신호를 주파수 영역(Frequency Domain) 기준의 신호로 변환하는 제 2단계;상기 제 2단계를 통하여 얻어진 각 프레임의 스펙트럼에서 진폭의 피크 값과 상기 피크 값이 나타나는 위치의 주파수 값을 추출하는 제 3단계;상기 제 3단계를 통하여 추출된 값들을 바탕으로 각 프레임의 멜로디 피치가 존재하는 범위를 재설정하는 제 4단계;상기 제 2단계를 통하여 주파수 영역 기준의 신호로 변환된 결과에서 프레임 간의 자기상관계수를 파악하는 방법으로 멜로디 피치의 동적 변화 정보를 추출하는 제 5단계;상기 제 4단계를 통하여 재설정된 각 프레임의 멜로디 피치가 존재하는 범위에 관한 정보 및 상기 제 5단계를 통하여 추출된 멜로디 피치의 동적 변화 정보를 이용하여 각 프레임에 대응되는 분석 창의 길이를 설정하는 제 6단계;고주파수 통과 필터(HPF)를 이용하여 상기 오디오 신호에서 베이스 신호 및 저주파 신호를 제거하는 제 7단계;상기 제 7단계를 통하여 고주파수 통과 필터(HPF)를 통과한 상기 오디오 신호를 상기 제 6단계에서 길이가 설정된 각 프레임에 대응되는 분석 창을 이용하여 단시간 푸리에 변환(STFT)하는 제 8단계; 및상기 제 8단계를 통하여 단시간 푸리에 변환(STFT) 오디오 신호를 주파수 영역의 분해능(Resolution)을 높이기 위해 다중비율필터뱅크(Multi-Rate Filter Bank)를 통과시키는 제 9단계;를 포함하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 2 |
2
삭제
|
| 3 |
3
청구항 1에 있어서,상기 제 2단계는 고정된 길이의 분석 창(Fixed Length Analysis Window)을 이용한 단시간 푸리에 변환(STFT)을 적용하여 시간 영역 기준으로 입력된 오디오 신호를 주파수 영역 기준의 신호로 변환하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 4 |
4
청구항 1에 있어서,상기 제 3단계의 상기 피크 값이 나타나는 위치의 주파수 값은 주파수 빈의 번호, 이산 푸리에 변환(DFT)의 빈의 개수 및 리샘플링 주파수를 이용하여 추출하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 5 |
5
청구항 4에 있어서,상기 제 3단계의 상기 피크 값이 나타나는 위치의 주파수 값은 하기의 수학식 1에 의해 구하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 6 |
6
청구항 1에 있어서,상기 제 4단계는, 상위 K개의 멜로디 피크 값 및 상기 피크 값이 나타나는 주파수 값을 추출하는 제 1과정;상기 제 1과정을 통하여 추출된 피크 값 및 상기 피크 값이 나타나는 위치의 주파수 값 중에서 처음 설정한 멜로디 범위 안에 존재하는 모든 피크 값들을 찾아 이들을 잠재적인 멜로디 후보로 선정하는 제 2과정;상기 제 2과정을 통하여 선정된 잠재적인 멜로디 후보들을 바탕으로 멜로디 범위를 재설정하기 위하여 상기 잠재적인 멜로디 후보에서 각 후보의 주파수를 멜로디의 기본 주파수로 간주하고, 상기 제 1과정을 통하여 추출된 피크 값 중에서 상기 기본 주파수의 하모닉 성분에 해당하는 주파수 주위에 피크 값이 있으면 상기 피크 값을 기본 주파수 피크 값에 더하는 방법으로 상기 처음 설정한 멜로디 범위 내에 존재하는 모든 피크 값들에 대해 하모닉 성분을 조사하고 피크 값을 더하는 제 3과정;상기 제 3과정을 통하여 상기 기본 주파수에 대해 더해진 상기 피크 값에 보상값을 곱해주되, 일 기본 주파수가 타 기본 주파수보다 작으면 타 기본 주파수에 대한 보상값 보다 작은 보상값을 곱해주고, 상기 일 기본 주파수가 타 기본 주파수보다 크면 타 기본 주파수에 대한 보상값보다 큰 보상값을 곱해주고, 곱하여 얻어진 결과 중에서 값이 큰 순서대로 N개의 후보를 찾는 제 4과정; 및상기 제 1과정 내지 제 4과정을 각 프레임마다 적용하여 전체 프레임에서 멜로디 피치가 존재하는 범위를 알아내는 제 5과정;을 포함하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 7 |
7
청구항 1에 있어서,상기 제 5단계는 상기 제 2단계를 통하여 주파수 영역 기준의 신호로 변환된 결과에서 프레임 간의 자기상관계수를 파악하는 방법으로 멜로디 피치의 동적 변화 정보를 추출하며, 상기 자기상관계수는 하기의 수학식 2에 의해 구하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 8 |
8
청구항 1에 있어서,상기 제 6단계는 각 프레임에 대응되는 분석 창의 길이를 설정하며, 상기 분석 창의 길이는 멜로디 피치 값에 따라 설정되는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 9 |
9
청구항 1에 있어서,멜로디 피치 후보 추출 단계는, 상기 주파수 분석 단계를 통하여 분석된 여러 음을 가진 오디오 신호가 입력되면, 입력된 상기 오디오 신호를 단시간 푸리에 변환(STFT)하는 제 1단계;상기 제 1단계를 통하여 단시간 푸리에 변환(STFT)된 오디오 신호의 단위를 헤르쯔(Hz)에서 센트(Cent)로 변환하는 제 2단계;상기 제 2단계를 통하여 센트(Cent) 단위로 변환된 오디오 신호의 각 프레임마다 피크 지점을 추출하는 제 3단계;멜로디 피치 후보들이 내포한 하모닉 구조 모델의 비중(Weight)을 측정하는 제 4단계;상기 제 4단계에서 측정한 비중(Weight) 정보에 있어서, 주파수에 따른 에너지 레벨 차이를 보상하는 제 5단계; 및각 프레임에서 N개의 멜로디 피치 후보를 추출하는 제 6단계;를 포함하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 10 |
10
청구항 9에 있어서,상기 제 2단계는 상기 제 1단계를 통하여 단시간 푸리에 변환(STFT)된 오디오 신호의 단위를 헤르쯔(Hz)에서 센트(Cent)로 변환하며, 상기 변환은 하기의 수학식 3에 의하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 11 |
11
청구항 9에 있어서,상기 제 3단계는 상기 제 2단계를 통하여 센트(Cent)로 단위로 변환된 오디오 신호의 각 프레임 마다 피크 지점을 추출하며, 상기 피크 지점은 상기 각 프레임의 지엽적 최대값(Local Maximum Value)인 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 12 |
12
청구항 9에 있어서,상기 제 4단계는 상기 제 3단계를 통하여 추출된 지엽적 최대값(Local Maximum Value)을 제외한 나머지 부분은 0으로 설정한 단시간 푸리에 변환(STFT) 결과와 하모닉 구조 모델을 내적(Inner Product)하여 기설정된 멜로디 피치 후보들이 하모닉 구조 모델을 얼마나 내포하고 있는지 비중(Weight)을 측정하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 13 |
13
청구항 9에 있어서,상기 제 5단계는 상기 제 4단계에서 측정한 비중(Weight) 정보에 있어서, 주파수에 따른 에너지 레벨 차이를 보상하며, 상기 보상은 일 주파수 영역에는 일 값을 곱하고, 타 주파수 영역에는 타 값을 곱하여 이루어지되, 상기 일 주파수 영역이 타 주파수 영역보다 높은 경우 상기 일 값은 타 값보다 크고, 반대로 상기 일 주파수 영역이 타 주파수 영역보다 낮은 경우 상기 일 값은 타 값보다 작은 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 14 |
14
청구항 9에 있어서,상기 제 6단계는 상기 제 5단계를 통하여 보상된 비중(Weight) 정보에 대한 결과를 바탕으로 각 프레임에서 N개의 멜로디 피치 후보를 추출하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 15 |
15
청구항 1에 있어서,멜로디 라인 결정 단계는, 각 프레임에서 N개의 멜로디 피치 후보들과 상기 피치 후보들이 가지는 비중(Weight)에 관한 정보를 입력받는 제 1단계;멜로디 라인의 시작 프레임을 설정하는 제 2단계;상기 제 2단계를 통하여 설정된 시작 프레임에서 상기 제 1단계에서 입력받은 N개의 멜로디 피치 후보들을 선택하고 이들을 비중(Weight)이 큰 순으로 정렬하는 제 3단계;이웃한 두 멜로디 피치 후보가 기설정된 멜로디 라인 기준을 만족하는지 판정하는 제 4단계;상기 제 4단계를 통하여 이웃한 두 멜로디 피치 후보가 기설정된 멜로디 라인 기준을 만족하는 것으로 판정되면, 멜로디 라인 연결을 통해 각 멜로디 구간마다 N개의 멜로디 라인 후보를 선택하는 제 5단계;상기 제 5단계를 통하여 선택된 N개의 멜로디 라인 후보 중에서 최적의 멜로디 라인을 선택하는 제 6단계; 및상기 제 6단계를 통하여 선택된 멜로디 라인에서 돌출된 멜로디 피치 값 또는 잘못된 멜로디 피치 값을 제거 및 수정하는 제 7단계;포함하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 16 |
16
청구항 15에 있어서,상기 제 2단계는 멜로디 라인을 결정하기 위한 첫 번째 프레임을 시작 프레임으로 설정하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 17 |
17
청구항 15에 있어서,상기 제 4단계의 멜로디 라인 기준은 멜로디 라인이 가지는 특성을 기반으로 하여 설정되며, 음악의 장르나 특성에 따라 다르게 설정되는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 18 |
18
청구항 15에 있어서,상기 제 5단계는 상기 제 4단계를 통하여 이웃한 두 멜로디 피치 후보가 기설정된 멜로디 라인 기준을 만족하는 것으로 판정되면, 첫 번째 후보부터 그 다음 프레임 피치 후보들과 멜로디 라인을 연결하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 19 |
19
청구항 18에 있어서,상기 제 5단계는 첫 번째 후보를 기준으로 한 구간의 멜로디 라인을 연결한 경우 이와 같은 방법으로 시작 프레임의 N번째 멜로디 피치까지 멜로디 라인을 연결하여 한 멜로디 라인 구간에서 총 N개의 멜로디 라인을 연결하며, 멜로디 라인이 끝나는 그 다음 프레임을 또 다른 시작 프레임으로 설정하고 상기 제 3단계 내지 제 4단계의 과정을 반복하여 새로운 멜로디 라인 후보를 형성하는 방법으로 N개의 멜로디 라인 후보를 선택하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 20 |
20
청구항 19에 있어서,상기 제 6단계는 상기 제 5단계를 통하여 선택된 N개의 멜로디 라인 후보 중에서 최적의 멜로디 라인을 선택하며, 상기 최적의 멜로디 라인은 멜로디 라인의 피치 값들이 가지는 비중(Weight) 정보를 기준으로 결정하는 것을 특징으로 하는 여러 음을 가진 오디오 신호에서 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법
|
| 21 |
21
청구항 1, 청구항 3 내지 청구항 20 중 어느 하나의 항에 따른 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법에 관한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
|
| 22 |
22
청구항 1, 청구항 3 내지 청구항 20 중 어느 하나의 항에 따른 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법을 적용한 멜로디 추출 시스템
|
| 23 |
23
청구항 1, 청구항 3 내지 청구항 20 중 어느 하나의 항에 따른 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법을 적용한 음악 내용 정보 자동 추출 시스템
|
| 24 |
24
청구항 1, 청구항 3 내지 청구항 20 중 어느 하나의 항에 따른 하모닉 구조 모델과 유동적인 길이를 갖는 분석 창을 이용한 멜로디 추출 방법을 적용한 콘텐츠 기반의 음악 검색 시스템
|
