| 1 |
1
외부의 입력 장치로부터 사운드 신호가 입력되는 신호 입력부;다수 개의 음원들에 대한 정보가 저장된 음원 데이터베이스;상기 신호 입력부로부터 사운드 신호가 제공되면, 사전 설정된 시간 간격의프레임으로 분할하고, 각 프레임에 대한 멜로디를 추출하는 멜로디 추출부;상기 멜로디 추출부에 의해 추출된 각 프레임에 대한 멜로디를 반음계로 변환시키는 반음계 변환부;상기 신호 입력부로부터 사운드 신호가 제공되면, 사전 설정된 시간 간격의 프레임으로 분할하고, 각 프레임에 대한 온셋 정보를 검출하여 제공하는 온셋 검출부;상기 반음계 변환부로부터 각 프레임에 대한 반음 정보를 수신하고, 상기 온셋 검출부로부터 각 프레임에 대한 온셋 정보를 수신하며, 상기 온셋 정보를 이용하여 사운드 신호의 시작 프레임을 검출하고, 상기 사운드 신호의 시작 프레임부터 일정시간동안 기본 주파수에 해당하는 멜로디 시퀀스를 추정하여 제공하는 멜로디 시퀀스 추정부;상기 멜로디 시퀀스 추정부에 의해 추정된 멜로디 시퀀스와 상기 음원 데이터베이스의 음원들의 멜로디 시퀀스를 비교하여 상기 사운드 신호의 멜로디 시퀀스와 가장 유사한 멜로디 시퀀스를 갖는 유사 음원을 검색하는 음원 선택부;상기 유사 음원에 대한 반주를 상기 음원 데이터베이스로부터 검색하여 출력하는 반주 출력부;를 구비하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 2 |
2
제1항에 있어서, 상기 반주 제공 장치는 상기 유사 음원에 대한 반주의 음정을 보정하는 반주 보정부를 더 구비하고, 상기 반주 보정부는 사운드 신호의 멜로디 시퀀스의 평균과 상기 유사 음원의 멜로디 시퀀스의 평균의 차이를 이용하여 상기 유사 음원에 대한 반주의 음정을 보정하는 것을 특징으로 하며, 상기 반주 출력부는 상기 반주 보정부에 의해 보정된 음정을 갖는 반주를 출력하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 3 |
3
제1항에 있어서, 상기 반주 제공 장치는 상기 유사 음원에 대한 반주의 빠르기를 보정하는 반주 보정부를 더 구비하고, 상기 반주 보정부는 상기 음원 선택부가 수행한 동적 타임 워핑(Dynamic Time Warping)에서 획득한 경로의 기울기 정보를 이용하여 상기 유사 음원에 대한 반주의 빠르기를 보정하는 것을 특징으로 하며, 상기 반주 출력부는 상기 반주 보정부에 의해 보정된 빠르기를 갖는 반주를 출력하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 4 |
4
제1항에 있어서, 상기 음원 데이터베이스는 다수 개의 음원들에 대한 멜로디 시퀀스 및 반주 정보를 구비하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 5 |
5
제1항에 있어서, 상기 멜로디 추출부는 각 프레임의 신호들에 대한 자기 상관 계수(R(τ))를 구하여 제공하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 6 |
6
제1항에 있어서, 상기 반음계 변환부는 상기 멜로디 추출부로부터 각 프레임의 신호들에 대한 자기상관계수들을 수신하고, 상기 자기상관계수들을 양자화하고 반음계의 에너지값으로 변환하여 제공하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 7 |
7
제1항에 있어서, 상기 온셋 검출부는 상기 신호 입력부로부터 입력된 사운드 신호의 각 프레임에 대하여 이전과 현재의 다수개의 프레임의 에너지들의 가중치를 둔 합을 계산하고, 각 프레임에 대해 상기 계산된 합이 사전 설정된 문턱값보다 큰 경우 온셋으로 판단하고, 온셋으로 판단된 시간 정보 또는 프레임 정보를 멜로디 시퀀스 추정부로 제공하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 8 |
8
제1항에 있어서, 상기 멜로디 시퀀스 추정부는 상기 온셋 검출부로부터 제공된 첫번째 온셋으로 판단된 시점으로부터 사전 설정된 일정 시간 동안의 사운드 신호에 대해서 멜로디 시퀀스를 추정하여 제공하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 9 |
9
제1항에 있어서, 상기 멜로디 시퀀스 추정부는 동적 계획법(dynamic programming)을 수행하여 멜로디 시퀀스를 추정하여 제공하며, 상기 동적 계획법은 상기 반음계 변환부로부터 각 프레임의 각 반음에 대한 양자화된 에너지값들을 수신하고, 상기 수신된 에너지값들을 이용하여 각 프레임의 모든 반음에 대하여 각각 현재 프레임 및 이전 프레임의 각 반음의 에너지 및 반음의 차이를 고려한 스코어(score)를 계산하고, 마지막 프레임에서 가장 큰 스코어를 갖는 반음을 기본 주파수로 결정하고, 상기 마지막 프레임의 가장 큰 스코어를 갖는 반음까지 오는 프레임간의 경로를 역추적하여 멜로디 시퀀스를 결정하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 10 |
10
제9항에 있어서, 상기 멜로디 시퀀스 추정부는 상기 온셋 검출부로부터 제공되는 온셋으로 판단된 시간 정보 또는 프레임 정보에 따라 온셋 구간을 나누고, 각 단위 온셋 구간별로 동적 계획법(dynamic programming)을 수행하여 멜로디 시퀀스를 추정하여 제공하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 11 |
11
제1항에 있어서, 상기 음원 선택부는 상기 멜로디 시퀀스 추정부로부터 제공된 멜로디 시퀀스를 정규화시킨 후, 상기 정규화된 멜로디 시퀀스와 상기 음원 데이터베이스의 각 음원들의 멜로디 시퀀스에 대하여 동적 타임 워핑(Dynamic Time Warping)을 수행하여 사운드 신호의 프레임에 대응하는 상기 음원들의 프레임을 추정하고, 서로 대응되는 사운드 신호의 프레임들과 음원의 프레임들의 멜로디 차이를 검출하고, 상기 멜로디 차이가 가장 작은 음원을 유사 음원으로 선택하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 장치
|
| 12 |
12
다수 개의 음원들에 대한 멜로디 시퀀스 및 반주 정보가 저장된 음원 데이터베이스를 이용하여, 외부의 입력장치로부터 입력된 사운드 신호를 기반으로 하여 반주를 제공하는 방법에 있어서, (a) 외부의 입력 장치로부터 사운드 신호를 입력받는 단계;(b) 상기 신호 입력부로부터 사운드 신호가 제공되면, 사전 설정된 시간 간격의프레임으로 분할하고 각 프레임에 대한 멜로디를 추출하는 단계;(c) 상기 추출된 각 프레임에 대한 멜로디를 반음계로 변환시켜 각 프레임의 각 반음에 대한 에너지를 구하는 단계;(d) 상기 신호 입력부로부터 사운드 신호가 제공되면, 사전 설정된 시간 간격의 프레임으로 분할하고, 각 프레임에 대한 온셋 정보를 검출하는 단계;(e) 상기 검출된 온셋 정보를 이용하여 사운드 신호의 시작 프레임을 검출하고, 각 프레임의 각 반음에 대한 에너지들로부터 기본 주파수를 검출하고, 상기 사운드 신호의 시작 프레임부터 일정시간동안 기본 주파수에 해당하는 멜로디 시퀀스를 추정하는 단계;(f) 상기 추정된 멜로디 시퀀스와 상기 음원 데이터베이스의 음원들의 멜로디 시퀀스를 비교하여 상기 사운드 신호의 멜로디 시퀀스와 가장 유사한 멜로디 시퀀스를 갖는 음원을 검색하여 유사 음원을 선택하는 단계;(g) 상기 유사 음원에 대한 반주를 상기 음원 데이터베이스로부터 검색하여 출력하는 단계;를 구비하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 방법
|
| 13 |
13
제12항에 있어서, 상기 (g) 단계는 상기 유사 음원에 대한 반주를 상기 음원 데이터베이스로부터 검색한 후, 사운드 신호의 멜로디 시퀀스의 평균과 상기 유사 음원의 멜로디 시퀀스의 평균의 차이를 이용하여 상기 유사 음원에 대한 반주의 음정을 보정하고, 상기 보정된 음정을 갖는 반주를 출력하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 방법
|
| 14 |
14
제12항에 있어서, 상기 (g) 단계는 상기 유사 음원에 대한 반주를 상기 음원 데이터베이스로부터 검색한 후, 상기 음원 선택부가 수행한 동적 타임 워핑(Dynamic Time Warping)에서 획득한 경로의 기울기 정보를 이용하여 상기 검색된 음원에 대한 반주의 빠르기를 보정하고, 상기 보정된 빠르기를 갖는 반주를 출력하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 방법
|
| 15 |
15
제12항에 있어서, 상기 (b)단계에서 각 프레임의 신호들에 대한 멜로디는 각 프레임의 신호들에 대한 자기 상관 계수(R(τ))로 제공되는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 방법
|
| 16 |
16
제12항에 있어서, 상기 (c)단계는 각 프레임의 신호들에 대한 자기상관계수들을 반음계의 에너지로 변환하여 양자화하여 제공하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 방법
|
| 17 |
17
제12항에 있어서, 상기 (d) 단계는 상기 사운드 신호의 각 프레임에 대하여 이전과 현재의 다수개의 프레임의 에너지들의 가중치를 둔 합을 계산하고, 각 프레임에 대해 상기 계산된 합이 사전 설정된 문턱값보다 큰 경우 온셋으로 판단하고, 온셋으로 판단된 시간 정보 또는 프레임 정보를 제공하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 방법
|
| 18 |
18
제12항에 있어서, 상기 (e) 단계는 동적 계획법(dynamic programming)을 수행하여 멜로디 시퀀스를 추정하여 제공하며, 상기 동적 계획법은 각 프레임의 각 반음에 대한 양자화된 에너지값들을 수신하고, 상기 수신된 에너지값들을 이용하여 각 프레임의 모든 반음에 대하여 각각 현재 프레임 및 이전 프레임의 각 반음의 에너지 및 반음의 차이를 고려한 스코어(score)를 계산하고, 마지막 프레임에서 가장 큰 스코어를 갖는 반음을 기본 주파수로 결정하고, 상기 마지막 프레임의 가장 큰 스코어를 갖는 반음까지 오는 프레임간의 경로를 역추적하여 멜로디 시퀀스를 결정하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 방법
|
| 19 |
19
제18항에 있어서, 상기 (e) 단계는 온셋으로 판단된 시간 정보 또는 프레임 정보에 따라 온셋 구간을 나누고, 각 단위 온셋 구간별로 동적 계획법(dynamic programming)을 수행하여 멜로디 시퀀스를 추정하여 제공하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 방법
|
| 20 |
20
제12항에 있어서, 상기 (f) 단계는 상기 추정된 멜로디 시퀀스를 정규화시킨 후, 상기 정규화된 멜로디 시퀀스와 상기 음원 데이터베이스의 각 음원들의 멜로디 시퀀스에 대하여 동적 타임 워핑(Dynamic Time Warping)을 수행하여 사운드 신호의 프레임에 대응하는 상기 음원들의 프레임을 추정하고, 서로 대응되는 사운드 신호의 프레임들과 음원의 프레임들의 멜로디 차이를 검출하고, 상기 멜로디 차이가 가장 작은 음원을 유사 음원으로 선택하는 것을 특징으로 하는 외부의 사운드 신호를 기반으로 한 반주 제공 방법
|
