| 1 |
1
멀티트랙 음악 생성 장치를 이용한 복수 장르의 멀티트랙 음악 생성 방법에 있어서, 멀티트랙을 포함한 미디(MIDI) 파일을 입력받으면, 전처리기를 이용하여 상기 미디 파일의 멀티트랙으로부터 제1 헤드 정보를 추출하는 단계, 노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 GAN 기반의 헤드 정보 생성기 학습모델의 생성자의 입력데이터로 설정하고, 제2 헤드 정보를 헤드 정보 생성기 학습모델의 생성자의 출력데이터로 설정하며, 상기 제1 헤드 정보 및 제2 헤드 정보의 진위 여부를 판별자를 통해 판별하여 헤드 정보 생성기 학습모델을 학습시키는 단계, 상기 멀티트랙으로부터 각 트랙별로 연속적 n개 마디 정보를 추출한 상태에서, 상기 제1 헤드 정보 및 연속적 n개 마디 정보를 인코더의 입력데이터로 설정하고, 제1 헤드 특징 정보 및 n개 마디 특징 정보를 인코더의 출력 데이터로 설정하며, 제1 헤드 특징 정보 및 n개 마디 특징 정보를 디코더의 입력데이터로 설정하고, n개 마디 복원 정보, 트랙 종류 및 장르 종류를 디코더의 출력데이터로 설정하며, 상기 멀티트랙으로부터 추출된 n개 마디 정보 및 n개 마디 복원 정보, 트랙 종류 및 장르 종류의 차이를 산출하여 인코더 및 디코더를 학습시키는 단계, 상기 n개 마디 특징 정보, 트랙 및 장르 라벨 조건 벡터, 마디 순서를 결합하여 GAN 기반의 마디 생성기 학습모델의 생성자의 입력데이터로 설정하고, 제1 마디를 마디 생성기 학습모델의 생성자의 출력데이터로 설정하고, 멀티트랙으로부터 각 트랙별로 제2 마디를 추출한 상태에서, 상기 제1 마디 및 제2 마디의 진위 여부를 판별하여 마디 생성기 학습모델을 학습시키는 단계, 음악 생성 대상이 되는 노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 상기 기 학습된 헤드 정보 생성기 학습모델에 적용하여 헤드 정보를 생성하는 단계,상기 헤드 정보를 상기 기 학습된 인코더에 적용하여 헤드 특징 정보 및 n개 마디 특징 정보를 추출하는 단계, 그리고상기 헤드 특징 정보 및 n개 마디 특징 정보와 트랙 및 장르 라벨 조건 벡터, 마디 순서를 결합하여 상기 기 학습된 마디 생성기 학습모델의 생성자에 적용하여 사용자가 기 지정한 장르의 음악을 마디 단위로 생성하는 단계를 포함하는 복수 장르의 멀티트랙 음악 생성 방법
|
| 2 |
2
제1항에 있어서, 상기 전처리기를 이용하여 미디 파일의 멀티트랙으로부터 제1 헤드 정보를 추출하는 단계는, 음악 장르가 분류된 미디 파일을 입력 받는 단계,상기 멀티트랙으로부터 드럼 트랙, 피아노 트랙, 베이스 트랙, 기타 트랙 중에서 적어도 하나를 추출하는 단계, 그리고상기 복수의 트랙 각각을 전처리기에 적용하여 각 트랙에 대응하는 제1 헤드 정보를 추출하는 단계를 포함하는 복수 장르의 멀티 트랙 음악 생성 방법
|
| 3 |
3
제1항에 있어서, 상기 헤드 정보 생성기 학습모델을 학습시키는 단계는, 노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 헤드 정보 생성기 학습모델에 적용하여 노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 기반으로 하는 제2 헤드 정보를 출력하는 단계, 그리고상기 제1 헤드 정보 및 제2 헤드 정보를 헤드 정보 생성기 학습모델의 판별자의 입력데이터로 설정하고, 상기 제1 헤드 정보 및 제2 헤드 정보의 진위 여부를 헤드 정보 생성기 학습모델의 판별자의 출력데이터로 설정하는 단계,상기 제1 헤드 정보 및 제2 헤드 정보의 진위 여부를 판별하도록 헤드 정보 생성기 학습모델을 학습시키는 단계를 포함하는 복수 장르의 멀티 트랙 음악 생성 방법
|
| 4 |
4
제1항에 있어서, 상기 인코더 및 디코더를 학습시키는 단계는,상기 미디 파일의 정답 트랙 및 장르 라벨 조건 벡터를 디코더의 학습용 정답 데이터로 설정하고, 상기 제1 헤드 특징 정보 및 n개 마디 특징 정보를 디코더에 적용하여 복원 트랙 및 장르 라벨 조건 벡터를 생성하며, 상기 정답 트랙 및 장르 라벨 조건 벡터와 복원 트랙 및 장르 라벨 조건 벡터의 차이를 산출하도록 상기 인코더 및 디코더를 더 학습시키는 복수 장르의 멀티 트랙 음악 생성 방법
|
| 5 |
5
제1항에 있어서, 상기 마디 생성기를 학습시키는 단계는,노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 상기 헤드 정보 생성기 학습모델에 적용하여 제2 헤드 정보를 출력하는 단계,상기 제2 헤드 정보를 상기 인코더에 입력하여 제2 헤드 특징 정보 및 n개 마디 특징 정보를 출력하는 단계,상기 n개 마디 특징 정보와 트랙 및 장르 라벨 조건 벡터, 마디 순서를 결합하여 상기 마디 생성기 학습모델에 적용하여 제1 마디를 출력하는 단계,상기 미디 파일의 멀티트랙으로부터 각각의 트랙에 대응하는 제2 마디를 추출한 상태에서, 상기 제1 마디와 제2 마디를 상기 마디 생성기 학습모델의 판별자에 적용하여 상기 제1 마디 및 제2 마디의 진위 여부를 판단하도록 상기 마디 생성기를 학습시키는 단계, 그리고 연속적인 제1 마디를 붙여서 제1 트랙을 생성하는 단계를 포함하는 복수 장르의 멀티 트랙 음악 생성 방법
|
| 6 |
6
생성적 적대 신경망에 기반한 멀티트랙 음악 생성 장치에 있어서, 멀티트랙을 포함한 미디(MIDI) 파일을 입력받으면, 전처리기를 이용하여 상기 미디 파일의 멀티트랙으로부터 제1 헤드 정보를 추출하는 헤드 정보 추출부, 노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 GAN 기반의 헤드 정보 생성기 학습모델의 생성자의 입력데이터로 설정하고, 제2 헤드 정보를 상기 헤드 정보 생성기 학습모델의 생성자의 출력데이터로 설정하며, 상기 제1 헤드 정보와 제2 헤드 정보의 진위 여부를 판별자를 통해 판별하여 헤드 정보 생성기 학습모델을 학습시키는 헤드 정보 생성기 학습부, 상기 멀티트랙으로부터 각 트랙별로 연속적 n개 마디 정보를 추출한 상태에서, 상기 제1 헤드 정보 및 연속적 n개 마디 정보를 인코더의 입력데이터로 설정하고, 제1 헤드 특징 정보 및 n개 마디 특징 정보를 인코더의 출력 데이터로 설정하며, 제1 헤드 특징 정보 및 n개 마디 특징 정보를 디코더의 입력데이터로 설정하고, n개 마디 복원 정보, 트랙 종류 및 장르 종류를 디코더의 출력데이터로 설정하며, 상기 멀티트랙으로부터 추출된 n개 마디 정보 및 n개 마디 복원 정보, 트랙 종류 및 장르 종류의 차이를 산출하여 인코더 및 디코더를 학습시키는 인코더 및 디코더 학습부, 상기 n개 마디 특징 정보, 트랙 및 장르 라벨 조건 벡터, 마디 순서를 결합하여 GAN 기반의 마디 생성기 학습모델의 생성자의 입력데이터로 설정하고, 제1 마디를 마디 생성기 학습모델의 생성자의 출력데이터로 설정하고, 멀티트랙으로부터 각 트랙별로 제2 마디를 추출한 상태에서, 상기 제1 마디 및 제2 마디의 진위 여부를 판별하여 마디 생성기 학습모델을 학습시키는 마디 생성기 학습부, 음악 생성 대상이 되는 노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 상기 기 학습된 헤드 정보 생성기 학습모델에 적용하여 헤드 정보를 생성하는 생성부, 상기 헤드 정보를 상기 기 학습된 인코더에 적용하여 헤드 특징 정보 및 n개 마디 특징 정보를 추출하는 추출부, 그리고상기 n개 마디 특징 정보와 트랙 및 장르 라벨 조건 벡터, 마디 순서를 결합하여 상기 기 학습된 마디 생성기 학습모델의 생성자에 적용하여 사용자가 기 지정한 장르의 음악을 마디 단위로 생성하는 제어부를 포함하는 복수 장르 멀티트랙 음악 생성 장치
|
| 7 |
7
제6항에 있어서, 상기 헤드 정보 추출부는, 음악 장르가 분류된 미디(MIDI) 파일을 입력받고, 상기 멀티트랙으로부터 드럼 트랙, 피아노 트랙, 베이스 트랙, 기타 트랙 중에서 적어도 하나를 추출하며, 상기 복수의 트랙 각각을 전처리기에 적용하여 각 트랙에 대응하는 제1 헤드 정보를 추출하는 멀티 트랙 음악 생성 장치
|
| 8 |
8
제6항에 있어서, 상기 헤드 정보 생성기 학습부는, 노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 헤드 정보 생성기 학습모델에 적용하여 노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 기반으로 하는 제2 헤드 정보를 출력하고, 상기 제1 헤드 정보 및 제2 헤드 정보를 헤드 정보 생성기 학습모델의 판별자의 입력데이터로 설정하고, 상기 제1 헤드 정보 및 제2 헤드 정보의 진위 여부를 헤드 정보 생성기 학습모델의 판별자의 출력데이터로 설정하며, 상기 제1 헤드 정보 및 제2 헤드 정보의 진위 여부를 판별하도록 헤드 정보 생성기 학습모델을 학습시키는 멀티 트랙 음악 생성 장치
|
| 9 |
9
제6항에 있어서, 상기 인코더 및 디코더 학습부는, 상기 미디 파일의 정답 트랙 및 장르 라벨 조건 벡터를 디코더의 학습용 정답 데이터로 설정하고, 상기 제1 헤드 특징 정보 및 n개 마디 특징 정보를 디코더에 적용하여 복원 트랙 및 장르 라벨 조건 벡터를 생성하며, 상기 정답 트랙 및 장르 라벨 조건 벡터와 복원 트랙 및 장르 라벨 조건 벡터의 차이를 산출하도록 상기 인코더 및 디코더를 더 학습시키는 멀티 트랙 음악 생성 장치
|
| 10 |
10
제6항에 있어서, 상기 마디 생성기 학습부는,노이즈 벡터와 트랙 및 장르 라벨 조건 벡터를 상기 헤드 정보 생성기 학습모델에 적용하여 제2 헤드 정보를 출력하고, 상기 제2 헤드 정보를 상기 인코더에 적용하여 제2 헤드 특징 정보 및 n개 마디 특징 정보를 출력하며, 상기 n개 마디 특징 정보와 트랙 및 장르 라벨 조건 벡터, 마디 순서를 결합하여 상기 마디 생성기 학습모델에 적용하여 제1 마디를 출력하고, 상기 미디 파일의 멀티트랙으로부터 각각의 트랙에 대응하는 제2 마디를 추출한 상태에서, 상기 제1 마디와 제2 마디를 상기 마디 생성기 학습모델의 판별자에 적용하여 상기 제1 마디 및 제2 마디의 진위 여부를 판단하도록 상기 마디 생성기를 학습시키며, 연속적인 제1 마디를 붙여서 제1 트랙을 생성하는 멀티 트랙 음악 생성 장치
|
