| 1 |
1
멀티 스트림 컨볼루션 신경망(Convolution Neural Network)을 이용하여 음향 신호를 분류하는 방법으로서,음향 신호의 전체 스펙트로그램(spectrogram)을 생성하는 단계와,상기 전체 스펙트로그램으로부터 복수 개의 부분 스펙트로그램을 생성하는 단계 - 상기 부분 스펙트로그램의 각각은 상기 전체 스펙트로그램의 소정의 주파수 구간을 포함함 - 와,상기 전체 스펙트로그램에 대한 제1 컨볼루션 신경망에서 수행되는 컨볼루션 연산에 사용되는 제1 파라미터와, 상기 복수 개의 부분 스펙트로그램에 대한 제2 컨볼루션 신경망에서 수행되는 컨볼루션 연산에 사용되는 제2 파라미터를 결정하는 단계를 포함하고,상기 결정하는 단계는,상기 음향 신호의 전체 스펙트로그램에 대해 상기 제1 컨볼루션 신경망을 이용하여 제 1 결과를 예측하는 단계와,상기 음향 신호의 복수 개의 부분 스펙트로그램에 대해, 상기 제2 컨볼루션 신경망을 이용하여 제2 결과를 예측하는 단계와,상기 제1 결과를 이용하여 상기 제1 파라미터를 학습하고, 상기 제2 결과를 이용하여 상기 제2 파라미터를 학습하는 단계를 포함하는음향 신호 분류 방법
|
| 2 |
2
삭제
|
| 3 |
3
제 1 항에 있어서,상기 복수 개의 부분 스펙트로그램에 대한 상기 제2 컨볼루션 신경망에서의 컨볼루션 연산에 의해 생성되는 특징 정보에 대해 글로벌 풀링(global pooling)이 적용되는음향 신호 분류 방법
|
| 4 |
4
제 3 항에 있어서,상기 적용되는 글로벌 풀링은 GAP(Global Average Pooling)와 GMP(Global Max Pooling)인음향 신호 분류 방법
|
| 5 |
5
제 1 항에 있어서,임의의 음향 신호의 상기 전체 스펙트로그램과 복수 개의 부분 스펙트로그램에 대해, 상기 제1 파라미터와 상기 제2 파라미터를 상기 멀티 스트림 컨볼루션 신경망에 적용하여 상기 음향 신호를 분류하는 단계를 더 포함하는음향 신호 분류 방법
|
| 6 |
6
제 5 항에 있어서,상기 음향 신호를 분류하는 단계는,상기 전체 스펙트로그램에 대해 컨볼루션 연산을 수행하여, 상기 전체 스펙트로그램에 대한 특징 정보를 생성하는 단계와,상기 복수 개의 부분 스펙트로그램에 대해 컨볼루션 연산을 수행하여, 상기 복수 개의 부분 스펙트로그램에 대한 특징 정보를 생성하는 단계와,상기 전체 스펙트로그램에 대한 특징 정보와 상기 복수 개의 부분 스펙트로그램에 대한 특징 정보에 대해 제1 활성화 함수를 적용하는 단계와,상기 제1 활성화 함수가 적용된 상기 전체 스펙트로그램에 대한 특징 정보와 상기 복수 개의 부분 스펙트로그램에 대한 특징 정보를 병합한 후 제2 활성화 함수를 적용하는 단계와,상기 제2 활성화 함수를 적용한 결과에 대해 제3 활성화 함수를 적용하여 상기 음향 신호를 분류하는 단계를 포함하는음향 신호 분류 방법
|
| 7 |
7
제 6 항에 있어서,상기 전체 스펙트로그램에 대한 특징 정보와 상기 복수 개의 부분 스펙트로그램에 대한 특징 정보에 대해 글로벌 풀링(global pooling)이 적용되는음향 신호 분류 방법
|
| 8 |
8
제 6 항에 있어서,상기 제1 활성화 함수 및 상기 제2 활성화 함수는 ReLU(Rectified Linear Unit) 함수이며, 상기 제3 활성화 함수는 시그모이드(sigmoid) 함수인음향 신호 분류 방법
|
| 9 |
9
제 1 항에 있어서,상기 전체 스펙트로그램의 주파수 빈(frequency bin)의 크기를 확장한 후 상기 복수 개의 부분 스펙트로그램을 생성하는 단계를 더 포함하는음향 신호 분류 방법
|
| 10 |
10
멀티 스트림 컨볼루션 신경망을 이용하여 음향 신호를 분류하는 시스템으로서,음향 신호의 전체 스펙트로그램을 생성하는 전처리부와,상기 전체 스펙트로그램으로부터 복수 개의 부분 스펙트로그램을 생성하는 스펙트로그램 분류부 - 상기 부분 스펙트로그램의 각각은 상기 전체 스펙트로그램의 소정의 주파수 구간을 포함함 - 와,상기 전체 스펙트로그램에 대해 수행되는 컨볼루션 연산에 사용되는 제1 파라미터와, 상기 복수 개의 부분 스펙트로그램에 대해 수행되는 컨볼루션 연산에 사용되는 제2 파라미터를 결정하는 학습 모델부를 포함하고,상기 학습 모델부는,상기 음향 신호의 전체 스펙트로그램에 대해 제1 결과를 예측하고, 상기 제1 결과를 이용하여 제1 파라미터를 학습하는 제1 컨볼루션 신경망과,상기 음향 신호의 복수 개의 부분 스펙트로그램에 대해 제2 결과를 예측하고, 상기 제2 결과를 이용하여 제2 파라미터를 학습하는 제2 컨볼루션 신경망과,임의의 음향 신호의 전체 스펙트로그램과 복수 개의 부분 스펙트로그램에 대해, 상기 제1 파라미터와 상기 제2 파라미터를 상기 멀티 스트림 컨볼루션 신경망에 적용하여 상기 음향 신호를 분류하는 제3 컨볼루션 신경망을 포함하는음향 신호를 분류하는 시스템
|
| 11 |
11
삭제
|
| 12 |
12
제 10 항에 있어서,상기 제1 컨볼루션 신경망은,상기 전체 스펙트로그램에 대해 제1 활성화 함수를 적용하여 상기 전체 스펙트로그램에 대한 컨볼루션 특징 정보를 생성하는 컨볼루션 층과,상기 컨볼루션 특징 정보에 대해 제2 활성화 함수를 적용하여 선형 은닉 특징 정보를 생성하는 완전 연결 층과,상기 선형 은닉 특징 정보에 대해 제3 활성화 함수를 적용하여 상기 제1 파라미터를 학습시킨 결과를 출력하는 출력 층을 포함하는음향 신호를 분류하는 시스템
|
| 13 |
13
제 10 항에 있어서,상기 제2 컨볼루션 신경망은,상기 복수 개의 부분 스펙트로그램에 대해 제1 활성화 함수를 적용하여 상기 복수 개의 부분 스펙트로그램에 대한 컨볼루션 특징 정보를 생성하는 컨볼루션 층과,상기 컨볼루션 특징 정보에 대해 글로벌 풀링을 적용하는 글로벌 풀링 층과,상기 글로벌 풀링이 적용된 컨볼루션 특징 정보에 대해 제2 활성화 함수를 적용하여 선형 은닉 특징 정보를 생성하는 완전 연결 층과,상기 선형 은닉 특징 정보에 대해 제3 활성화 함수를 적용하여 상기 제2 파라미터를 학습시킨 결과를 출력하는 출력 층을 포함하는음향 신호를 분류하는 시스템
|
| 14 |
14
제 12 항 또는 제 13 항에 있어서,상기 제1 활성화 함수는 LReLU(Leaky Rectified Linear Unit) 함수이고, 상기 제2 활성화 함수는 ReLU(Rectified Linear Unit) 함수이며, 상기 제3 활성화 함수는 시그모이드(sigmoid) 함수인음향 신호를 분류하는 시스템
|
| 15 |
15
제 10 항에 있어서,상기 제3 컨볼루션 신경망은,상기 제1 파라미터와 상기 제2 파라미터를 적용하여 임의의 음향 신호의 전체 스펙트로그램에 대한 컨볼루션 특징 정보와 복수 개의 부분 스펙트로그램에 대한 컨볼루션 특징 정보를 생성하는 컨볼루션 층과,상기 전체 스펙트로그램에 대한 컨볼루션 특징 정보와 상기 부분 스펙트로그램에 대한 컨볼루션 특징 정보에 대해 글로벌 풀링을 적용하는 글로벌 풀링 층과,상기 글로벌 풀링이 적용된 상기 전체 스펙트로그램의 컨볼루션 특징 정보와 상기 부분 스펙트로그램의 컨볼루션 특징 정보에 대해 제1 활성화 함수를 적용하여 선형 은닉 특징 정보를 생성하는 완전 연결 층과,상기 선형 은닉 특징 정보를 병합한 후 제2 활성화 함수를 적용하는 병합 층과,상기 제2 활성화 함수를 적용한 결과에 대해 제3 활성화 함수를 적용하여 상기 음향 신호의 분류 결과를 출력하는 출력 층을 포함하는음향 신호를 분류하는 시스템
|
| 16 |
16
제 15 항에 있어서,상기 제1 활성화 함수 및 상기 제2 활성화 함수는 ReLU(Rectified Linear Unit) 함수이며, 상기 제3 활성화 함수는 시그모이드(sigmoid) 함수인음향 신호를 분류하는 시스템
|
| 17 |
17
음향 신호의 전체 스펙트로그램을 생성하는 단계와,상기 전체 스펙트로그램으로부터 복수 개의 부분 스펙트로그램을 생성하는 단계 - 상기 부분 스펙트로그램의 각각은 상기 전체 스펙트로그램의 소정의 주파수 구간을 포함함 - 와,상기 전체 스펙트로그램에 대해 수행되는 컨볼루션 연산에 사용되는 제1 파라미터와, 상기 복수 개의 부분 스펙트로그램에 대해 수행되는 컨볼루션 연산에 사용되는 제2 파라미터를 결정하는 단계 - 상기 결정하는 단계는, 상기 음향 신호의 전체 스펙트로그램에 대해 제1 컨볼루션 신경망을 이용하여 제 1 결과를 예측하는 단계와, 상기 음향 신호의 복수 개의 부분 스펙트로그램에 대해, 제2 컨볼루션 신경망을 이용하여 제2 결과를 예측하는 단계와, 상기 제1 결과를 이용하여 상기 제1 파라미터를 학습하고, 상기 제2 결과를 이용하여 상기 제2 파라미터를 학습하는 단계를 포함함 - 를 수행하는 명령어를 포함하는 프로그램이 기록된컴퓨터 판독 가능 기록 매체
|
