| 1 |
1
오디오 데이터를 복수의 픽셀로 구성되는 오디오 스펙트로그램(spectrogram)과 위상 정보를 포함한 시간-주파수 데이터로 변환하는 단계; 오디오 스펙트로그램을 분석하는 신경망 모델에 상기 오디오 스펙트로그램을 입력하여 분석 결과를 획득하는 단계; 상기 분석 결과에 대한 상기 각 픽셀의 기여도를 나타내는 히트맵(heatmap) 이미지를 생성하는 단계; 상기 히트맵 이미지에서 상기 기여도가 임계값보다 높은 픽셀로 구성된 영역에 따라 상기 시간-주파수 데이터를 마스킹하는 단계; 및상기 마스킹된 시간-주파수 데이터로부터 상기 신경망 모델의 분석 결과에 기여한 소리를 청취할 수 있는 오디오 데이터를 복원하는 단계를 포함하는 히트맵 청각화 방법
|
| 2 |
2
제1항에 있어서,상기 히트맵 이미지를 생성하는 단계는, 상기 분석 결과에 대한 기여도에 따라 상기 히트맵 이미지를 구성하는 픽셀의 색을 결정함으로써 히트맵 이미지를 생성하는, 히트맵 청각화 방법
|
| 3 |
3
제1항에 있어서,상기 히트맵 이미지를 상기 시간-주파수 데이터에 대응하는 크기로 조정하고, 임계값을 기준으로 상기 기여도가 높은 픽셀 영역과 낮은 픽셀 영역으로 이진화하여 히트맵 마스크를 생성하는 단계를 더 포함하고, 상기 마스킹하는 단계는,상기 히트맵 마스크에서 상기 임계값을 기준으로 상기 기여도가 높은 픽셀로 구성되는 영역에 따라 상기 시간-주파수 데이터를 마스킹하는 히트맵 청각화 방법
|
| 4 |
4
제1항에 있어서,상기 마스킹하는 단계는, 상기 히트맵 마스크와 상기 시간-주파수 데이터의 비트 연산을 통해 상기 히트맵 마스크의 기여도가 임계값보다 낮은 픽셀에 대응하는 영역을 상기 시간-주파수 데이터에서 마스킹하여 마스킹된 시간-주파수 데이터를 생성하는, 히트맵 청각화 방법
|
| 5 |
5
오디오 데이터를 복수의 픽셀로 구성되는 멜 스펙트로그램과 위상 정보를 포함한 시간-주파수 데이터로 변환하는 단계;오디오 스펙트로그램을 통해 음향 장면을 분류하는 음향 장면 분류 모델에 상기 멜 스펙트로그램을 입력하여 상기 멜 스펙트로그램에 대한 음향 장면을 획득하는 단계; 상기 획득한 음향 장면에 대한 각 픽셀의 기여도를 나타내는 히트맵(heatmap) 이미지를 생성하는 단계; 상기 히트맵 이미지에서 상기 기여도가 임계값보다 높은 픽셀로 구성된 영역에 따라 상기 시간-주파수 데이터를 마스킹하는 단계; 및상기 마스킹된 시간-주파수 데이터로부터 상기 음향 장면 분류 모델의 음향 장면 분류에 기여한 소리를 청취할 수 있는 오디오 데이터를 복원하는 단계를 포함하는 히트맵 청각화 방법
|
| 6 |
6
제5항에 있어서,상기 히트맵 이미지를 생성하는 단계는, 상기 음향 장면 분류에 대한 기여도를 색에 따라 상기 히트맵 이미지를 구성하는 픽셀의 색을 결정함으로써 히트맵 이미지를 생성하는, 히트맵 청각화 방법
|
| 7 |
7
제5항에 있어서,상기 히트맵 이미지를 상기 시간-주파수 데이터에 대응하는 크기로 조정하고, 임계값을 기준으로 상기 기여도가 높은 픽셀 영역과 낮은 픽셀 영역으로 이진화하여 히트맵 마스크를 생성하는 단계를 더 포함하고, 상기 마스킹하는 단계는,상기 히트맵 마스크에서 상기 임계값을 기준으로 상기 기여도가 높은 픽셀로 구성되는 영역에 따라 상기 시간-주파수 데이터를 마스킹하는 히트맵 청각화 방법
|
| 8 |
8
제5항에 있어서,상기 마스킹하는 단계는,상기 히트맵 마스크와 상기 시간-주파수 데이터의 비트 연산을 통해 상기 히트맵 마스크의 기여도가 임계값보다 낮은 픽셀에 대응하는 영역을 상기 시간-주파수 데이터에서 마스킹하여 마스킹된 시간-주파수 데이터를 생성하는, 히트맵 청각화 방법
|
| 9 |
9
히트맵 청각화 방법을 수행하는 히트맵 청각화 장치에 있어서,상기 히트맵 청각화 장치는 프로세서를 포함하고,상기 프로세서는,오디오 데이터를 복수의 픽셀로 구성되는 오디오 스펙트로그램(spectrogram)과 위상 정보를 포함한 시간-주파수 데이터로 변환하고, 오디오 스펙트로그램을 분석하는 신경망 모델에 상기 오디오 스펙트로그램을 입력하여 분석 결과를 획득하고, 상기 분석 결과에 대한 상기 각 픽셀의 기여도를 나타내는 히트맵(heatmap) 이미지를 생성하고, 상기 히트맵 이미지에서 상기 기여도가 임계값보다 높은 픽셀로 구성된 영역에 따라 상기 시간-주파수 데이터를 마스킹하고, 상기 마스킹된 시간-주파수 데이터로부터 상기 신경망 모델의 분석 결과에 기여한 소리를 청취할 수 있는 오디오 데이터를 복원하는, 히트맵 청각화 장치
|
| 10 |
10
제9항에 있어서,상기 프로세서는, 상기 분석 결과에 대한 기여도에 따라 상기 히트맵 이미지를 구성하는 픽셀의 색을 결정함으로써 히트맵 이미지를 생성하는, 히트맵 청각화 장치
|
| 11 |
11
제9항에 있어서,상기 프로세서는,상기 히트맵 이미지를 상기 시간-주파수 데이터에 대응하는 크기로 조정하고, 임계값을 기준으로 상기 기여도가 높은 픽셀 영역과 낮은 픽셀 영역으로 이진화하여 히트맵 마스크를 생성하고, 상기 히트맵 마스크에서 상기 임계값을 기준으로 상기 기여도가 높은 픽셀로 구성되는 영역에 따라 상기 시간-주파수 데이터를 마스킹하는, 히트맵 청각화 장치
|
| 12 |
12
제9항에 있어서,상기 프로세서는, 상기 히트맵 마스크와 상기 시간-주파수 데이터의 비트 연산을 통해 상기 히트맵 마스크의 기여도가 임계값보다 낮은 픽셀에 대응하는 영역을 상기 시간-주파수 데이터에서 마스킹하여 마스킹된 시간-주파수 데이터를 생성하는, 히트맵 청각화 장치
|
| 13 |
13
히트맵 청각화 방법을 수행하는 히트맵 청각화 장치에 있어서,상기 히트맵 청각화 장치는 프로세서를 포함하고,상기 프로세서는,오디오 데이터를 복수의 픽셀로 구성되는 멜 스펙트로그램과 위상 정보를 포함한 시간-주파수 데이터로 변환하고, 오디오 스펙트로그램을 통해 음향 장면을 분류하는 음향 장면 분류 모델에 상기 멜 스펙트로그램을 입력하여 상기 멜 스펙트로그램에 대한 음향 장면을 획득하고, 상기 획득한 음향 장면에 대한 각 픽셀의 기여도를 나타내는 히트맵(heatmap) 이미지를 생성하고, 상기 히트맵 이미지에서 상기 기여도가 임계값보다 높은 픽셀로 구성된 영역에 따라 상기 시간-주파수 데이터를 마스킹하고, 상기 마스킹된 시간-주파수 데이터로부터 상기 음향 장면 분류 모델의 음향 장면 분류에 기여한 소리를 청취할 수 있는 오디오 데이터를 복원하는, 히트맵 청각화 장치
|
| 14 |
14
제13항에 있어서,상기 프로세서는,상기 음향 장면 분류에 대한 기여도를 색에 따라 상기 히트맵 이미지를 구성하는 픽셀의 색을 결정함으로써 히트맵 이미지를 생성하는, 히트맵 청각화 장치
|
| 15 |
15
제13항에 있어서,상기 프로세서는,상기 히트맵 이미지를 상기 시간-주파수 데이터에 대응하는 크기로 조정하고, 임계값을 기준으로 상기 기여도가 높은 픽셀 영역과 낮은 픽셀 영역으로 이진화하여 히트맵 마스크를 생성하고, 상기 히트맵 마스크에서 상기 임계값을 기준으로 상기 기여도가 높은 픽셀로 구성되는 영역에 따라 상기 시간-주파수 데이터를 마스킹하는, 히트맵 청각화 장치
|
| 16 |
16
제13항에 있어서,상기 프로세서는, 상기 히트맵 마스크와 상기 시간-주파수 데이터의 비트 연산을 통해 상기 히트맵 마스크의 기여도가 임계값보다 낮은 픽셀에 대응하는 영역을 상기 시간-주파수 데이터에서 마스킹하여 마스킹된 시간-주파수 데이터를 생성하는, 히트맵 청각화 장치
|
| 17 |
17
오디오 데이터를 분석하는 신경망 모델의 분석 결과에 대한 기여도를 나타낸 히트맵 이미지의 청각화를 위한 히트맵 청각화 방법에 있이서, 상기 히트맵 이미지를 구성하는 픽셀들의 상기 분석 결과에 대한 기여도와 임계값을 비교하여 상기 기여도가 임계값 보다 낮은 픽셀들로 구성된 비활성화 영역을 추출하는 단계;상기 오디오 데이터에 대응하는 시간-주파수 데이터에서 상기 비활성화 영역에 대응하는 영역을 마스킹하는 단계; 상기 마스킹된 시간-주파수 데이터를 변환하여 오디오 데이터를 획득하는 단계를 포함하는 히트맵 청각화 방법
|
| 18 |
18
제17항에 있어서,상기 비활성화 영역을 추출하는 단계는,상기 각 픽셀들을 상기 임계값에 따라 이진화함으로써 상기 히트맵 이미지를 상기 픽셀들의 기여도가 임계값보다 높은 활성화 영역과 상기 비활성화 영역으로 구분하는, 히트맵 청각화 방법
|
| 19 |
19
오디오 데이터를 분석하는 신경망 모델의 분석 결과에 대한 기여도를 나타낸 히트맵 이미지의 청각화를 위한 히트맵 청각화 장치에 있이서,상기 히트맵 청각화 장치는 프로세서를 포함하고,상기 프로세서는, 상기 히트맵 이미지를 구성하는 픽셀들의 상기 분석 결과에 대한 기여도와 임계값을 비교하여 상기 기여도가 임계값 보다 낮은 픽셀들로 구성된 비활성화 영역을 추출하고, 상기 오디오 데이터에 대응하는 시간-주파수 데이터에서 상기 비활성화 영역에 대응하는 영역을 마스킹하고, 상기 마스킹된 시간-주파수 데이터를 변환하여 오디오 데이터를 획득하는,히트맵 청각화 장치
|
| 20 |
20
제19항에 있어서,상기 프로세서는,상기 각 픽셀들을 상기 임계값에 따라 이진화함으로써 상기 히트맵 이미지를 상기 픽셀들의 기여도가 임계값보다 높은 활성화 영역과 상기 비활성화 영역으로 구분하는, 히트맵 청각화 장치
|
