| 1 |
1
다수의 영상 클립을 수집하고, 영상 클립에 대한 주관적 평가에 의해 공감/비공감 라벨링을 수행 하는 단계;수집된 영상 클립에서 음향 데이터를 추출하는 단계;상기 음향 데이터로부터 주파수 영역의 음향 특성을 추출하는 단계;상기 주파수 영역부터 파워 스펙트럼을 추출하는 단계;상기 스펙트럼으로부터 주파수가 다른 다수의 복수 밴드의 주파수 성분을 추출하는 단계;상기 복수 밴드의 신호에 개별 색상을 적용하여 RGB 영상 데이터로 변환하여 학습 데이터로 저장하는 단계;상기 학습 데이터를 이용한 학습에 의해 훈련된 웨이트를 포함하는 음향 특성 모델 파일을 생성하는 단계;별도로 입력된 비교 영상으로부터 추출된 비교 음향 데이터에 대해, 상기 음향 특성 모델 파일의 훈련된 웨이트를 이용한 합성곱 신경망 기법을 적용하여 상기 비교 영상의 공감 여부를 판단하는 단계;를 포함하는 동영상 특성을 이용한 공감 평가 방법
|
| 2 |
2
제1항에 있어서,상기 파워 스펙트럼으로부터 주파수가 다른 다수의 복수 밴드의 주파수 성분을 추출하는 단계에서 삼각 필터를 적용하며, 복수 밴드의 주파수 성분에 대해 DCT(Discrete Cosine Transform)을 적용하는, 동영상 특성을 이용한 공감 평가 방법
|
| 3 |
3
제1항에 있어서,상기 음향 특성은, 피치(frequency), 음량(power), 톤(MFCC; Mel-Frequency Cepstral Coefficients, 12 coefficient) 중의 적어도 어느 하나를 포함하는 동영상 특성을 이용한 공감 평가 방법
|
| 4 |
4
제3항에 있어서,상기 톤은 저주파 스펙트럼 평균값과 표준편차, 중간 주파 스펙트럼 평균값, 고주파 스펙트럼 평균값과 표준편차 중 적어도 어느 하나를 포함하는 동영상 특성을 이용한 공감 평가 방법
|
| 5 |
5
제1항 내지 제4항 중의 어느 한 항에 있어서,상기 영상 클립의 영상 특성을 추출하는 단계에서 영상 특성도 같이 추출하는 단계;추출된 음향 특성을 학습 데이터로 이용하여 훈련된 웨이트를 포함하는 영상특성 모델 파일을 생성하는 단계; 그리고 별도로 입력된 영상 데이터를 이용한 합성곱 신경망 기법에 의해 상기 입력 영상 데이터의 공감을 판단하는 단계:가 더 포함되는 동영상 특성을 이용한 공감 평가 방법
|
| 6 |
6
제5항에 있어서,영상 특성을 추출하는 단계에서상기 영상 클립을 영상 디스플레이를 통해 상기 시청자에게 상기 영상 클립을 제시하는 단계;상기 영상 디스플레이에 대한 상기 시청자의 시선을 추적하는 단계; 그리고상기 영상 디스플레이에 대한 상기 시청자의 시선이 향하는 관심 영역(ROI)의 ROI 영상을 추출하고 ROI 영상의 영상 특성을 추출하여 학습 데이터를 준비하는 단계; 그리고상기 학습 데이터를 이용한 학습에 의해 훈련된 웨이트를 포함하는 영상 특성 모델 파일을 생성하는 단계;를 포함하는 동영상 특성을 이용한 공감 평가 방법
|
| 7 |
7
제6항에 있어서,상기 영상 특성은 Gray, RGB(red, green, blue), HSV(Hue, Saturation, Value), LAB(Light, ratio of change from red to green, ratio of change from blue to yellow) 중에 적어도 어느 하나를 포함하는 동영상 특성을 이용한 공감 평가 방법
|
| 8 |
8
제1항에 기재된 방법을 수행하는 영상 특성을 이용한 공감 평가 장치에 있어서,상기 음향 특성 모델 파일을 저장하는 메모리;입력 음향 데이터의 공감을 판단 공감 평가부가 실행되는 프로세서;상기 입력 음향 데이터를 입력 받아 상기 프로세스로 전달하는 영상 처리 장치; 를 포함하는 동영상 특성을 이용한 공감 평가 장치
|
| 9 |
9
제8항에 있어서, 상기 영상 처리 장치에는 입력 영상 소스로부터의 동영상을 중간에서 캡쳐하는 영상 캡쳐 장치가 연결되는, 동영상 특성을 이용한 공감 평가 장치
|
| 10 |
10
제6항에 있어서,상기 모델 파일은 K-NN 모델 파일인, 영상 특성 기반 공감 평가 방법
|
| 11 |
11
제8항 내지 제11항 중의 어느 한 항에 있어서,상기 영상 특성은 Gray, RGB(red, green, blue), HSV(Hue, Saturation, Value), LAB(Light, ratio of change from red to green, ratio of change from blue to yellow) 중에 적어도 어느 하나를 포함하는 동영상 특성을 이용한 공감 평가 장치
|
| 12 |
12
제8항에 있어서,상기 메모리에 상기 영상 클립의 음향 특성에 의해 훈련된 음향 특성 모델 파일을 저장되고,상기 공감 평가부는 상기 영상 특성 모델파일과 음향 특성 모델 파일에 상기 입력 영상 데이터와 입력 음향 데이터을 적용하여 공감 여부를 판단하는, 동영상 특성을 이용한 공감 평가 장치
|
| 13 |
13
제12항에 있어서,상기 음향 특성은 피치(frequency), 음량(power), 톤(MFCC; Mel-Frequency Cepstral Coefficients, 12 coefficient) 중의 적어도 어느 하나를 포함하는 동영상 특성을 이용한 공감 평가 장치
|
| 14 |
14
제13항에 있어서,상기 톤은, 상기 톤은 저주파 스펙트럼 평균값과 표준편차, 중간 주파 스펙트럼 평균값, 고주파 스펙트럼 평균값과 표준편차 중 적어도 어느 하나를 포함하는 동영상 특성을 이용한 공감 평가 장치
|
