| 1 |
1
청각 정보를 이용한 화자인식으로 주화자를 검출하고, 특정 배우 단위의 요약을 제공하는 화자 인식부와;시각 정보를 이용한 얼굴영역 검출 및 얼굴 인식을 통하여 특정인물이 등장하는 키 프레임을 검출하는 얼굴 인식부; 및상기 화자 인식부에서의 청각 정보를 이용한 화자 중심의 비디오 요약 결과와 상기 얼굴 인식부에서의 시각 정보를 이용한 얼굴 인식 결과를 이용하여 등장인물 기반 비디오 요약을 수행하는 비디오 요약부;를 포함하여 구성되며,상기 화자 인식부는,음성 검출을 위한 특징값으로 잘게 나누어진 국부 대역에서의 신호의 세기를 SONE로 변환하여 표시하는 SONE 변환부, 상기 SNOE 변환부에서 변환된 SONE를 특징값으로 하여 K-NN 분류를 수행하는 K-NN 분류부, 입력된 시그널에서 음성신호를 추출하는 음성신호 추출부, 상기 음성신호 추출부와 상기 K-NN 분류부의 결과를 입력받아 MFCC를 추출하는 MFCC 추출부, 상기 MFCC 추출부의 결과를 입력받아 GMM 분류를 수행하는 GMM 분류부 및 상기 GMM 분류부의 결과를 입력받아 후처리를 수행하여 화자 인식 결과를 출력하는 후처리부를 포함하여 구성된 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 2 |
2
삭제
|
| 3 |
3
청구항 1에 있어서, 상기 SONE 변환부는,음향 신호를 입력받아 FFT을 수행하는 FFT와;상기 FFT의 출력을 입력받아 외이 모델링을 사용하여 주파수 도메인에서의 신호에 가중치를 달리하는 외이 모델링부와;상기 외이 모델링부의 출력을 입력받아 여러 개의 국부 대역으로 나누는 바크 스케일링부와;상기 바크 스케이링부에서 나누어진 각각의 대역에 속하는 신호의 세기에 마스킹을 취하는 마스킹부; 및상기 마스킹부의 출력을 입력받아 각 대역의 신호를 SONE의 도메인으로 변환시켜 SONE 계산을 수행하는 SONE 계산부;를 포함하여 구성된 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 4 |
4
청구항 1에 있어서, 상기 MFCC 추출부는,윈도우를 이용하여 입력된 음성 신호를 분할하는 제 1 곱셈부와;상기 제 1 곱셈부의 출력을 주파수 변환시키는 FFT와;상기 FFT의 출력에 대해 절대값을 취하는 절대값 변환부와;상기 절대값 변환부의 출력에 대해 주파수 응답을 곱하는 제 2 곱셈부와;상기 제 2 곱셈부의 출력에 대해 다양한 대역폭을 갖는 필터들의 균일한 스펙트럼을 위한 정규화 과정을 수행하여 멜에너지를 출력하는 멜에너지 출력부; 및상기 멜에너지 출력부에서 출력되는 멜에너지를 이산여현변환하여 멜 켑스트럼을 출력하는 DCT;를 포함하여 구성된 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 5 |
5
청구항 1, 청구항 3 또는 청구항 4 중 어느 한 항에 있어서,상기 얼굴 인식부는,시각 정보를 입력받아 피부색을 검출하는 피부색 검출부와;상기 피부색 검출부에서 검출된 피부색에 대해 후보군을 선정하는 후보군 선정부와;상기 후보군 선정부에서 선정된 후보군을 이용하여 얼굴영역을 탐색하여 임의의 영상이 얼굴을 포함하고 있는지에 관한 여부를 결정하고 각 얼굴 영역에 대한 위치와 크기를 파악하는 얼굴영역 탐색부와;상기 얼굴영역 탐색부의 결과를 입력받아 SGLD 질감 특징을 추출하여 얼굴 영역 이미지를 검출하는 SGLD 매트릭스; 및상기 SGLD 매트릭스의 출력을 입력받아 얼굴 인식을 처리하는 얼굴인식 처리부;를 포함하여 구성된 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 6 |
6
청구항 5에 있어서,상기 피부색 검출부는 베이스 분류기를 이용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 7 |
7
청구항 5에 있어서,상기 후보군 선정부는 미디언 필터를 이용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 8 |
8
청구항 5에 있어서,상기 얼굴영역 탐색부는 사각형의 탐색창을 이용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 9 |
9
청구항 5에 있어서,상기 SGLD 매트릭스는 CART 분류기를 사용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 10 |
10
청구항 5에 있어서,상기 얼굴인식 처리부는 PCA를 사용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 11 |
11
청구항 5에 있어서,상기 얼굴인식 처리부는 고유얼굴을 추출하는 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 12 |
12
청구항 5에 있어서,상기 얼굴인식 처리부는 MPM 분류기를 사용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 장치
|
| 13 |
13
청각 정보를 이용한 화자인식으로 주화자를 검출하고, 특정 배우 단위의 요약을 제공하는 제 1 단계와;시각 정보를 이용한 얼굴영역 검출 및 얼굴 인식을 통하여 특정인물이 등장하는 키 프레임을 검출하는 제 2 단계; 및상기 제 1 단계에서의 청각 정보를 이용한 화자 중심의 비디오 요약 결과와 상기 제 2 단계에서의 시각 정보를 이용한 얼굴 인식 결과를 이용하여 등장인물 기반 비디오 요약을 수행하는 제 3 단계를 포함하여 구성되며,상기 제 1 단계는,SONE를 특징값으로 하여 K-NN 분류기를 사용하여 음성 부분을 추출하는 제 11 단계와;상기 제 11 단계 후 추출된 음성에서 MFCC를 특징값으로 추출하는 제 12 단계; 및상기 제 12 단계 후 GMM과 보팅 방식을 사용하여 화자 인식을 수행하는 제 13 단계;를 포함하여 구성된 것을 특징으로 하는 등장인물 기반 비디오 요약 방법
|
| 14 |
14
삭제
|
| 15 |
15
청구항 13에 있어서, 상기 제 2 단계는,시각 정보를 입력받아 피부색을 검출하는 제 21 단계와;상기 제 21 단계에서 검출된 피부색에 대해 후보군을 선정하는 제 22 단계와;상기 제 22 단계에서 선정된 후보군을 이용하여 얼굴영역을 탐색하여 임의의 영상이 얼굴을 포함하고 있는지에 관한 여부를 결정하고 각 얼굴 영역에 대한 위치와 크기를 파악하는 제 23 단계와;상기 제 23 단계의 결과를 입력받아 SGLD 질감 특징을 추출하여 얼굴 영역 이미지를 검출하는 제 24 단계; 및상기 제 24 단계의 출력을 입력받아 얼굴 인식을 처리하는 제 25 단계;를 포함하여 구성된 것을 특징으로 하는 등장인물 기반 비디오 요약 방법
|
| 16 |
16
청구항 15에 있어서,상기 제 21 단계는 베이스 분류기를 이용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 방법
|
| 17 |
17
청구항 15에 있어서,상기 제 22 단계는 미디언 필터를 이용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 방법
|
| 18 |
18
청구항 15에 있어서,상기 제 23 단계는 사각형의 탐색창을 이용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 방법
|
| 19 |
19
청구항 15에 있어서,상기 제 24 단계는 CART 분류기를 사용하는 것을 특징으로 하는 등장인물 기반 비디오 요약 방법
|
| 20 |
20
청구항 15에 있어서,상기 제 25 단계는, 검출된 영역에서 PCA 기법을 이용하여 고유얼굴을 구성하고, 중요특징값 추출 후 MPM 방식을 이용하여 분류하는 것을 특징으로 하는 등장인물 기반 비디오 요약 방법
|
