| 1 |
1
사용자 감정 기반 디지털 멀티미디어 제어장치에 있어서, 사용자의 영상신호 및 음성신호를 입력하는 입력부; 상기 입력부를 통해 입력되는 사용자의 영상신호 및 음성 신호를 이용하여 사용자의 현재 감정 상태를 인식하는 감정 인식부; 및 상기 감정 인식부를 통해 인식된 사용자의 감정 상태에 따라 멀티미디어 장치를 제어하는 제어부;를 포함하는 디지털 멀티미디어 제어장치
|
| 2 |
2
제1항에 있어서, 상기 감정 인식부는, 상기 입력부를 통해 입력되는 사용자의 영상 신호로부터 사용자를 인식하기 위한 사용자 신체 정보를 검출하는 검출부; 상기 검출부를 통해 검출된 사용자의 신체 정보를 이용하여 사용자의 신체 상태 정보를 인식하는 인식부;상기 입력부를 통해 입력되는 사용자의 음성 신호 및 상기 인식부를 통해 인식된 사용자의 신체 상태 정보를 이용하여 사용자의 감정 상태를 결정하는 감정 상태 결정부를 포함하는 것인 디지털 멀티미디어 제어장치
|
| 3 |
3
제2항에 있어서, 상기 검출부는,상기 입력부를 통해 입력되는 사용자의 영상 신호로부터 사용자의 전신에 대한 위치와 크기 정보를 검출하는 전신 검출부; 상기 입력부를 통해 입력되는 사용자의 영상 신호로부터 사용자의 상반신에 대한 위치 및 크기를 검출하는 상반신 검출부; 상기 입력부를 통해 입력되는 사용자의 영상신호로부터 사용자의 얼굴 정보를 검출하는 얼굴 검출부를 포함하는 것인 디지털 멀티미디어 제어장치
|
| 4 |
4
제3항에 있어서, 상기 인식부는, 상기 전신 검출부, 상반신 검출부 및 얼굴 검출부에서 각각 검출된 사용자의 전신, 상반시 및 얼굴 정보를 이용하여 사용자의 표정을 인식하는 표정 인식부; 상기 전신 검출부, 상반신 검출부 및 얼굴 검출부에서 각각 검출된 사용자의 전신, 상반시 및 얼굴 정보를 이용하여 사용자의 심박수를 측정하는 심박수 측정부;상기 전신 검출부, 상반신 검출부 및 얼굴 검출부에서 각각 검출된 사용자의 전신, 상반시 및 얼굴 정보를 이용하여 사용자의 현재 행동 상태를 인식하는 행동 인식부를 포함하는 것인 디지털 멀티 미디어 제어장치
|
| 5 |
5
제3항에 있어서, 상기 전신 검출부 및 상반신 검출부에서 검출되는 사용자의 전신 및 상반신에 대한 위치 및 크기의 검출은 HOG-SVM 기반 검출 방법을 이용하고, 상기 얼굴 검출부의 사용자 얼굴 검출은 Adaboost 기반 얼굴 검출 방법을 이용하는 것인 디지털 멀티 미디어 제어장치
|
| 6 |
6
제4항에 있어서, 상기 감정 인식부는, 상기 표정 인식부, 심박수 측정부, 행동 인식부를 통해 검출된 사용자의 표정 정보, 심박수 정보 및 행동 상태 정보를 이용하여 사용자의 현재 감정 상태를 다수의 감정 상태로 분류하고, 분류된 다수의 감정 상태별 레벨 값을 부여하는 감정 상태 결정부를 포함하는 것인 디지털 멀티미디어 제어장치
|
| 7 |
7
제6항에 있어서, 상기 감정 상태 결정부에서 분류된 다수의 감정 상태는 즐거움, 지루함, 졸림, 수면 상태로 분류되고 상기 분류된 각각의 감정 상태에 따른 레벨 값을 상기 표정 인식부, 심박수 측정부, 행동 인식부를 통해 검출된 사용자의 표정 정보, 심박수 정보 및 행동 상태 정보에 따라 각각 부여하는 것인 디지털 멀티미디어 제어장치
|
| 8 |
8
제7항에 있어서, 상기 제어부는, 상기 감정 상태 결정부에서 분류된 사용자의 즐거움 상태에 부여된 레벨 값과 기 설정된 기준 레벨 값(TH1)을 비교하여 부여된 즐거움 감정 상태 레벨 값이 설정된 기준 레벨 값보다 큰 경우 현재 사용자의 감정 상태가 즐거운 상태인 것으로 판단하여 상기 검출된 해당 사용자의 얼굴 검출 정보와, 현재 시청중인 방송 정보(방송 채널 정보, 방송 프로그램 장르 정보, 프로그램 제목 정보, 주인공 정보, 등장 인물 정보, 방송 시작시간과 종료 정보 중 적어도 하나의 정보)를 각각 대응되도록 추천 정보로 메모리에 저장하는 것인 디지털 멀티미디어 제어장치
|
| 9 |
9
제8항에 있어서, 상기 제어부는, 상기 즐거움 상태에 부여된 레벨 값이 기 설정된 기준 레벨 값(TH1)보다 작은 경우, 상기 감정 상태 결정부에서 분류된 사용자의 지루함 감정 상태에 부여된 레벨 값과 기 설정된 기준 레벨 값(TH2)을 비교하고, 부여된 지루함 감정 상태 레벨 값이 설정된 기준 레벨 값(TH2)보다 큰 경우 현재 사용자의 감정 상태가 지루한 감정 상태인 것으로 판단하여 상기 메모리에 추천 정보로 저장된 방송 정보에 대응되는 방송 정보를 방송국에서 제공하는 EPG 정보를 기반으로 각 채널의 방송 정보와 비교하여 가장 유사한 방송 프로그램 정보를 추천하는 메시지를 디스플레이장치에 디스플레이하는 것인 디지털 멀티미디어 제어장치
|
| 10 |
10
제9항에 있어서, 상기 제어부는, 상기 지루함 감정 상태에 부여된 레벨 값이 기 설정된 기준 레벨 값(TH2)보다 작은 경우, 상기 감정 상태 결정부에서 분류된 사용자의 졸림 감정 상태에 부여된 레벨 값과 기 설정된 기준 레벨 값(TH3)을 비교하고, 부여된 졸림 감정 상태 레벨 값이 설정된 기준 레벨 값(TH3)보다 큰 경우, 현재 사용자가 졸린 상태로 판단하여 디지털 멀티미디어 장치의 화면 밝기 및 볼륨을 기 설정된 값으로 조절하는 것인 디지털 멀티미디어 제어장치
|
| 11 |
11
제10항에 있어서, 상기 제어부는, 상기 졸림 감정 상태에 부여된 레벨 값이 기 설정된 기준 레벨 값(TH3)보다 작은 경우, 상기 감정 상태 결정부에서 분류된 사용자의 수면 상태에 부여된 레벨 값과 기 설정된 기준 레벨 값(TH4)을 비교하고, 부여된 수면 상태 레벨 값이 설정된 기준 레벨 값(TH4)보다 큰 경우, 현재 사용자가 수면 상태인 것으로 판단하여 디지털 멀티미디어 장치의 전원을 오프 제어하는 것인 디지털 멀티미디어 제어장치
|
| 12 |
12
사용자 감정 기반 디지털 멀티미디어 제어 방법에 있어서, 사용자의 영상신호 및 음성신호를 입력하는 단계; 상기 입력되는 사용자의 영상신호 및 음성 신호를 이용하여 사용자의 현재 감정 상태를 인식하는 단계; 및 상기 인식된 사용자의 감정 상태에 따라 멀티미디어 장치를 제어하는 단계;를 포함하는 디지털 멀티미디어 제어방법
|
| 13 |
13
제12항에 있어서, 상기 인식하는 단계는, 상기 입력되는 사용자의 영상 신호로부터 사용자의 전신, 상반신 및 얼굴의 위치 및 크기에 대한 신체 정보를 각각 검출하는 단계; 상기 검출된 사용자의 신체 정보를 이용하여 사용자의 표정, 심박수, 행동 상태 정보를 각각 인식하는 단계; 상기 입력되는 사용자의 음성 신호 및 상기 인식된 사용자의 표정, 심박수, 행동 상태 정보를 이용하여 사용자의 감정 상태를 결정하는 단계를 포함하는 것인 디지털 멀티미디어 제어방법
|
| 14 |
14
제13항에 있어서, 상기 인식하는 단계는, 상기 검출된 사용자의 표정 정보, 심박수 정보 및 행동 상태 정보를 이용하여 사용자의 현재 감정 상태를 다수의 감정 상태로 분류하고, 분류된 다수의 감정 상태별 레벨 값을 부여하는 단계를 포함하는 것인 디지털 멀티미디어 제어방법
|
| 15 |
15
제14항에 있어서, 상기 부여하는 단계에서 분류된 다수의 감정 상태는 즐거움, 지루함, 졸림, 수면 상태이고, 상기 분류된 각각의 감정 상태에 따른 레벨 값을 상기 검출된 사용자의 표정 정보, 심박수 정보 및 행동 상태 정보에 따라 각각 부여하는 것인 디지털 멀티미디어 제어방법
|
| 16 |
16
제15항에 있어서, 상기 멀티미디어 장치를 제어하는 단계는, 상기 분류된 사용자의 즐거움 상태에 부여된 레벨 값과 기 설정된 기준 레벨값(TH1)을 비교하여 부여된 즐거움 감정 상태 레벨 값이 설정된 기준 레벨 값보다 큰 경우 현재 사용자의 감정 상태가 즐거운 상태인 것으로 판단하여 상기 검출된 해당 사용자의 얼굴 검출 정보와, 현재 시청중인 방송 정보(방송 채널 정보, 방송 프로그램 장르 정보, 프로그램 제목 정보, 주인공 정보, 등장 인물 정보, 방송 시작시간과 종료 정보 중 적어도 하나의 정보)를 각각 대응되도록 추천 정보로 메모리에 저장하는 단계를 포함하는 것인 디지털 멀티미디어 제어방법
|
| 17 |
17
제16항에 있어서, 상기 멀티미디어 장치를 제어하는 단계는, 상기 즐거움 상태에 부여된 레벨 값이 기 설정된 기준 레벨 값(TH1)보다 작은 경우, 상기 분류된 사용자의 지루함 감정 상태에 부여된 레벨 값과 기 설정된 기준 레벨 값(TH2)을 비교하고, 부여된 지루함 감정 상태 레벨 값이 설정된 기준 레벨 값(TH2)보다 큰 경우 현재 사용자의 감정 상태가 지루한 감정 상태인 것으로 판단하여 상기 메모리에 추천 정보로 저장된 방송 정보에 대응되는 방송 정보를 방송국에서 제공하는 EPG 정보를 기반으로 각 채널의 방송 정보와 비교하여 가장 유사한 방송 프로그램 정보를 추천하는 메시지를 디스플레이장치에 디스플레이하는 단계를 포함하는 것인 디지털 멀티미디어 제어방법
|
| 18 |
18
제17항에 있어서, 상기 멀티미디어 장치를 제어하는 단계는, 상기 지루함 감정 상태에 부여된 레벨 값이 기 설정된 기준 레벨 값(TH2)보다 작은 경우, 상기 분류된 사용자의 졸림 감정 상태에 부여된 레벨 값과 기 설정된 기준 레벨 값(TH3)을 비교하고, 부여된 졸림 감정 상태 레벨 값이 설정된 기준 레벨 값(TH3)보다 큰 경우, 현재 사용자가 졸린 상태로 판단하여 디지털 멀티미디어 장치의 화면 밝기 및 볼륨을 기 설정된 값으로 조절하는 단계를 포함하는 것인 디지털 멀티미디어 제어방법
|
| 19 |
19
제18항에 있어서, 상기 멀티미디어 장치를 제어하는 단계는, 상기 졸림 감정 상태에 부여된 레벨 값이 기 설정된 기준 레벨 값(TH3)보다 작은 경우, 상기 분류된 사용자의 수면 상태에 부여된 레벨 값과 기 설정된 기준 레벨 값(TH4)을 비교하고, 부여된 수면 상태 레벨 값이 설정된 기준 레벨 값(TH4)보다 큰 경우, 현재 사용자가 수면 상태인 것으로 판단하여 디지털 멀티미디어 장치의 전원을 오프 제어하는 단계를 포함하는 것인 디지털 멀티미디어 제어방법
|
| 20 |
20
제13항에 있어서, 상기 사용자의 전신, 상반신 및 얼굴의 위치 및 크기에 대한 신체 정보를 각각 검출하는 단계에서, 상기 사용자의 전신 및 상반신의 위치 및 크기는 HOG-SVM 기반 검출 방법을 이용하여 검출하고, 상기 사용자 얼굴의 위치 및 크기는 Adaboost 기반 얼굴 검출 방법을 이용하여 검출하는 것인 디지털 멀티 미디어 제어방법
|
