| 1 |
1
영상 촬영장치가 촬영한 사용자의 영상정보를 수신하여 상기 영상정보로부터 얼굴 영역을 특정하고, 상기 얼굴 영역 내에서 얼굴 표정을 감지하여 모션데이터(motion data)를 생성하는 영상처리부;기 학습된 표정인식 모델 및 상기 모션데이터를 기반으로 상기 사용자의 흥미도 점수를 산출하여 출력하는 흥미도 판별부;상기 얼굴 영역을 기반으로 얼굴데이터를 추출하여 상기 사용자의 집중도 점수를 산출하여 출력하는 집중도 판별부; 및상기 흥미도 점수와 상기 집중도 점수 중 적어도 어느 하나에 기반하여 상기 사용자의 몰입도 점수를 산출하여 출력하는 몰입도 판별부를 포함하되,상기 표정인식 모델은 얼굴 표정의 데이터베이스를 기반으로 상기 표정인식 모델을 비지도(unsupervised) 학습한 것을 특징으로 하고,상기 집중도 판별부는 상기 사용자의 눈깜빡임 횟수를 카운트하고 점수화하여 눈깜빡임 점수를 산출하는 눈깜빡임 산출부를 포함하되,상기 눈깜빡임 산출부는 조건부 신경 모델을 이용하여 상기 얼굴 영역으로부터 적어도 하나의 특징점을 추출하고, 상기 사용자의 얼굴모양을 분석하고, 회전 효과(rotational effect) 또는 스케일링 효과(scaling effect)를 제거하고, 동작 단위를 이용하여 눈깜빡임 여부를 판단하고, 상기 사용자의 눈깜빡임 횟수를 카운트하여 점수로 환산하되,상기 동작 단위는 상기 특징점의 움직임 단위로, 히스토그램(histogram)을 이용하여 검출한 것을 특징으로 하는 몰입도 측정장치
|
| 2 |
2
제 1항에 있어서,상기 흥미도 판별부는,얼굴표정의 데이터베이스를 기반으로 상기 표정인식 모델을 학습하여 학습된 출력값을 저장한 표정인식 모델학습부; 및 상기 표정인식 모델에 상기 모션데이터를 입력하여 상기 얼굴표정을 판단하고, 상기 얼굴표정에 상응하는 점수로 출력하는 흥미도점수 출력부를 포함하는 것을 특징으로 하는 몰입도 측정장치
|
| 3 |
3
제 2항에 있어서,상기 표정인식 모델학습부는,상기 데이터베이스를 기반으로 상기 표정인식 모델을 학습하여 학습된 출력값을 복수의 카테고리로 나누고, 상기 카테고리는 적어도 둘 이상의 단계로 구분되는 것을 특징으로 하는 몰입도 측정장치
|
| 4 |
4
제 3항에 있어서,상기 카테고리는,부정적인 표정, 중립적인 표정 및 긍정적인 표정 중 어느 하나인 것을 특징으로 하는 몰입도 측정장치
|
| 5 |
5
제 2항에 있어서,상기 흥미도점수 출력부는,상기 표정인식 모델이 구분한 단계에 상응하는 점수를 설정하고, 상기 모션데이터를 상기 표정인식 모델에 입력하여 대응되는 상기 단계의 점수를 산출하는 것을 특징으로 하는 몰입도 측정장치
|
| 6 |
6
제 1항에 있어서,상기 집중도 판별부는,상기 사용자가 정면을 보고 있는 비율을 계산하고 점수화하여 정면비율 점수를 산출하는 정면비율 산출부; 및상기 눈깜빡임 산출부와 상기 정면비율 산출부가 산출한 점수를 합산하는 집중도점수 출력부를 포함하는 것을 특징으로 하는 몰입도 측정장치
|
| 7 |
7
제 6항에 있어서,상기 집중도점수 출력부는,상기 눈깜빡임 점수 및 상기 정면비율 점수를 합산하여 상기 집중도 점수를 산출할 때, 상기 정면비율 점수에 특정 가중치를 적용하여 상기 집중도 점수를 산출하는 것을 특징으로 하는 몰입도 측정장치
|
| 8 |
8
삭제
|
| 9 |
9
제 1항에 있어서,상기 눈깜빡임 산출부는,상기 눈깜빡임 횟수의 최솟값, 최댓값 및 평균값을 기준으로 복수 개의 단계로 구분하고, 상기 눈깜빡임 횟수가 적을수록 높은 점수를 획득하도록 설정하는 것을 특징으로 하는 몰입도 측정장치
|
| 10 |
10
제 6항에 있어서,상기 정면비율 산출부는,상기 특징점을 분석하여 상기 사용자의 얼굴이 정면인지 여부를 판단하고, 촬영된 영상의 전체 프레임 중 정면이 위치하는 비율을 계산하여 점수로 환산하되, 상기 프레임은 영상정보를 구성하는 정지된 각각의 이미지 데이터인 것을 특징으로 하는 몰입도 측정장치
|
| 11 |
11
제 10항에 있어서,상기 정면비율 산출부는,상기 영상정보의 전체 프레임을 기준으로 상기 사용자의 얼굴이 정면을 향하는 프레임을 카운트하여 평균점수로 환산하는 것을 특징으로 하는 몰입도 측정장치
|
| 12 |
12
제 1항에 있어서,상기 영상처리부는,상기 영상정보를 획득하기 위한 촬영장치; 상기 영상정보를 기반으로 상기 얼굴 영역을 특정하는 얼굴특정부; 및상기 얼굴특정부로부터 움직임을 감지하여 상기 모션데이터를 생성하는 모션데이터 생성부를 포함하는 것을 특징으로 하는 몰입도 측정장치
|
| 13 |
13
제 12항에 있어서,상기 얼굴특정부는,상기 영상정보를 픽셀(pixel) 단위로 분류하고, 상기 픽셀 단위로부터 상기 사용자의 얼굴 부위에 해당하는 얼굴 영역을 추출하는 것을 특징으로 하는 몰입도 측정장치
|
| 14 |
14
제 12항에 있어서,상기 모션데이터 생성부는,상기 얼굴 영역에서 조밀 모션 플로우(dense motion flow)를 기반으로 상기 모션데이터를 생성하는 것을 특징으로 하는 몰입도 측정장치
|
| 15 |
15
제 1항에 있어서,상기 몰입도 판별부는,상기 흥미도 점수와 상기 집중도 점수 중 적어도 하나에 기반하여 상기 몰입도 점수를 산출하여 출력하는 것을 특징으로 하는 몰입도 측정장치
|
| 16 |
16
영상 촬영장치가 촬영한 사용자의 영상정보를 수신하여 상기 영상정보로부터 얼굴 영역을 특정하고, 상기 얼굴 영역 내에서 얼굴 표정을 감지하여 모션데이터(motion data)를 생성하는 과정;기 학습된 표정인식 모델 및 상기 모션데이터를 기반으로 상기 사용자의 흥미도 점수를 산출하여 출력하는 과정;상기 얼굴 영역을 기반으로 얼굴데이터를 추출하여 상기 사용자의 집중도 점수를 산출하여 출력하는 과정; 및상기 흥미도 점수와 상기 집중도 점수 중 적어도 어느 하나에 기반하여 상기 사용자의 몰입도 점수를 산출하여 출력하는 과정을 포함하되,상기 기 학습된 표정인식 모델은 얼굴 표정의 데이터베이스를 기반으로 상기 기 학습된 표정인식 모델을 비지도(unsupervised) 학습한 것을 특징으로 하고,상기 집중도 점수를 산출하여 출력하는 과정은 상기 사용자의 눈깜빡임 횟수를 카운트하고 점수화하여 눈깜빡임 점수를 산출하는 눈깜빡임 산출과정을 포함하되,상기 눈깜빡임 산출과정은 조건부 신경 모델을 이용하여 상기 얼굴 영역으로부터 적어도 하나의 특징점을 추출하고, 상기 사용자의 얼굴모양을 분석하고, 회전 효과(rotational effect) 또는 스케일링 효과(scaling effect)를 제거하고, 동작 단위를 이용하여 눈깜빡임 여부를 판단하고, 상기 사용자의 눈깜빡임 횟수를 카운트하여 점수로 환산하되,상기 동작 단위는 상기 특징점의 움직임 단위로, 히스토그램(histogram)을 이용하여 검출한 것을 포함하는 것을 특징으로 하는 몰입도 측정방법
|
| 17 |
17
제 16항에 있어서,상기 흥미도 점수를 산출하여 출력하는 과정은,얼굴표정의 데이터베이스를 기반으로 상기 표정인식 모델을 학습하여 학습된 출력값을 저장하고, 상기 표정인식 모델에 상기 모션데이터를 입력하여 상기 얼굴표정을 판단하여 상기 얼굴표정에 상응하는 점수로 출력하는 것을 특징으로 하는 몰입도 측정방법
|
