| 1 |
1
강의 출결 시스템을 이용한 강의 출결 확인 방법에 있어서,강의실에 설치되어 있는 복수의 카메라를 통해 강의실 내부를 촬영하는 단계,촬영된 복수의 영상으로부터 현재 강의실에 존재하는 복수의 수강생 각각의 얼굴을 각각의 영상별로 검출하는 단계,상기 검출된 각각의 얼굴 영상을 전처리하고, 상기 전처리된 얼굴 영상을 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 수강생 각각의 출결여부를 확인하는 단계,상기 인식된 각각의 얼굴에 대해 특징점(Land Mark)을 추출하고, 상기 추출된 특징점을 통해 상기 각각의 얼굴에 대한 머리 자세 추정도(Head Pose Estimation), 시선 추정도 및 졸음 추정도를 연산하는 단계, 그리고상기 수강생별 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)를 이용하여 강의 몰입도를 판단하는 단계를 포함하는 강의 출결 확인 방법
|
| 2 |
2
제1항에 있어서,상기 복수의 수강생이 착석하고 있는 각각의 좌석에 대하여 좌석별 졸음도를 연산하는 단계, 그리고 상기 좌석별 졸음도와 수강생별 졸음 빈도를 이용하여 다음 강의에서 각각의 수강생별로 착석할 좌석을 배정하는 단계를 더 포함하는 강의 출결 확인 방법
|
| 3 |
3
제2항에 있어서,상기 수강생 각각의 출결여부를 확인하는 단계는,상기 검출된 복수의 수강생 각각의 얼굴에 대한 영상을 딥러닝 알고리즘에 적용하여 상기 복수의 수강생 각각의 얼굴을 인식하여 출결여부를 확인하는 강의 출결 확인 방법
|
| 4 |
4
제2항에 있어서,상기 머리 자세 추정도(X)를 연산하는 단계는,상기 추출된 특징점을 Perspective-N-Point 알고리즘에 적용하여 머리 자세에 대한 3차원 좌표를 획득하는 단계,상기 3차원 좌표를 이용하여 강의 시간 중에서 상기 수강생이 강사 방향을 주시하는 시간(T1)과 다른 방향을 주시하는 시간(T2)을 각각 추출하는 단계,상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에서의 확률이 기준 확률 값보다 작은지 비교하는 단계,상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사 방향을 주시하는 시간의 누적 시간 비율을 이용하여 상기 머리 자세 추정도(X)를 연산하는 강의 출결 확인 방법
|
| 5 |
5
제2항에 있어서,상기 시선 추정도(Y)를 연산하는 단계는,상기 추출된 특징점을 초 해상도(Super Resolution) 알고리즘에 적용하여 상기 수강생의 눈 부분을 추출하는 단계,상기 추출된 눈 부분을 눈동자를 시선 추정(Gaze Estimation) 알고리즘에 적용하여 눈동자의 위치 좌표를 추출하는 단계,상기 추출된 눈동자의 위치 좌표를 이용하여 상기 수강생의 눈이 강사를 주시하는 시간(T3)과 다른 방향을 주시하는 시간(T4)을 각각 추출하는 단계,상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에의 확률이 기준 확률 값보다 작은지 비교하는 단계,상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사를 주시하는 시간의 누적 시간 비율을 이용하여 상기 시선 추정도(Y)를 연산하는 강의 출결 확인 방법
|
| 6 |
6
제2항에 있어서,상기 졸음 추정도(Z)를 연산하는 단계는,상기 추출된 특징점을 딥 러닝 알고리즘에 적용하여 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 검출하는 단계,상기 검출된 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 이용하여 상기 졸음 추정도(Z)를 연산하는 강의 출결 확인 방법
|
| 7 |
7
제2항에 있어서,상기 강의 몰입도(A)를 판단하는 단계는,아래의 수학식을 이용하여 상기 강의 몰입도를 연산하는 강의 출결 확인 방법:여기서, α, β 및 δ는 상기 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)의 계수이다
|
| 8 |
8
제2항에 있어서,상기 좌석별 졸음도를 연산하는 단계는, 해당 좌석에 복수의 수강생이 착석한 횟수대비 졸고 있는 것으로 판단된 수강생의 수를 이용하여 해당되는 좌석별 졸음도를 연산하는 강의 출결 확인 방법
|
| 9 |
9
제2항에 있어서,상기 좌석을 배정하는 단계는,졸음 빈도가 높은 수강생별로 순차적으로 졸음도가 낮은 좌석을 배정하는 강의 출결 확인 방법
|
| 10 |
10
강의 출결 확인을 위한 강의 출결 시스템에 있어서,강의실에 설치되어 있는 복수의 카메라를 통해 강의실 내부를 촬영하는 촬영부,촬영된 복수의 영상으로부터 현재 강의실에 존재하는 복수의 수강생 각각의 얼굴을 각각의 영상별로 검출하는 검출부,상기 검출된 각각의 얼굴 영상을 전처리하고, 상기 전처리된 얼굴 영상을 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 수강생 각각의 출결여부를 확인하는 출결 확인부,상기 인식된 각각의 얼굴에 대해 특징점(Land Mark)을 추출하고, 상기 추출된 특징점을 통해 상기 각각의 얼굴에 대한 머리 자세 추정도(Head Pose Estimation), 시선 추정도 및 졸음 추정도를 연산하는 제어부, 그리고상기 수강생별 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)를 이용하여 강의 몰입도를 판단하는 몰입도 판단부를 포함하는 강의 출결 시스템
|
| 11 |
11
제10항에 있어서,상기 복수의 수강생이 착석하고 있는 각각의 좌석에 대하여 좌석별 졸음도를 연산하는 졸음도 연산부, 그리고 상기 좌석별 졸음도와 수강생별 졸음 빈도를 이용하여 다음 강의에서 각각의 수강생별로 착석할 좌석을 배정하는 좌석 배정부를 더 포함하는 강의 출결 시스템
|
| 12 |
12
제11항에 있어서,상기 출결 확인부는,상기 검출된 복수의 수강생 각각의 얼굴에 대한 영상을 딥러닝 알고리즘에 적용하여 상기 복수의 수강생 각각의 얼굴을 인식하여 출결여부를 확인하는 강의 출결 시스템
|
| 13 |
13
제11항에 있어서,상기 제어부는,상기 추출된 특징점을 Perspective-N-Point 알고리즘에 적용하여 머리 자세에 대한 3차원 좌표를 획득하고, 상기 3차원 좌표를 이용하여 강의 시간 중에서 상기 수강생이 강사 방향을 주시하는 시간(T1)과 다른 방향을 주시하는 시간(T2)을 각각 추출하며, 상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에서의 확률이 기준 확률 값보다 작은지 비교하고, 상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사 방향을 주시하는 시간의 누적 시간 비율을 이용하여 상기 머리 자세 추정도(X)를 연산하는 강의 출결 시스템
|
| 14 |
14
제11항에 있어서,상기 제어부는,상기 추출된 특징점을 초 해상도(Super Resolution) 알고리즘에 적용하여 상기 수강생의 눈 부분을 추출하고, 상기 추출된 눈 부분을 눈동자를 시선 추정(Gaze Estimation) 알고리즘에 적용하여 눈동자의 위치 좌표를 추출하며, 상기 추출된 눈동자의 위치 좌표를 이용하여 상기 수강생의 눈이 강사를 주시하는 시간(T3)과 다른 방향을 주시하는 시간(T4)을 각각 추출하고, 상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에의 확률이 기준 확률 값보다 작은지 비교하여, 상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사를 주시하는 시간의 누적 시간 비율을 이용하여 상기 시선 추정도(Y)를 연산하는 강의 출결 시스템
|
| 15 |
15
제11항에 있어서,상기 제어부는,상기 추출된 특징점을 딥 러닝 알고리즘에 적용하여 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 검출하고, 상기 검출된 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 이용하여 상기 졸음 추정도(Z)를 연산하는 강의 출결 시스템
|
| 16 |
16
제11항에 있어서,상기 몰입도 판단부는,아래의 수학식을 이용하여 상기 강의 몰입도(A)를 연산하는 강의 출결 시스템:여기서, α, β 및 δ는 상기 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)의 계수이다
|
| 17 |
17
제11항에 있어서,상기 졸음도 연산부는, 해당 좌석에 복수의 수강생이 착석한 횟수대비 졸고 있는 것으로 판단된 수강생의 수를 이용하여 해당되는 좌석별 졸음도를 연산하는 강의 출결 시스템
|
| 18 |
18
제11항에 있어서,상기 좌석 배정부는,졸음 빈도가 높은 수강생별로 순차적으로 졸음도가 낮은 좌석을 배정하는 강의 출결 시스템
|
