| 1 |
1
각 단계의 적어도 일부가 프로세서에 의해 수행되는, 비대면으로 콘텐츠를 이용하는 사용자의 손 이미지를 기반으로 비대면 사용자의 행위를 판단하는 손 추적 기반 행위 분류 방법으로서,상기 비대면 사용자의 이미지를 획득하는 단계;기 학습된 행위 분류 알고리즘을 기반으로, 상기 비대면 사용자 이미지의 손 영역을 검출하는 단계;상기 비대면 사용자의 시선 추적을 수행하는 단계;상기 손 영역과 추적된 시선에 기반하여, 상기 비대면 사용자의 행위를 분류하는 단계; 및상기 행위 분류 결과에 기초하여, 상기 비대면 사용자의 비 허용 객체 사용 여부를 판단하는 단계를 포함하고,상기 시선 추적을 수행하는 단계는,카메라 공간을 이미지 공간으로 변환하는 원근 투영 행렬 및 변수를 기반으로 상기카메라의 중심과 상기 사용자의 홍채의 중심을 통과하는 직선을 도출하는 단계;상기 직선과 상기 사용자의 얼굴의 자세를 기반으로 얼굴 공간에서 정의된 눈의 표면을 모델링하는 기하와 상기 직선의 교점을 구하여 상기 카메라 공간에서의 홍채의 위치를 계산하는 단계; 및상기 얼굴 공간에서의 안구의 중심과 상기 홍채의 위치 간의 차이를 이용하여 상기 카메라 공간에서의 시선의 방향을 계산하는 단계를 포함하고,상기 시선 추적을 수행하는 단계는,상기 얼굴 공간에서 한쪽 눈 평면 상의 점 , 눈 평면의 법선 이 주어졌을 때, 상기 값들 을 얼굴의 자세를 나타내는 회전행렬 R, 이동벡터 t를 통해 상기 카메라 공간으로 변환하여 하기의 수학식을 만족하는 상기 변수()를 찾는 단계를 더 포함하고,,상기 변수는,하기의 수학식으로 계산되는,,손 추적 기반 행위 분류 방법
|
| 2 |
2
제 1 항에 있어서,상기 비대면 사용자의 행위를 분류하는 단계는,상기 획득한 상기 비대면 사용자 이미지를 기반으로 손 영역 이미지와 손 키포인트 정보를 검출하는 단계; 및상기 손 영역 이미지와 상기 손 키포인트 정보를 기반으로, 상기 손 영역의 객체와 상기 손의 자세를 검출하여, 상기 비대면 사용자의 행위를 분류하는 단계를 포함하는,손 추적 기반 행위 분류 방법
|
| 3 |
3
제 2 항에 있어서,상기 손 영역 이미지와 손 키포인트 정보를 검출하는 단계는,상기 비대면 사용자 이미지에서 손 전체 영역의 ROI(Region Of Interest) 이미지를 검출하는 단계; 및상기 검출한 손 전체 영역의 ROI 이미지에서 손 키포인트 각각에 대한 3차원 좌표 값을 예측하는 단계를 포함하는,손 추적 기반 행위 분류 방법
|
| 4 |
4
제 3 항에 있어서,상기 손 전체 영역의 ROI 이미지를 검출하는 단계는,상기 비대면 사용자 이미지에서 손바닥 또는 손등 영역의 ROI 이미지를 감지하는 단계; 및상기 손바닥 또는 손등 영역의 ROI를 손 전체 영역의 ROI로 확장하는 단계를 포함하는,손 추적 기반 행위 분류 방법
|
| 5 |
5
제 4 항에 있어서,상기 손 전체 영역의 ROI 이미지를 검출하는 단계는,상기 검출한 손 전체 영역의 ROI 이미지에서 손목 중앙과 가운데 손가락 위치를 파악하는 단계; 및상기 파악한 손목 중앙과 가운데 손가락을 이은 선분을 이미지의 y축과 평행하게 회전시켜 상기 검출한 손 전체 영역의 ROI 이미지를 획득하는 단계를 더 포함하는,손 추적 기반 행위 분류 방법
|
| 6 |
6
제 4 항에 있어서,상기 비대면 사용자의 행위를 분류하는 단계는,상기 ROI 이미지 및 상기 손 키포인트 각각에 대한 3차원 좌표 값을 기반으로 상기 비대면 사용자의 손의 자세를 판단하는 단계를 포함하는,손 추적 기반 행위 분류 방법
|
| 7 |
7
제 1 항에 있어서,상기 기 학습된 행위 분류 알고리즘은,상기 비대면 사용자 이미지가 입력되면, 상기 비대면 사용자 이미지를 기반으로 검출된 손 전체 영역의 ROI 이미지 및 손 키포인트 정보를 입력으로 쿼리(query)하여, 손 영역의 객체와 손의 자세에 매핑된 행위 클래스에 따른 비 허용 객체 사용 여부가 출력되도록 학습된 학습 모델인,손 추적 기반 행위 분류 방법
|
| 8 |
8
제 7 항에 있어서,상기 기 학습된 행위 분류 알고리즘은, 훈련 페이즈(training phase)를 거쳐 훈련되고,상기 훈련 페이즈는,상기 비대면 사용자 이미지가 입력되면, 상기 비대면 사용자 이미지에서 손 전체 영역의 ROI 이미지를 검출하는 단계;상기 검출한 손 전체 영역의 ROI 이미지에서 손 키포인트 각각에 대한 3차원 좌표 값을 예측하는 단계;상기 ROI 이미지 및 상기 손 키포인트 각각에 대한 3차원 좌표 값을 기반으로, 상기 손 영역의 객체와 상기 손의 자세를 검출하여, 상기 비대면 사용자의 행위를 분류하는 단계; 및상기 행위 분류 결과에 따른 상기 비대면 사용자의 비 허용 객체 사용 여부를 추론하는 단계를 포함하는,손 추적 기반 행위 분류 방법
|
| 9 |
9
제 8 항에 있어서,상기 훈련 페이즈의 상기 비대면 사용자의 행위를 분류하는 단계는,상기 손 전체 영역의 ROI 이미지와 크기가 동일한 빈 그리드를 생성하는 단계;상기 손 키포인트 각각에 대한 3차원 좌표 값을 기반으로, 상기 빈 그리드에 각각의 키포인트 좌표 지점을 마킹하는 단계; 및상기 각각의 키포인트 좌표 지점이 마킹된 그리드에 가우시안 블러를 적용하는 단계를 포함하는,손 추적 기반 행위 분류 방법
|
| 10 |
10
제 9 항에 있어서,상기 훈련 페이즈의 상기 비대면 사용자의 행위를 분류하는 단계는,상기 손 전체 영역의 ROI 이미지의 색상 값에 기반한 채널 및 상기 각각의 키포인트별 채널로 구성된 입력 텐서를 기반으로, 상기 비대면 사용자의 행위를 분류하는 단계를 포함하는,손 추적 기반 행위 분류 방법
|
| 11 |
11
제 8 항에 있어서,상기 손 영역 이미지와 상기 손 키포인트 정보를 기반으로 한 상기 비대면 사용자의 행위 분류 결과에 기초하여 상기 비대면 사용자가 비 허용 객체를 사용하는 것으로 판단한 경우, 상기 비대면 사용자의 시선 방향이 상기 손의 위치를 향하고 있는지 판단하는 단계; 및상기 비대면 사용자의 시선 방향이 상기 손의 위치를 향하고 있는 경우, 상기 비대면 사용자가 비 허용 객체를 사용하고 있는 것으로 추가 판단하는 단계를 더 포함하는, 손 추적 기반 행위 분류 방법
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
삭제
|
| 15 |
15
제 1 항에 있어서,상기 비 허용 객체 사용 판단에 따라 상기 비대면 사용자에 경고를 출력하는 단계를 더 포함하는,손 추적 기반 행위 분류 방법
|
| 16 |
16
비대면으로 콘텐츠를 이용하는 사용자의 손 이미지를 기반으로 비대면 사용자의 행위를 판단하는 손 추적 기반 행위 분류 장치로서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 하나의 프로세서를 포함하고,상기 하나의 프로세서는,상기 비대면 사용자의 이미지를 획득하는 동작,기 학습된 행위 분류 알고리즘을 기반으로, 상기 비대면 사용자 이미지의 손 영역을 검출하는 동작,상기 비대면 사용자의 시선 추적을 수행하는 동작,상기 손 영역과 추적된 시선에 기반하여, 상기 비대면 사용자의 행위를 분류하는 동작, 및상기 행위 분류 결과에 기초하여, 상기 비대면 사용자의 비 허용 객체 사용 여부를 판단하는 동작을 수행하도록 설정되고,상기 시선 추적을 수행하는 동작은,카메라 공간을 이미지 공간으로 변환하는 원근 투영 행렬 및 변수를 기반으로 상기카메라의 중심과 상기 사용자의 홍채의 중심을 통과하는 직선을 도출하는 동작,상기 직선과 상기 사용자의 얼굴의 자세를 기반으로 얼굴 공간에서 정의된 눈의 표면을 모델링하는 기하와 상기 직선의 교점을 구하여 상기 카메라 공간에서의 홍채의 위치를 계산하는 동작, 및상기 얼굴 공간에서의 안구의 중심과 상기 홍채의 위치 간의 차이를 이용하여 상기 카메라 공간에서의 시선의 방향을 계산하는 동작을 포함하고,상기 시선 추적을 수행하는 동작은,상기 얼굴 공간에서 한쪽 눈 평면 상의 점 , 눈 평면의 법선 이 주어졌을 때, 상기 값들 을 얼굴의 자세를 나타내는 회전행렬 R, 이동벡터 t를 통해 상기 카메라 공간으로 변환하여 하기의 수학식을 만족하는 상기 변수()를 찾는 동작을 더 포함하고,,상기 변수는,하기의 수학식으로 계산되는,손 추적 기반 행위 분류 장치
|
| 17 |
17
제 16 항에 있어서,상기 비대면 사용자의 행위를 분류하는 동작은,상기 획득한 상기 비대면 사용자 이미지를 기반으로 손 영역 이미지와 손 키포인트 정보를 검출하는 동작, 및상기 손 영역 이미지와 상기 손 키포인트 정보를 기반으로, 상기 손 영역의 객체와 상기 손의 자세를 검출하여, 상기 비대면 사용자의 행위를 분류하는 동작을 포함하는,손 추적 기반 행위 분류 장치
|
| 18 |
18
제 16 항에 있어서,상기 기 학습된 행위 분류 알고리즘은,상기 비대면 사용자 이미지가 입력되면, 상기 비대면 사용자 이미지를 기반으로 검출된 손 전체 영역의 ROI 이미지 및 손 키포인트 정보를 입력으로 쿼리(query)하여, 손 영역의 객체와 손의 자세에 매핑된 행위 클래스에 따른 비 허용 객체 사용 여부가 출력되도록 학습된 학습 모델인,손 추적 기반 행위 분류 장치
|
| 19 |
19
삭제
|
| 20 |
20
삭제
|
