| 1 |
1
각 단계의 적어도 일부가 프로세서에 의해 수행되는, 비대면으로 콘텐츠를 이용하는 사용자의 얼굴 이미지를 기반으로 상기 사용자의 행위를 판단하는 얼굴 추적 기반 행위 분류 방법으로서,비대면 사용자의 얼굴 영역이 포함된 원본 이미지를 획득하는 단계;원근 변환(perspective transformation)을 통해 상기 원본 이미지의 정규화를 수행하는 단계; 및기 학습된 분류 모델을 기반으로, 상기 정규화 된 이미지에서 상기 비대면 사용자의 비 허용 객체 사용 여부를 분류하는 단계를 포함하고,상기 원본 이미지의 정규화를 수행하는 단계는,카메라 좌표계에서의 상기 원본 이미지 내 얼굴의 3차원 포즈를 도출하는 단계;상기 3차원 포즈를 도출하기 위해 사용된 표준 페이스 메쉬를 기반으로 귀 영역 ROI를 도출하는 단계; 및상기 귀 영역 ROI 이미지를 시점 불변한 형태의 이미지로 정규화 하는 단계를 포함하며,상기 3차원 포즈를 도출하는 단계는,상기 표준 페이스 메쉬의 각 정점의 위치와 상기 원본 이미지 내에서 얼굴을 이루는 각 정점의 삼차원 공간 상에서의 위치를 기반으로, 상기 표준 페이스 메쉬를 카메라 좌표계에서 상기 원본 이미지 내의 얼굴에 근사하는 아핀 변환을 계산하는 단계; 및상기 아핀 변환을 기반으로, 상기 원본 이미지 내의 3차원 공간 상의 페이스 메쉬를 상기 표준 페이스 메쉬로 근사하여 상기 3차원 포즈를 도출하는 단계를 포함하고,상기 아핀 변환을 계산하는 단계는,상기 원본 이미지가 입력으로 주어졌을 때, 상기 표준 페이스 메쉬에서의 각 정점에 해당하는 랜드마크의 위치를 3차원 공간 상에서의 위치로 추론하도록 미리 학습된 모델을 이용하여, 상기 원본 이미지 내의 페이스 메쉬의 각 정점의 위치를 도출하는 단계; 및3차원 공간 상에서 표준 페이스 메쉬의 각 정점 를 열 벡터로 갖는 표준 행렬 X, 상기 원본 이미지의 페이스 메쉬의 각 정점 를 열 벡터로 갖는 이미지 행렬 Y 및 와 대응하는 에 대한 가중치 를 대각 원소로 갖는 대각 행렬 W를 기반으로, 를 이용하여 를 근사하는 아핀 변환을 계산하는 단계를 포함하며,상기 3차원 포즈를 도출하는 단계는,상기 아핀 변환을 계산하기 위하여, 수학식 1을 만족하는 3차원 포즈를 도출하는 단계를 포함하고,상기 3차원 포즈는, 회전 행렬 R, 균등 스케일링 계수 s 및 변환 벡터 t를 포함하고,상기 3차원 포즈를 도출하는 단계는,특이 값 분해(singular value decomposition)를 이용하여 수학식 2를 만족하는 회전 행렬 R을 산출하는 단계를 포함하고,상기 회전 행렬 R을 산출하는 단계는,상기 가중치 행렬 W을 기반으로 상기 표준 페이스 메쉬의 각 정점의 가중치에 대한 가중 평균을 계산하는 단계;상기 표준 페이스 메쉬의 각 정점에서 상기 가중 평균을 차감하여 변위를 계산하는 단계; 및상기 변위가 반영된 최적 표준 행렬 을 기반으로 회전 행렬 R을 산출하는 단계를 포함하는,얼굴 추적 기반 행위 분류 방법
|
| 2 |
2
제 1 항에 있어서,상기 원본 이미지의 정규화를 수행하는 단계는,상기 원본 이미지에 포함된 얼굴에서 비 허용 객체 사용 여부 판단을 위한 영역의 원근 투영된 ROI를 검출하는 단계; 및상기 검출한 ROI에 대한 ROI 이미지를 시점 불변한(viewpoint-invariant) 형식의 이미지로 변환하는 단계를 포함하는,얼굴 추적 기반 행위 분류 방법
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
제 1 항에 있어서,상기 3차원 포즈를 도출하는 단계는,수학식 3과 같은 행렬 대각합의 비를 기반으로, 상기 회전 행렬 R 및 상기 최적 표준 행렬 을 반영하여, 수학식 4를 만족하는 상기 표준 페이스 메쉬에 대한 균등 스케일링 계수 s를 산출하는 단계를 포함하는,얼굴 추적 기반 행위 분류 방법
|
| 9 |
9
제 8 항에 있어서,상기 3차원 포즈를 도출하는 단계는,상기 회전 행렬 R 및 상기 균등 스케일링 계수 s를 반영하여, 수학식 5와 같이 수학식 6을 만족하는 변환 벡터 t를 산출하는 단계를 포함하는,얼굴 추적 기반 행위 분류 방법
|
| 10 |
10
제 1 항에 있어서,상기 귀 영역 ROI를 도출하는 단계는,상기 회전 행렬 R, 상기 균등 스케일링 계수 s 및 상기 변환 벡터 t를 포함하는 상기 3차원 포즈를 기반으로, 상기 표준 페이스 메쉬 공간 상의 귀 영역 ROI에 대한 표준 ROI 행렬의 한 꼭지점의 위치를 거리(metric) 공간의 거리 ROI 행렬로 변환하는 단계;상기 원본 이미지를 촬영한 카메라의 초점 거리, 종횡비 및 주점(principal point)에 기반하여 상기 카메라의 투영 행렬 K를 산출하는 단계; 및상기 투영 행렬 K를 기반으로, 이미지 공간에 상기 거리 ROI 행렬을 투영하여 이미지 ROI 행렬을 도출하는 단계를 포함하는,얼굴 추적 기반 행위 분류 방법
|
| 11 |
11
제 10 항에 있어서,상기 시점 불변한 형태의 이미지로 정규화 하는 단계는,동차좌표계(mogeneous coordinates) 상에서 이미지 ROI 영역 내의 이미지를 정해진 비율의 직사각형 형태로 변환하기 위해, 원근 투영 행렬 H를 산출하는 단계; 및상기 원근 투영 행렬 H의 역을 통해 시점 불변한 이미지의 각 픽셀 좌표를 변환하여 상기 원본 이미지에서 대응하는 픽셀 좌표를 도출하는 단계를 포함하는,얼굴 추적 기반 행위 분류 방법
|
| 12 |
12
제 1 항에 있어서,상기 기 학습된 분류 모델은,상기 비대면 사용자의 얼굴 영역이 포함된 원본 이미지가 입력되면, 상기 비대면 사용자의 이미지를 기반으로 도출된 귀 영역 ROI에 대하여 원근 변환된 정규화 이미지를 입력으로 쿼리(query)하여, 귀 영역 ROI에 대한 비 허용 객체 사용 분류 결과가 출력되도록 학습된 학습 모델인,얼굴 추적 기반 행위 분류 방법
|
| 13 |
13
비대면으로 콘텐츠를 이용하는 사용자의 얼굴 이미지를 기반으로 상기 사용자의 행위를 판단하는 얼굴 추적 기반 행위 분류 장치로서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 하나의 프로세서를 포함하고,상기 하나의 프로세서는,비대면 사용자의 얼굴 영역이 포함된 원본 이미지를 획득하는 동작,원근 변환(perspective transformation)을 통해 상기 원본 이미지의 정규화를 수행하는 동작, 및기 학습된 분류 모델을 기반으로, 상기 정규화 된 이미지에서 상기 비대면 사용자의 비 허용 객체 사용 여부를 분류하는 동작을 수행하도록 설정되며,상기 원본 이미지의 정규화를 수행하는 동작은,카메라 좌표계에서의 상기 원본 이미지 내 얼굴의 3차원 포즈를 도출하는 동작,상기 3차원 포즈를 도출하기 위해 사용된 표준 페이스 메쉬를 기반으로 귀 영역 ROI를 도출하는 동작, 및상기 귀 영역 ROI 이미지를 시점 불변한 형태의 이미지로 정규화 하는 동작을 포함하고,상기 3차원 포즈를 도출하는 동작은,상기 표준 페이스 메쉬의 각 정점의 위치와 상기 원본 이미지 내에서 얼굴을 이루는 각 정점의 삼차원 공간 상에서의 위치를 기반으로, 상기 표준 페이스 메쉬를 카메라 좌표계에서 상기 원본 이미지 내의 얼굴에 근사하는 아핀 변환을 계산하는 동작, 및상기 아핀 변환을 기반으로, 상기 원본 이미지 내의 3차원 공간 상의 페이스 메쉬를 상기 표준 페이스 메쉬로 근사하여 상기 3차원 포즈를 도출하는 동작을 포함하고,상기 아핀 변환을 계산하는 단계는,상기 원본 이미지가 입력으로 주어졌을 때, 상기 표준 페이스 메쉬에서의 각 정점에 해당하는 랜드마크의 위치를 3차원 공간 상에서의 위치로 추론하도록 미리 학습된 모델을 이용하여, 상기 원본 이미지 내의 페이스 메쉬의 각 정점의 위치를 도출하는 동작, 및3차원 공간 상에서 표준 페이스 메쉬의 각 정점 를 열 벡터로 갖는 표준 행렬 X, 상기 원본 이미지의 페이스 메쉬의 각 정점 를 열 벡터로 갖는 이미지 행렬 Y 및 와 대응하는 에 대한 가중치 를 대각 원소로 갖는 대각 행렬 W를 기반으로, 를 이용하여 를 근사하는 아핀 변환을 계산하는 동작을 포함하며,상기 3차원 포즈를 도출하는 동작은,상기 아핀 변환을 계산하기 위하여, 수학식 1을 만족하는 3차원 포즈를 도출하는 동작을 포함하고,상기 3차원 포즈는, 회전 행렬 R, 균등 스케일링 계수 s 및 변환 벡터 t를 포함하며,상기 귀 영역 ROI를 도출하는 동작은,상기 회전 행렬 R, 상기 균등 스케일링 계수 s 및 상기 변환 벡터 t를 포함하는 상기 3차원 포즈를 기반으로, 상기 표준 페이스 메쉬 공간 상의 귀 영역 ROI에 대한 표준 ROI 행렬의 한 꼭지점의 위치를 거리(metric) 공간의 거리 ROI 행렬로 변환하는 동작, 상기 원본 이미지를 촬영한 카메라의 초점 거리, 종횡비 및 주점(principal point)에 기반하여 상기 카메라의 투영 행렬 K를 산출하는 동작, 및 상기 투영 행렬 K를 기반으로, 이미지 공간에 상기 거리 ROI 행렬을 투영하여 이미지 ROI 행렬을 도출하는 동작을 포함하는,얼굴 추적 기반 행위 분류 장치
|
| 14 |
14
삭제
|
| 15 |
15
삭제
|
| 16 |
16
삭제
|
| 17 |
17
삭제
|
| 18 |
18
삭제
|
| 19 |
19
제 13 항에 있어서, 상기 시점 불변한 형태의 이미지로 정규화 하는 동작은,동차좌표계(mogeneous coordinates) 상에서 이미지 ROI 영역 내의 이미지를 정해진 비율의 직사각형 형태로 변환하기 위해, 원근 투영 행렬 H를 산출하는 동작, 및상기 원근 투영 행렬 H의 역을 통해 시점 불변한 이미지의 각 픽셀 좌표를 변환하여 상기 원본 이미지에서 대응하는 픽셀 좌표를 도출하는 동작을 포함하는,얼굴 추적 기반 행위 분류 장치
|
| 20 |
20
제 13 항에 있어서,상기 기 학습된 분류 모델은,상기 비대면 사용자의 얼굴 영역이 포함된 원본 이미지가 입력되면, 상기 비대면 사용자의 이미지를 기반으로 도출된 귀 영역 ROI에 대하여 원근 변환된 정규화 이미지를 입력으로 쿼리(query)하여, 귀 영역 ROI에 대한 비 허용 객체 사용 분류 결과가 출력되도록 학습된 학습 모델인,얼굴 추적 기반 행위 분류 장치
|
