| 1 |
1
입력되는 제1 프레임과 상기 제1 프레임 다음에 입력되는 제2 프레임 각각에서 얼굴 영역을 검출하는 단계;상기 얼굴 영역에서 특징점들을 추출하는 단계;상기 특징점들을 토대로 삼각 매쉬를 생성하는 단계;상기 제1 프레임과 상기 제2 프레임을 비교하여 상기 삼각 매쉬의 변화를 추적하는 단계;상기 삼각 매쉬의 변화가 문턱치 이상인지를 판단하는 단계; 및상기 문턱치 이상의 삼각 매쉬의 변화에 대응하는 얼굴 모션에 따라 제어 이벤트를 발생시키는 단계를 포함하는, 사용자 인터페이스 제어 방법
|
| 2 |
2
청구항 1에 있어서,상기 삼각 매쉬를 생성하는 단계는,상기 특징점들 중 하나를 주축으로 설정하고, 상기 주축을 기준으로 상기 얼굴 영역을 복수 개로 분할하고 각 분할된 영역에 대하여 2차원 딜로니 삼각화(delaunay triangulation)를 이용하여 상기 삼각 매쉬를 생성하는, 사용자 인터페이스 제어 방법
|
| 3 |
3
청구항 1에 있어서,상기 삼각 매쉬를 생성하는 단계는,상기 특징점들을 삼각형들로 연결하여 평면 또는 공간을 분할할 때 상기 삼각형들의 내각이 최소값이 되도록 하는 들로네 삼각분할(Delaunay triangulation)을 이용하는, 사용자 인터페이스 제어 방법
|
| 4 |
4
청구항 3에 있어서,상기 삼각 매쉬를 생성하는 단계는,상기 특징점들이 서로 도달 가능하면서 전체 거리의 합이 최소가 되도록 연결한 트리 구조에 따라 생성되는, 사용자 인터페이스 제어 방법
|
| 5 |
5
청구항 1에 있어서,상기 삼각 매쉬의 변화를 추적하는 단계 이전에,상기 삼각 매쉬를 포함하는 상기 제1 프레임을 버퍼링하는 단계를 더 포함하는, 사용자 인터페이스 제어 방법
|
| 6 |
6
청구항 1에 있어서,상기 제1 프레임과 상기 제2 프레임은 영상 처리 장치의 서로 다른 프로세스에서 처리되는, 사용자 인터페이스 제어 방법
|
| 7 |
7
청구항 1에 있어서,상기 삼각 매쉬의 변화를 추적하는 단계는,상기 얼굴 영역을 미리 설정된 복수의 서브영역들로 구분하고, 상기 서브영역들 중 변화가 가장 큰 관심서브영역을 선택하고, 상기 관심서브영역에서의 삼각 매쉬의 변화를 비교하는, 사용자 인터페이스 제어 방법
|
| 8 |
8
청구항 7에 있어서,상기 관심서브영역은 눈썹, 눈, 눈동자, 입, 입술, 뺨, 턱선, 얼굴 방향 또는 이들의 조합을 포함하는, 사용자 인터페이스 제어 방법
|
| 9 |
9
청구항 1에 있어서,상기 삼각 매쉬의 변화가 문턱치 이상인지를 판단하는 단계는,상기 삼각 매쉬의 변화를 훈련 데이터와 비교하는, 사용자 인터페이스 제어 방법
|
| 10 |
10
청구항 9에 있어서,상기 훈련 데이터는 상기 제어 이벤트에 따른 신호를 수신하는 제어 대상 장치 혹은 상호 동작 장치의 저장부에 저장되거나 상기 제어 대상 장치 혹은 상호 동작 장치와 네트워크를 통해 연결되는 서버 장치 혹은 클라우드 서버에 저장되는, 사용자 인터페이스 제어 방법
|
| 11 |
11
청구항 10에 있어서,상기 제어 대상 장치 혹은 상호 동작 장치는 모바일 단말을 포함하고, 상기 제1 프레임 및 상기 제2 프레임은 상기 모바일 단말의 카메라 모듈로부터 획득되는, 사용자 인터페이스 제어 방법
|
| 12 |
12
입력되는 제1 프레임과 상기 제1 프레임 다음에 입력되는 제2 프레임 각각에서 얼굴 영역을 검출하는 검출부;상기 얼굴 영역에서 특징점들을 추출하는 추출부;상기 특징점들을 토대로 삼각 매쉬를 생성하는 생성부;상기 제1 프레임과 상기 제2 프레임을 비교하여 상기 삼각 매쉬의 변화를 추적하는 추적부;상기 삼각 매쉬의 변화가 문턱치 이상인지를 판단하는 판단부; 및상기 문턱치 이상의 삼각 매쉬의 변화에 대응하는 얼굴 모션에 따라 제어 이벤트를 발생시키는 유저 컨트롤 제공부를 포함하는, 사용자 인터페이스 제어 장치
|
| 13 |
13
청구항 12에 있어서,상기 생성부는,상기 특징점들 중 하나를 주축으로 설정하고, 상기 주축을 기준으로 상기 얼굴 영역을 복수 개로 분할하고 각 분할된 영역에 대하여 2차원 딜로니 삼각화(delaunay triangulation)를 이용하여 상기 삼각 매쉬를 생성하거나,상기 특징점들을 삼각형들로 연결하여 평면 또는 공간을 분할할 때 상기 삼각형들의 내각이 최소값이 되도록 하는 들로네 삼각분할(Delaunay triangulation)을 이용하거나,상기 특징점들이 서로 도달 가능하면서 전체 거리의 합이 최소가 되도록 연결한 트리 구조에 따라 상기 삼각 매쉬를 생성하는, 사용자 인터페이스 제어 장치
|
| 14 |
14
청구항 12에 있어서,상기 삼각 매쉬를 포함하는 상기 제1 프레임을 버퍼링하며, 상기 생성부와 상기 추적부 사이에 배치되는 버퍼링부를 더 포함하는, 사용자 인터페이스 제어 장치
|
| 15 |
15
청구항 12에 있어서,상기 제1 프레임을 처리하는 제1 프로세스 및 상기 제2 프레임을 처리하는 제2 프로세스를 독립적으로 수행하도록 지원하는 병렬처리부를 더 포함하는, 사용자 인터페이스 제어 장치
|
| 16 |
16
청구항 12에 있어서,상기 추적부는,상기 얼굴 영역을 미리 설정된 복수의 서브영역들로 구분하는 구분부;상기 서브영역들 중 변화가 가장 큰 관심서브영역을 선택하는 선택부; 및상기 관심서브영역에서의 상기 삼각 매쉬의 변화를 추적하는 비교부를 포함하는, 사용자 인터페이스 제어 장치
|
| 17 |
17
청구항 16에 있어서,상기 관심서브영역은 눈썹, 눈, 눈동자, 입, 입술, 턱선, 얼굴 방향 또는 이들의 조합을 포함하는, 사용자 인터페이스 제어 장치
|
| 18 |
18
청구항 12에 있어서,상기 판단부는, 상기 삼각 매쉬의 변화를 기 저장된 훈련 데이터와 비교하는, 사용자 인터페이스 제어 장치
|
| 19 |
19
청구항 12에 있어서,상기 판단부 및 상기 유저 컨트롤 제공부 사이에 최근접 이웃 분류부를 더 포함하며, 여기서 상기 최근접 이웃 분류부는 훈련 데이터를 토대로 상기 삼각 매쉬 변화가 가장 큰 상기 얼굴 영역의 서브영역이나 특징자를 검출하는, 사용자 인터페이스 제어 장치
|
| 20 |
20
청구항 19에 있어서,상기 최근접 이웃 분류부 및 상기 유저 컨트롤 제공부 사이에 가중 결정 평가부를 더 포함하며, 여기서 상기 가중 결정 평가부는 상기 특징자 또는 상기 서브영역의 종류나 위치에 따라 가중치를 부여하는, 사용자 인터페이스 제어 장치
|
