| 1 |
1
제스처 인식 방법으로서, 클라이언트(100)가,(1) 3차원 센서로부터 제스처 데이터를 획득하는 단계;(2) 보간을 통해 상기 획득한 제스처 데이터에서 손실된 데이터를 보완하는 단계;(3) 상기 단계 (2)에서 보간된 제스처 데이터를 평면에 투영하여 2차원 이미지 데이터를 획득하는 단계;(4) 실시간으로 애플리케이션 실행 중, 상기 단계 (3)에서 획득한 2차원 이미지 데이터를 서버(200)에 전송하여 제스처 인식 모델에 입력하는 단계; 및(5) 상기 서버(200)로부터 상기 제스처 인식 모델에 의해 도출된 결과를 전달받아, 상기 실행 중인 애플리케이션에 적용하여 실행하는 단계를 포함하되,상기 제스처 인식 모델은,콘볼루션 신경망(Convolution Neural Network; CNN) 기반으로 제스처 인식을 학습한 CNN 모델인 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 방법
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서, 상기 단계 (1)에서는,모바일, 퍼스널 컴퓨터 및 가상현실(Virtual Reality; VR)을 포함하는 군에서 선택된 적어도 하나 이상의 환경의 상기 3차원 센서에 적용하기 위하여, 3개의 동작 상태를 정의하여 상기 제스처 데이터를 획득하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 방법
|
| 4 |
4
제1항에 있어서, 상기 단계 (2)에서는,하기 수학식 1에 의해 보간을 수행하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 방법
|
| 5 |
5
제4항에 있어서, 상기 단계 (2)에서는,보간 범위(t)의 간격을 0
|
| 6 |
6
제1항에 있어서, 상기 단계 (3)에서는,상기 단계 (2)에서 보간된 제스처 데이터를 정사각 형태의 2차원 이미지 데이터로 변환하기 위하여, 2차원 이미지의 한 변의 최대 거리(Max Distance)를 하기 수학식 2에 의해 계산하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 방법
|
| 7 |
7
제6항에 있어서, 상기 단계 (3)에서는,상기 단계 (2)에서 보간된 제스처 데이터를 2차원 이미지 데이터로 변환하기 위하여, 상기 계산된 2차원 이미지의 한 변의 최대 거리(Max Distance)를 미리 설정된 이미지의 한 변의 실제 크기(Grid Size)로 나누어, 픽셀 한 개의 한 변의 크기(Cell Size)를 산출하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 방법
|
| 8 |
8
제7항에 있어서, 상기 단계 (3)에서는,상기 산출된 픽셀 한 개의 한 변의 크기(Cell Size)를 이용해 상기 2차원 이미지에서의 픽셀 위치를 계산하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 방법
|
| 9 |
9
제1항에 있어서, 상기 단계 (3)에서는,상기 단계 (2)에서 보간된 제스처 데이터를 평면에 투영하여 생성된 이미지를 N×N 크기로 변환하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 방법
|
| 10 |
10
제1항에 있어서, 상기 단계 (4)에서는,상기 단계 (3)에서 획득한 2차원 이미지 데이터를 이진화하여 TCP/IP 네트워크 프로토콜을 통해 상기 서버(200)에 전송하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 방법
|
| 11 |
11
제1항에 있어서, 상기 단계 (5)에서는,상기 제스처 인식 모델에서 인식된 결과를 전달받아 상기 실행 중인 애플리케이션에 결과 값을 적용하기 위해서, 상기 서버(200)와의 쓰레드 동기화를 크리티컬 섹션(Critical section)을 통해 제어하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 방법
|
| 12 |
12
제스처 인식 시스템으로서,제스처 인식에 의해 사용자 인터랙션이 수행되는 애플리케이션을 실행하는 클라이언트(100); 및딥 러닝 알고리즘에 의한 제스처 인식 모델의 연산을 수행하는 서버(200)를 포함하며,상기 클라이언트(100)는,3차원 센서로부터 제스처 데이터를 획득하는 데이터 획득 모듈(110);보간을 통해 상기 획득한 제스처 데이터에서 손실된 데이터를 보완하는 데이터 보간 모듈(120);상기 데이터 보간 모듈(120)에서 보간된 제스처 데이터를 평면에 투영하여 2차원 이미지 데이터를 획득하는 데이터 변환 모듈(130);실시간으로 애플리케이션 실행 중, 상기 데이터 변환 모듈(130)에서 획득한 2차원 이미지 데이터를 서버(200)에 전송하여 상기 제스처 인식 모델에 입력하는 데이터 전송 모듈(140); 및상기 서버(200)로부터 상기 제스처 인식 모델에 의해 도출된 결과를 전달받아, 상기 실행 중인 애플리케이션에 적용하여 실행하는 결과 적용 모듈(150)을 포함하되,상기 제스처 인식 모델은,콘볼루션 신경망(Convolution Neural Network; CNN) 기반으로 제스처 인식을 학습한 CNN 모델인 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 시스템
|
| 13 |
13
삭제
|
| 14 |
14
제12항에 있어서,제스처 인식의 학습을 위해 구성한 트레이닝 셋(Training Set) 및 검증을 위해 구성한 테스트 셋(Test Set)의 데이터를 이용하여 상기 제스처 인식 모델을 도출하는 학습 서버(300)를 더 포함하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 시스템
|
| 15 |
15
제14항에 있어서, 상기 학습 서버(300)는,3차원 센서로부터 획득한 제스처 데이터를 처리하여 2차원 이미지 데이터를 수집하는 데이터 전처리 모듈(310); 및상기 수집한 2차원 이미지 데이터로 상기 트레이닝 셋 및 테스트 셋을 구성하고, 구성된 상기 트레이닝 셋 및 테스트 셋을 이용하여 상기 제스처 인식 모델을 도출하는 트레이닝 모듈(320)을 포함하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 시스템
|
| 16 |
16
제12항에 있어서, 상기 데이터 보간 모듈(120)은,하기 수학식 1에 의해 보간을 수행하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 시스템
|
| 17 |
17
제12항에 있어서, 상기 데이터 변환 모듈(130)은,상기 데이터 보간 모듈(120)에서 보간된 제스처 데이터를 정사각 형태의 2차원 이미지 데이터로 변환하기 위하여, 2차원 이미지의 한 변의 최대 거리(Max Distance)를 하기 수학식 2에 의해 계산하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 시스템
|
| 18 |
18
제12항에 있어서, 상기 데이터 변환 모듈(130)은,상기 데이터 보간 모듈(120)에서 보간된 제스처 데이터를 2차원 이미지 데이터로 변환하기 위하여, 계산된 2차원 이미지의 한 변의 최대 거리(Max Distance)를 미리 설정된 이미지의 한 변의 실제 크기(Grid Size)로 나누어, 픽셀 한 개의 한 변의 크기(Cell Size)를 산출하고,상기 산출된 픽셀 한 개의 한 변의 크기(Cell Size)를 이용해 상기 2차원 이미지에서의 픽셀 위치를 계산하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 시스템
|
| 19 |
19
제12항에 있어서, 상기 데이터 전송 모듈(140)은,상기 데이터 변환 모듈(130)에서 획득한 2차원 이미지 데이터를 이진화하여 TCP/IP 네트워크 프로토콜을 통해 상기 서버(200)에 전송하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 시스템
|
| 20 |
20
제12항에 있어서, 상기 결과 적용 모듈(150)은,상기 제스처 인식 모델에서 인식된 결과를 전달받아 상기 실행 중인 애플리케이션에 결과 값을 적용하기 위해서, 상기 서버(200)와의 쓰레드 동기화를 크리티컬 섹션(Critical section)을 통해 제어하는 것을 특징으로 하는, 사용자 인터랙션을 위한 제스처 인식 시스템
|
