| 1 |
1
가상으로 악기를 연주하는 사용자의 동작을 감지하여 상기 사용자의 동작에 대한 영상 데이터를 획득하는 영상 획득부;상기 영상 획득부에 의해 획득된 영상 데이터를 처리하여 사용자의 손가락 동작에 대한 정보를 획득하는 동작 획득부;손가락 자세의 입력에 대하여 악기의 음향정보를 출력으로 갖는 신경망(neural network)에 대한 학습을 수행함으로써 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하여 저장하는 음향정보 시뮬레이션부; 및상기 동작 획득부에 의해 획득된 사용자의 손가락 동작에 대한 정보 및 상기 음향정보 시뮬레이션부에 의해 학습이 수행된 상기 신경망을 이용하여, 가상으로 악기를 연주하는 사용자의 손가락 동작에 대한 악기의 음향정보를 생성하는 음향정보 구성부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치
|
| 2 |
2
청구항 1에 있어서,상기 영상 획득부는,사용자의 손의 위치에 대한 깊이(depth) 영상 데이터를 획득하는 깊이 영상 획득부; 및사용자의 손가락의 동작에 대한 줌(zoom) 영상 데이터를 획득하는 줌 영상 획득부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치
|
| 3 |
3
청구항 2에 있어서,상기 동작 획득부는,상기 깊이 영상 획득부에 의해 획득된 깊이 영상 데이터로부터 사용자의 손의 위치를 검출하는 손 위치 검출부; 및상기 줌 영상 획득부에 의해 획득된 줌 영상 데이터로부터 사용자의 손가락의 동작을 검출하는 손가락 동작 검출부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치
|
| 4 |
4
청구항 3에 있어서,상기 동작 획득부는,상기 손가락 동작 검출부가 사용자의 손가락의 동작을 검출하도록 하기 위해, 상기 손 위치 검출부에 의해 검출된 사용자의 손의 위치에 따라 상기 줌 영상 획득부를 이동시켜 줌 영상을 획득하도록 제어하는 줌 영상 획득 제어부를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치
|
| 5 |
5
청구항 1에 있어서,상기 동작 획득부는,상기 사용자의 손가락 동작에 대한 정보에 대해 교정(calibration)을 수행하는 손가락 동작 보정부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치
|
| 6 |
6
청구항 1에 있어서,상기 음향정보 시뮬레이션부는,손가락 자세에 대한 데이터를 입력받는 손가락 자세 입력부;상기 손가락 자세에 대한 데이터로부터 추출된 손가락 자세 별로 악기의 음향정보를 분류하여 저장하는 음향정보 데이터베이스부; 및손가락 자세에 대한 데이터를 입력받아 그에 대한 악기의 음향정보를 출력하는 신경망에 대하여, 상기 손가락 자세 입력부로 입력된 손가락 자세에 대한 데이터를 입력으로 하는 학습을 수행하여 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하고, 시뮬레이션에 따른 매핑 결과를 상기 음향정보 데이터베이스부에 저장하는 손가락 자세 학습부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치
|
| 7 |
7
청구항 6에 있어서,상기 음향정보 구성부는,상기 동작 획득부에 의해 획득된 사용자의 손가락 동작에 대한 정보를 입력받는 손가락 동작 입력부; 및상기 손가락 자세 학습부에 의해 학습이 수행된 상기 신경망을 이용하여 상기 사용자의 손가락 동작에 대한 정보로부터 추출된 손가락 자세에 따른 악기의 음향정보를 생성하는 음향정보 생성부를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치
|
| 8 |
8
청구항 1에 있어서,상기 음향정보 구성부에 의해 생성된 사용자의 손가락 동작에 대한 음향정보를 출력하는 음향정보 출력부를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치
|
| 9 |
9
청구항 1에 있어서,상기 영상 획득부가 복수의 사용자의 동작에 대한 영상 데이터를 획득하는 경우, 상기 복수의 사용자의 동작에 대한 깊이 맵(depth map)을 생성하여 각 사용자의 동작 별로 깊이 정보를 분류하는 다중 동작 관리부를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 장치
|
| 10 |
10
영상 획득부에 의해 가상으로 악기를 연주하는 사용자의 동작을 감지하여 사용자의 동작에 대한 영상 데이터를 획득하는 단계;동작 획득부에 의해 획득된 영상 데이터를 처리하여 사용자의 손가락 동작에 대한 정보를 획득하는 단계;음향정보 시뮬레이션부에 의해 손가락 자세의 입력에 대하여 악기의 음향정보를 출력으로 갖는 신경망에 대한 학습을 수행함으로써 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하여 저장하는 단계; 및상기 사용자의 손가락 동작에 대한 정보 및 학습이 수행된 상기 신경망을 이용하여, 음향정보 구성부에 의해 가상으로 악기를 연주하는 사용자의 손가락 동작에 대한 악기의 음향정보를 생성하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법
|
| 11 |
11
청구항 10에 있어서,상기 사용자의 동작에 대한 영상 데이터를 획득하는 단계는,사용자의 손의 위치에 대한 깊이 영상 데이터를 획득하는 단계; 및사용자의 손가락의 동작에 대한 줌 영상 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법
|
| 12 |
12
청구항 11에 있어서,상기 사용자의 손가락 동작에 대한 정보를 획득하는 단계는,상기 깊이 영상 데이터로부터 사용자의 손의 위치를 검출하는 단계; 및상기 줌 영상 데이터로부터 사용자의 손가락의 동작을 검출하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법
|
| 13 |
13
청구항 12에 있어서,상기 사용자의 손가락 동작에 대한 정보를 획득하는 단계는,사용자의 손가락의 동작을 검출하기 위해, 검출된 사용자의 손의 위치에 따라 사용자의 손가락 동작에 대한 줌 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법
|
| 14 |
14
청구항 10에 있어서,상기 사용자의 손가락 동작에 대한 정보를 획득하는 단계는,상기 사용자의 손가락 동작에 대한 정보에 대해 교정을 수행하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법
|
| 15 |
15
청구항 10에 있어서,상기 손가락 자세에 따른 음향정보를 시뮬레이션하여 저장하는 단계는,손가락 자세에 대한 데이터를 입력받는 단계;상기 손가락 자세에 대한 데이터로부터 추출된 손가락 자세 별로 악기의 음향정보를 분류하여 저장하는 단계; 및손가락 자세에 대한 데이터를 입력받아 그에 대한 악기의 음향정보를 출력하는 신경망에 대하여, 상기 손가락 자세 입력부로 입력된 손가락 자세에 대한 데이터를 입력으로 하는 학습을 수행하여 손가락 자세에 따른 악기의 음향정보를 시뮬레이션하고, 시뮬레이션에 따른 매핑 결과를 저장하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법
|
| 16 |
16
청구항 15에 있어서,상기 사용자의 손가락 동작에 대한 음향정보를 생성하는 단계는,상기 사용자의 손가락 동작에 대한 정보를 입력받는 단계; 및학습이 수행된 상기 신경망을 이용하여 상기 사용자의 손가락 동작에 대한 정보로부터 추출된 손가락 자세에 따른 악기의 음향정보를 생성하는 단계를 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법
|
| 17 |
17
청구항 10에 있어서,음향정보 출력부에 의해 사용자의 손가락 동작에 대한 음향정보를 출력하는 단계를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법
|
| 18 |
18
청구항 10에 있어서,상기 영상 획득부가 복수의 사용자의 동작에 대한 영상 데이터를 획득하는 경우, 다중 동작 관리부에 의해 상기 복수의 사용자의 동작에 대한 깊이 맵을 생성하여 각 사용자의 동작 별로 깊이 정보를 분류하는 단계를 더 포함하는 것을 특징으로 하는 손가락 동작을 기반으로 하는 가상 악기 연주 방법
|
