| 1 |
1
공간 상에 분산되어 배치되는 제1 내지 제n 스피커들;상기 공간 상에 존재하는 사용자의 머리에 착용되고, 상기 사용자의 머리의 움직임에 따른 상기 사용자의 머리의 위치를 나타내는 머리 좌표들을 생성하는 VR(Virtual Reality) HMD(Head Mounted Display);상기 사용자의 손의 움직임을 감지하여 상기 사용자의 손의 위치를 나타내는 손 좌표들을 생성하는 모션 센서; 및상기 제1 내지 제n 스피커들 각각에 제1 내지 제n 음향 신호들을 제공하고, 상기 VR HMD에 영상 신호를 제공하는 제어 장치를 포함하고,상기 제어 장치는 상기 손 좌표들 각각의 좌표값에서 상기 머리 좌표들 각각의 좌표값을 차감하여 상기 VR HMD에 대한 상기 사용자의 손의 상대적인 위치를 나타내는 상대 좌표들을 생성하고, 상기 상대 좌표들에 기초하여 상기 사용자의 손의 움직임이 나타내는 제스처(gesture)를 인식하고, 상기 제스처에 기초하여 2차원 제스처 이미지를 생성하고, 상기 2차원 제스처 이미지에 기초하여 상기 제스처가 미리 정의된 복수의 표준 제스처들 중의 하나와 일치하는 것으로 판단되는 경우, 상기 일치하는 표준 제스처와 미리 연결된 입체 음향 효과에 기초하여 상기 제1 내지 제n 음향 신호들의 출력을 제어하는 인터랙티브 음향 제어 시스템
|
| 2 |
2
제1 항에 있어서, 상기 제어 장치는,상기 모션 센서로부터 수신되는 상기 손 좌표들 각각의 좌표값에서 상기 VR HMD로부터 수신되는 상기 머리 좌표들 각각의 좌표값을 차감하여 상기 상대 좌표들을 생성하고, 상기 상대 좌표들의 이동 속도에 기초하여 상기 제스처를 결정하고, 상기 상대 좌표들 중에서 상기 제스처를 나타내는 상대 좌표들을 제스처 좌표들로 결정하는 제스처 획득부;3차원 공간 상에서의 상기 제스처 좌표들의 궤적에 기초하여 상기 2차원 제스처 이미지를 생성하는 제스처-이미지 변환부;복수의 2차원 학습 이미지들을 통해 상기 복수의 2차원 학습 이미지들 각각을 상기 복수의 표준 제스처들 중의 하나로 분류하는 학습을 수행한 후, 상기 제스처-이미지 변환부로부터 제공되는 상기 2차원 제스처 이미지를 상기 복수의 표준 제스처들 중의 하나로 분류하는 딥러닝(Deep Learning)부;상기 복수의 표준 제스처들 각각과 복수의 입체 음향 효과들 각각을 서로 연결시켜 저장하는 표준 제스처 데이터베이스; 및상기 표준 제스처 데이터베이스로부터 상기 딥러닝부에 의해 분류된 표준 제스처와 연결되는 입체 음향 효과를 독출하고, 상기 독출된 입체 음향 효과에 기초하여 상기 제1 내지 제n 음향 신호들의 출력을 제어하는 음향 제어부를 포함하는 인터랙티브 음향 제어 시스템
|
| 3 |
3
제2 항에 있어서, 상기 제스처 획득부는,상기 상대 좌표들의 이동 속도가 문턱값보다 커지는 시점의 상대 좌표를 상기 제스처의 시작 좌표로 결정하고, 상기 상대 좌표들의 이동 속도가 상기 문턱값보다 작아지는 시점의 상대 좌표를 상기 제스처의 종료 좌표로 결정하고, 상기 상대 좌표들 중에서 상기 시작 좌표와 상기 종료 좌표 사이에 존재하는 상대 좌표들을 상기 제스처 좌표들로 결정하는 인터랙티브 음향 제어 시스템
|
| 4 |
4
제3 항에 있어서, 상기 문턱값은 상기 제스처 획득부 내부에 미리 저장되는 인터랙티브 음향 제어 시스템
|
| 5 |
5
제4 항에 있어서, 상기 제스처 획득부는 외부로부터 설정 데이터를 수신하고, 상기 설정 데이터에 기초하여 상기 문턱값의 크기를 가변하는 인터랙티브 음향 제어 시스템
|
| 6 |
6
제2 항에 있어서, 상기 제스처-이미지 변환부는,상기 제스처 좌표들의 좌표값들이 미리 정해진 최소값 및 최대값 사이의 값을 갖도록 상기 제스처 좌표들의 좌표값들을 정규화하여 정규 제스처 좌표들을 생성하는 정규화부; 및3차원 공간 상에서의 상기 정규 제스처 좌표들의 궤적에 기초하여 상기 2차원 제스처 이미지를 생성하는 2차원 이미지 생성부를 포함하는 인터랙티브 음향 제어 시스템
|
| 7 |
7
제6 항에 있어서, 상기 2차원 이미지 생성부는,상기 정규 제스처 좌표들이 X-Y 평면 상으로 투영된 궤적에 상응하는 적색 선을 포함하는 제1 이미지를 생성하는 제1 이미지 생성부;상기 정규 제스처 좌표들이 Y-Z 평면 상으로 투영된 궤적에 상응하는 녹색 선을 포함하는 제2 이미지를 생성하는 제2 이미지 생성부;상기 정규 제스처 좌표들이 Z-X 평면 상으로 투영된 궤적에 상응하는 청색 선을 포함하는 제3 이미지를 생성하는 제3 이미지 생성부; 및상기 제1 이미지, 상기 제2 이미지, 및 상기 제3 이미지를 중첩하여 상기 2차원 제스처 이미지를 생성하는 이미지 중첩부를 포함하는 인터랙티브 음향 제어 시스템
|
| 8 |
8
제6 항에 있어서, 상기 2차원 이미지 생성부는,상기 정규 제스처 좌표들에 대해 주성분 분석(Principal Component Analysis)을 수행하여 상기 정규 제스처 좌표들의 궤적을 가장 잘 나타내는 주 평면을 결정하는 주 평면 결정부; 및상기 정규 제스처 좌표들이 상기 주 평면 상으로 투영된 궤적에 상응하는 단일 컬러의 선을 포함하는 상기 2차원 제스처 이미지를 생성하는 주 이미지 생성부를 포함하는 인터랙티브 음향 제어 시스템
|
| 9 |
9
제6 항에 있어서, 상기 제스처-이미지 변환부는,상기 2차원 제스처 이미지에 대해 모폴로지(Morphology) 팽창(dilation) 연산 및 모폴로지 침식(erosion) 연산을 교번하여 수행하여 상기 2차원 제스처 이미지를 보정하는 모폴로지 필터를 더 포함하는 인터랙티브 음향 제어 시스템
|
| 10 |
10
제2 항에 있어서, 상기 딥러닝부는 CNN(Convolution Neural Network) 기반의 계층 구조를 갖는 인터랙티브 음향 제어 시스템
|
| 11 |
11
제2 항에 있어서, 상기 제어 장치는,복수의 사람들에 의해 수행되는 상기 복수의 표준 제스처들에 상응하는 손의 움직임에 기초하여 상기 제스처-이미지 변환부로부터 생성되는 복수의 2차원 제스처 이미지들을 상기 복수의 2차원 학습 이미지들로서 미리 저장하고, 상기 복수의 2차원 학습 이미지들을 상기 딥러닝부에 제공하여 상기 딥러닝부가 상기 복수의 2차원 학습 이미지들 각각을 상기 복수의 표준 제스처들 중의 하나로 분류하도록 상기 딥러닝부를 학습시키는 학습 제어부를 더 포함하는 인터랙티브 음향 제어 시스템
|
| 12 |
12
제2 항에 있어서, 상기 제어 장치는,상기 상대 좌표들을 따라 손 형상의 이미지가 이동하는 영상을 가상 현실 영상에 중첩하여 상기 영상 신호를 생성하고, 상기 영상 신호를 상기 VR HMD에 제공하는 영상 생성부를 더 포함하는 인터랙티브 음향 제어 시스템
|
| 13 |
13
공간 상에 분산되어 배치되는 제1 내지 제n 스피커들;상기 공간 상에 존재하는 사용자의 머리에 착용되고, 상기 사용자의 머리의 움직임에 따른 상기 사용자의 머리의 위치를 나타내는 머리 좌표들을 생성하는 VR(Virtual Reality) HMD(Head Mounted Display);상기 사용자의 손의 움직임을 감지하여 상기 사용자의 손의 위치를 나타내는 손 좌표들을 생성하는 모션 센서;상기 제1 내지 제n 스피커들 각각에 제1 내지 제n 음향 신호들을 제공하고, 상기 VR HMD에 영상 신호를 제공하는 제어 장치; 및상기 공간 상에 설치되고, 상기 제어 장치로부터 상기 VR HMD에 제공되는 상기 영상 신호와 동일한 영상 신호를 수신하여 상기 VR HMD에 표시되는 영상과 동일한 영상을 표시하는 디스플레이 장치를 포함하고,상기 제어 장치는 상기 머리 좌표들 및 상기 손 좌표들에 기초하여 상기 VR HMD에 대한 상기 사용자의 손의 상대적인 위치를 나타내는 상대 좌표들을 생성하고, 상기 상대 좌표들에 기초하여 상기 사용자의 손의 움직임이 나타내는 제스처(gesture)를 인식하고, 상기 제스처에 기초하여 2차원 제스처 이미지를 생성하고, 상기 2차원 제스처 이미지에 기초하여 상기 제스처가 미리 정의된 복수의 표준 제스처들 중의 하나와 일치하는 것으로 판단되는 경우, 상기 일치하는 표준 제스처와 미리 연결된 입체 음향 효과에 기초하여 상기 제1 내지 제n 음향 신호들의 출력을 제어하는 인터랙티브 음향 제어 시스템
|
| 14 |
14
사용자의 머리에 착용되는 VR(Virtual Reality) HMD(Head Mounted Display)로부터 상기 사용자의 머리의 움직임에 따른 상기 사용자의 머리의 위치를 나타내는 머리 좌표들을 수신하는 단계;모션 센서로부터 상기 사용자의 손의 위치를 나타내는 손 좌표들을 수신하는 단계;상기 손 좌표들 각각의 좌표값에서 상기 머리 좌표들 각각의 좌표값을 차감하여 상기 VR HMD에 대한 상기 사용자의 손의 상대적인 위치를 나타내는 상대 좌표들을 생성하는 단계;상기 상대 좌표들에 기초하여 상기 사용자의 손의 움직임이 나타내는 제스처(gesture)를 인식하는 단계;상기 제스처에 기초하여 2차원 제스처 이미지를 생성하는 단계; 및상기 2차원 제스처 이미지에 기초하여 상기 제스처가 미리 정의된 복수의 표준 제스처들 중의 하나와 일치하는 것으로 판단되는 경우, 상기 일치하는 표준 제스처와 미리 연결된 입체 음향 효과에 기초하여 상기 사용자가 존재하는 공간 상에 분산되어 배치되는 제1 내지 제n 스피커들 각각에 제공되는 제1 내지 제n 음향 신호들의 출력을 제어하는 단계를 포함하는 인터랙티브 음향 제어 방법
|
| 15 |
15
삭제
|
| 16 |
16
사용자의 머리에 착용되는 VR(Virtual Reality) HMD(Head Mounted Display)로부터 상기 사용자의 머리의 움직임에 따른 상기 사용자의 머리의 위치를 나타내는 머리 좌표들을 수신하는 단계;모션 센서로부터 상기 사용자의 손의 위치를 나타내는 손 좌표들을 수신하는 단계;상기 머리 좌표들 및 상기 손 좌표들에 기초하여 상기 VR HMD에 대한 상기 사용자의 손의 상대적인 위치를 나타내는 상대 좌표들을 생성하는 단계;상기 상대 좌표들에 기초하여 상기 사용자의 손의 움직임이 나타내는 제스처(gesture)를 인식하는 단계;상기 제스처에 기초하여 2차원 제스처 이미지를 생성하는 단계; 및상기 2차원 제스처 이미지에 기초하여 상기 제스처가 미리 정의된 복수의 표준 제스처들 중의 하나와 일치하는 것으로 판단되는 경우, 상기 일치하는 표준 제스처와 미리 연결된 입체 음향 효과에 기초하여 상기 사용자가 존재하는 공간 상에 분산되어 배치되는 제1 내지 제n 스피커들 각각에 제공되는 제1 내지 제n 음향 신호들의 출력을 제어하는 단계를 포함하고,상기 상대 좌표들에 기초하여 상기 사용자의 손의 움직임이 나타내는 상기 제스처를 인식하는 단계는,상기 상대 좌표들의 이동 속도에 기초하여 상기 제스처를 결정하는 단계를 포함하는 인터랙티브 음향 제어 방법
|
| 17 |
17
사용자의 머리에 착용되는 VR(Virtual Reality) HMD(Head Mounted Display)로부터 상기 사용자의 머리의 움직임에 따른 상기 사용자의 머리의 위치를 나타내는 머리 좌표들을 수신하는 단계;모션 센서로부터 상기 사용자의 손의 위치를 나타내는 손 좌표들을 수신하는 단계;상기 머리 좌표들 및 상기 손 좌표들에 기초하여 상기 VR HMD에 대한 상기 사용자의 손의 상대적인 위치를 나타내는 상대 좌표들을 생성하는 단계;상기 상대 좌표들에 기초하여 상기 사용자의 손의 움직임이 나타내는 제스처(gesture)를 인식하는 단계;상기 제스처에 기초하여 2차원 제스처 이미지를 생성하는 단계; 및상기 2차원 제스처 이미지에 기초하여 상기 제스처가 미리 정의된 복수의 표준 제스처들 중의 하나와 일치하는 것으로 판단되는 경우, 상기 일치하는 표준 제스처와 미리 연결된 입체 음향 효과에 기초하여 상기 사용자가 존재하는 공간 상에 분산되어 배치되는 제1 내지 제n 스피커들 각각에 제공되는 제1 내지 제n 음향 신호들의 출력을 제어하는 단계를 포함하고,상기 상대 좌표들에 기초하여 상기 사용자의 손의 움직임이 나타내는 상기 제스처를 인식하는 단계는,상기 상대 좌표들의 이동 속도가 문턱값보다 커지는 시점의 상대 좌표를 상기 제스처의 시작 좌표로 결정하는 단계;상기 상대 좌표들의 이동 속도가 상기 문턱값보다 작아지는 시점의 상대 좌표를 상기 제스처의 종료 좌표로 결정하는 단계; 및상기 상대 좌표들 중에서 상기 시작 좌표와 상기 종료 좌표 사이에 존재하는 상대 좌표들을 상기 제스처를 나타내는 제스처 좌표들로 결정하는 단계를 포함하는 인터랙티브 음향 제어 방법
|
| 18 |
18
제17 항에 있어서, 상기 제스처에 기초하여 상기 2차원 제스처 이미지를 생성하는 단계는,상기 제스처 좌표들의 좌표값들이 미리 정해진 최소값 및 최대값 사이의 값을 갖도록 상기 제스처 좌표들의 좌표값들을 정규화하여 정규 제스처 좌표들을 생성하는 단계; 및3차원 공간 상에서의 상기 정규 제스처 좌표들의 궤적에 기초하여 상기 2차원 제스처 이미지를 생성하는 단계를 포함하는 인터랙티브 음향 제어 방법
|
| 19 |
19
제18 항에 있어서, 3차원 공간 상에서의 상기 정규 제스처 좌표들의 궤적에 기초하여 상기 2차원 제스처 이미지를 생성하는 단계는,상기 정규 제스처 좌표들이 X-Y 평면 상으로 투영된 궤적에 상응하는 적색 선을 포함하는 제1 이미지를 생성하는 단계;상기 정규 제스처 좌표들이 Y-Z 평면 상으로 투영된 궤적에 상응하는 녹색 선을 포함하는 제2 이미지를 생성하는 단계;상기 정규 제스처 좌표들이 Z-X 평면 상으로 투영된 궤적에 상응하는 청색 선을 포함하는 제3 이미지를 생성하는 단계; 및상기 제1 이미지, 상기 제2 이미지, 및 상기 제3 이미지를 중첩하여 상기 2차원 제스처 이미지를 생성하는 단계를 포함하는 인터랙티브 음향 제어 방법
|
| 20 |
20
제18 항에 있어서, 3차원 공간 상에서의 상기 정규 제스처 좌표들의 궤적에 기초하여 상기 2차원 제스처 이미지를 생성하는 단계는,상기 정규 제스처 좌표들에 대해 주성분 분석(Principal Component Analysis)을 수행하여 상기 정규 제스처 좌표들의 궤적을 가장 잘 나타내는 주 평면을 결정하는 단계; 및상기 정규 제스처 좌표들이 상기 주 평면 상으로 투영된 궤적에 상응하는 단일 컬러의 선을 포함하는 상기 2차원 제스처 이미지를 생성하는 단계를 포함하는 인터랙티브 음향 제어 방법
|
| 21 |
21
제18 항에 있어서, 상기 제스처에 기초하여 상기 2차원 제스처 이미지를 생성하는 단계는,상기 2차원 제스처 이미지에 대해 모폴로지(Morphology) 팽창(dilation) 연산 및 모폴로지 침식(erosion) 연산을 교번하여 수행하여 상기 2차원 제스처 이미지를 보정하는 단계를 더 포함하는 인터랙티브 음향 제어 방법
|
| 22 |
22
사용자의 머리에 착용되는 VR(Virtual Reality) HMD(Head Mounted Display)로부터 상기 사용자의 머리의 움직임에 따른 상기 사용자의 머리의 위치를 나타내는 머리 좌표들을 수신하는 단계;모션 센서로부터 상기 사용자의 손의 위치를 나타내는 손 좌표들을 수신하는 단계;상기 머리 좌표들 및 상기 손 좌표들에 기초하여 상기 VR HMD에 대한 상기 사용자의 손의 상대적인 위치를 나타내는 상대 좌표들을 생성하는 단계;상기 상대 좌표들에 기초하여 상기 사용자의 손의 움직임이 나타내는 제스처(gesture)를 인식하는 단계;상기 제스처에 기초하여 2차원 제스처 이미지를 생성하는 단계; 및상기 2차원 제스처 이미지에 기초하여 상기 제스처가 미리 정의된 복수의 표준 제스처들 중의 하나와 일치하는 것으로 판단되는 경우, 상기 일치하는 표준 제스처와 미리 연결된 입체 음향 효과에 기초하여 상기 사용자가 존재하는 공간 상에 분산되어 배치되는 제1 내지 제n 스피커들 각각에 제공되는 제1 내지 제n 음향 신호들의 출력을 제어하는 단계를 포함하고,상기 2차원 제스처 이미지에 기초하여 상기 제스처가 미리 정의된 상기 복수의 표준 제스처들 중의 하나와 일치하는 것으로 판단되는 경우, 상기 일치하는 표준 제스처와 미리 연결된 입체 음향 효과에 기초하여 상기 사용자가 존재하는 공간 상에 분산되어 배치되는 상기 제1 내지 제n 스피커들 각각에 제공되는 상기 제1 내지 제n 음향 신호들의 출력을 제어하는 단계는,딥러닝(Deep Learning)부에 대해 복수의 2차원 학습 이미지들을 통해 상기 복수의 2차원 학습 이미지들 각각을 상기 복수의 표준 제스처들 중의 하나로 분류하는 학습을 수행하는 단계;상기 딥러닝부를 사용하여 상기 2차원 제스처 이미지를 상기 복수의 표준 제스처들 중의 하나로 분류하는 단계;상기 복수의 표준 제스처들 각각과 복수의 입체 음향 효과들 각각을 서로 연결시켜 저장하는 표준 제스처 데이터베이스로부터 상기 딥러닝부에 의해 분류된 표준 제스처와 연결되는 입체 음향 효과를 독출하는 단계; 및상기 독출된 입체 음향 효과에 기초하여 상기 제1 내지 제n 음향 신호들의 출력을 제어하는 단계를 포함하는 인터랙티브 음향 제어 방법
|
| 23 |
23
제22 항에 있어서, 상기 딥러닝부에 대해 상기 복수의 2차원 학습 이미지들을 통해 상기 복수의 2차원 학습 이미지들 각각을 상기 복수의 표준 제스처들 중의 하나로 분류하는 학습을 수행하는 단계는,복수의 사람들에 의해 수행되는 상기 복수의 표준 제스처들에 상응하는 손의 움직임에 기초하여 생성되는 복수의 2차원 제스처 이미지들을 상기 복수의 2차원 학습 이미지들로서 저장하는 단계; 및상기 복수의 2차원 학습 이미지들을 상기 딥러닝부에 제공하여 상기 딥러닝부가 상기 복수의 2차원 학습 이미지들 각각을 상기 복수의 표준 제스처들 중의 하나로 분류하도록 상기 딥러닝부를 학습시키는 단계를 포함하는 인터랙티브 음향 제어 방법
|
| 24 |
24
사용자의 머리에 착용되는 VR(Virtual Reality) HMD(Head Mounted Display)로부터 상기 사용자의 머리의 움직임에 따른 상기 사용자의 머리의 위치를 나타내는 머리 좌표들을 수신하는 단계;모션 센서로부터 상기 사용자의 손의 위치를 나타내는 손 좌표들을 수신하는 단계;상기 머리 좌표들 및 상기 손 좌표들에 기초하여 상기 VR HMD에 대한 상기 사용자의 손의 상대적인 위치를 나타내는 상대 좌표들을 생성하는 단계;상기 상대 좌표들에 기초하여 상기 사용자의 손의 움직임이 나타내는 제스처(gesture)를 인식하는 단계;상기 제스처에 기초하여 2차원 제스처 이미지를 생성하는 단계;상기 2차원 제스처 이미지에 기초하여 상기 제스처가 미리 정의된 복수의 표준 제스처들 중의 하나와 일치하는 것으로 판단되는 경우, 상기 일치하는 표준 제스처와 미리 연결된 입체 음향 효과에 기초하여 상기 사용자가 존재하는 공간 상에 분산되어 배치되는 제1 내지 제n 스피커들 각각에 제공되는 제1 내지 제n 음향 신호들의 출력을 제어하는 단계;상기 상대 좌표들을 따라 손 형상의 이미지가 이동하는 영상을 가상 현실 영상에 중첩하여 영상 신호를 생성하는 단계; 및상기 영상 신호를 상기 VR HMD 및 상기 사용자가 존재하는 공간 상에 설치되는 디스플레이 장치에 동시에 출력하여 상기 영상 신호에 따른 영상을 상기 VR HMD 및 상기 디스플레이 장치에 동시에 표시하는 단계를 포함하는 인터랙티브 음향 제어 방법
|
