| 1 |
1
지휘자의 영상정보를 포함한 지휘정보를 획득하는 단계;상기 획득된 지휘정보로부터 지휘자의 손을 검출하는 단계;상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계; 및상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 협연 지원방법
|
| 2 |
2
제 1 항에 있어서, 상기 지휘자의 영상정보를 포함한 지휘정보를 획득하는 단계는,RGB-D 카메라를 통해 지휘자를 촬영하여 지휘자 영상에 대한 컬러정보와 깊이정보를 획득하는 것을 특징으로 하는 협연 지원방법
|
| 3 |
3
제 1 항에 있어서, 상기 지휘자의 손을 검출하는 단계는,지휘자의 영상정보로부터 얼굴을 인식하고, 인식된 얼굴의 3차원 위치정보를 기초로 하여 얼굴과 손과의 3차원 위치에 관한 사전정보를 이용해 휴리스틱하게 지휘자의 손을 검출하는 것을 특징으로 하는 협연 지원방법
|
| 4 |
4
제 3 항에 있어서, 상기 지휘자의 손을 검출하는 단계는,지휘자의 영상정보로부터 인식된 얼굴로부터의 거리가 전방으로 제1 임계값 이상이고 지휘자가 손을 최대한으로 뻗었을 때 손과 얼굴 간의 z축 거리가 제2 임계값 이하에 해당하는 영역 내에 위치하는 객체를 손 후보군으로 선정하는 단계;손 후보군을 대상으로 데이터들을 연결시키는 단계; 및손 후보군 내 가장 큰 2개의 연결 성분을 지휘자의 손으로 인식하는 단계;를 포함하는 것을 특징으로 하는 협연 지원방법
|
| 5 |
5
제 4 항에 있어서, 상기 손 후보군으로 선정하는 단계는,지휘자를 촬영하는 카메라로부터 가장 가까운 손의 깊이정보로부터 미리 설정된 임계값 이하를 갖는 영역을 손 후보군으로 선정하는 것을 특징으로 하는 협연 지원방법
|
| 6 |
6
제 1 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,상기 검출된 손 움직임으로부터 악곡의 박자, 빠르기, 셈여림 및 파트 진입 지시 중 적어도 하나를 인식하는 것을 특징으로 하는 협연 지원방법
|
| 7 |
7
제 6 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,지휘자 손의 이동속도 값을 계산하여 악곡의 빠르기를 인식하는 단계; 및지휘자 손이 아래 방향으로 움직이는 경우를 (-)로, 위 방향으로 움직이는 경우를 (+)로 설정하고, (-) 방향에서 (+) 방향으로 바뀌는 순간부터 다음 (-) 방향에서 (+) 방향으로 바뀌는 순간 사이를 한 박자로 인식하여 악곡의 박자를 인식하는 단계;를 포함하는 것을 특징으로 하는 협연 지원방법
|
| 8 |
8
제 6 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,지휘자의 셈여림 지시 인식을 위하여 지휘자 손 움직임의 진폭 값을 계산하고, 진폭 값이 미리 설정된 임계값 이상일 경우 셈으로 인식하고, 미리 설정된 임계값 이하일 경우 여림으로 인식하는 것을 특징으로 하는 협연 지원방법
|
| 9 |
9
제 6 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,지휘자의 왼손 움직임을 분석하여, 왼손이 소정의 기간 동안 미리 설정된 임계값 이상의 속도와 일정 가속도를 가지고 상승 또는 하강시 지휘자가 크레센도 또는 디크레센도를 지시하고 있음을 인식하는 것을 특징으로 하는 협연 지원방법
|
| 10 |
10
제 6 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,지휘자의 시선 방향을 기준으로 손이 가리키는 방향을 추적하는 단계; 및상기 손 방향 추적 결과와, 미리 저장된 오케스트라 파트 별 3차원 배치정보를 이용하여 지휘자의 파트 진입 지시를 인식하는 단계;를 포함하는 것을 특징으로 하는 협연 지원방법
|
| 11 |
11
제 10 항에 있어서, 상기 검출된 손 움직임으로부터 지휘자의 지휘동작을 인식하는 단계는,지휘자의 손이 소정의 파트를 미리 설정된 시간 이상동안 지시하는 경우 해당 파트를 지시하는 것으로 인식하는 것을 특징으로 하는 협연 지원방법
|
| 12 |
12
제 1 항에 있어서, 상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계는,지휘자 지휘동작 별로 매칭되는 음성 데이터들을 미리 저장하는 단계; 및상기 미리 저장된 음성 데이터들 중에서 상기 인식된 지휘자 지휘동작에 해당하는 음성 데이터를 검색하여 검색된 음성 데이터를 연주자가 소지한 음성정보 전달장치를 통해 연주자에게 제공하는 단계;를 포함하는 것을 특징으로 하는 협연 지원방법
|
| 13 |
13
제 1 항에 있어서, 상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계는,상기 인식된 지휘자 지휘동작을 시각정보 전달장치를 통해 연주자에게 제공하는 것을 특징으로 하는 협연 지원방법
|
| 14 |
14
제 13 항에 있어서, 상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 단계는,상기 인식된 지휘자 지휘동작에 대해, 인식된 손 부분을 밝게 표현하고, 그 이외 부분을 어둡게 표현하여 이진화된 영상을 인공망막을 이식한 연주자에게 제공하는 것을 특징으로 하는 협연 지원방법
|
| 15 |
15
지휘자의 영상정보를 포함한 지휘정보를 획득하는 지휘자 지휘정보 획득부;상기 획득된 지휘정보로부터 지휘자의 손을 검출하고, 검출된 지휘자 손 움직임으로부터 지휘자의 지휘동작을 인식하는 지휘자 지휘동작 인식부; 및상기 인식된 지휘자 지휘동작을 시청각 정보로 변환하여 연주자에게 제공하는 지휘정보 변환부;를 포함하는 것을 특징으로 하는 협연 지원장치
|
| 16 |
16
제 15 항에 있어서, 상기 지휘자 지휘정보 획득부는,RGB-D 카메라를 통해 지휘자를 촬영하여 지휘자 영상에 대한 컬러정보와 깊이정보를 획득하는 것을 특징으로 하는 협연 지원장치
|
| 17 |
17
제 15 항에 있어서, 상기 지휘자 지휘동작 인식부는,지휘자의 영상정보로부터 얼굴을 인식하고, 인식된 얼굴의 3차원 위치정보를 기초로 하여 얼굴과 손과의 3차원 위치에 관한 사전정보를 이용해 휴리스틱하게 지휘자의 손을 검출하는 것을 특징으로 하는 협연 지원장치
|
| 18 |
18
제 15 항에 있어서, 상기 지휘자 지휘동작 인식부는,상기 검출된 지휘자 손 움직임으로부터 악곡의 박자, 빠르기, 셈여림 및 파트 진입 지시 중 적어도 하나를 인식하는 것을 특징으로 하는 협연 지원장치
|
| 19 |
19
제 15 항에 있어서, 지휘자 지휘동작 별로 매칭되는 음성 데이터들을 저장하는 저장부; 를 더 포함하고,상기 지휘정보 변환부는 상기 저장부에 저장된 음성 데이터들 중에서 상기 지휘자 지휘동작 인식부를 통해 인식된 지휘자 지휘동작에 해당하는 음성 데이터를 검색하여 검색된 음성 데이터를 연주자가 소지한 음성정보 전달장치를 통해 연주자에게 제공하는 것을 특징으로 하는 협연 지원장치
|
| 20 |
20
제 15 항에 있어서, 상기 지휘정보 변환부는,상기 인식된 지휘자 지휘동작에 대해, 인식된 손 부분을 밝게 표현하고, 그 이외 부분을 어둡게 표현하여 이진화된 영상을 시각정보 전달장치를 통해 인공망막을 이식한 연주자에게 제공하는 것을 특징으로 하는 협연 지원장치
|
