1 |
1
안무자와 학습자의 안무를 평가하는 안무 평가 장치로서,깊이 영상(Depth Image) 데이터로부터 관절의 초기 위치 정보를 추적 및 검증하고, 상기 관절의 초기 위치 정보를 이용해 운동 모델(Kinemetic Model)을 생성하여 안무자 및 학습자의 안무 자세를 추정하는 자세 추정부; 및상기 자세 추정부로부터 산출된 관절의 위치를 바탕으로 안무 특성을 추출하여 안무자 및 학습자의 안무 동작을 비교 및 평가하는 안무 비교부를 포함하되,상기 안무 비교부는 안무자 및 학습자의 안무 특징을 추출하는 특징 추출부; 및안무자 및 학습자의 추출된 상기 안무 특징을 각각 비교하여 안무 정확도를 측정하는 특징 비교부를 포함하고,상기 특징 비교부는 하기 수학식 1을 만족하도록 안무자 및 학습자 간의 상기 안무 동작의 타이밍 정확도를 산출하는 제1 특징 비교부 및 하기 수학식 4를 만족하도록 안무자 및 학습자 간의 상기 안무 동작의 자세 정확도를 산출하는 제2 특징 비교부를 포함하여 하기 수학식 5에 따라 상기 안무 동작의 전체 정확도를 산출하되,[수학식 1][수학식 4][수학식 5]수학식 1에서의 St는 타이밍 정확도, Tt는 안무자의 DTW(Dynamic Time Warping) 데이터, Tl은 학습자의 DTW 데이터, α는 매개변수이고,수학식 4에서의 Sp는 자세 정확도, 은 안무자의 단위 영상에 대한 DTW 데이터, 는 학습자의 단위 영상에 대한 DTW 데이터, fl은 학습자의 프레임 특징 벡터, ft는 안무자의 프레임 특징 벡터, β는 매개변수이며
|
2 |
2
제1 항에 있어서,상기 자세 추정부는안무자 및 학습자의 신체 정보, 자세 정보 및 세부 정보 중 적어도 하나의 정보가 합성된 상기 깊이 영상 데이터를 생성하는 데이터 생성부; 및상기 깊이 영상 데이터로부터 신체 관절의 초기 위치 정보를 추출하고, 상기 신체 관절의 이동 예측 위치를 추정하는 데이터 학습부를 포함하는 안무 평가 장치
|
3 |
3
제2 항에 있어서,상기 데이터 학습부는랜덤 포레스트(Random Forest)를 이용하여 상기 깊이 영상 데이터로부터 신체 관절의 초기 위치 정보를 추출하는 제1 데이터 학습부; 및산등성이 데이터(Ridge Data)를 이용하여 상기 신체 관절의 이동 예측 위치를 추정하는 제2 데이터 학습부를 포함하는 안무 평가 장치
|
4 |
4
제3 항에 있어서,상기 신체 관절 간의 거리 정보 및 특정 관절 사이의 각도 정보를 포함하는 상기 운동 모델(Kinemetic Model)을 이용하여, 상기 제2 데이터 학습부의 상기 신체 관절의 이동 예측 위치를 검증하는 안무 평가 장치
|
5 |
5
삭제
|
6 |
6
제1 항에 있어서,상기 특징 추출부는상기 자세 추정부로부터 산출된 관절의 위치 데이터로부터 몸통 특징 벡터를 추출 및 분석하는 몸통 특징부; 및 상기 산출된 관절의 위치 데이터로부터 관절 특징 벡터를 추출 및 분석하는 관절 특징부를 포함하는 안무 평가 장치
|
7 |
7
제6 항에 있어서,상기 몸통 특징부는몸통의 중심 관절을 기준으로 상반부에 위치한 복수의 몸통 관절들의 3차원 공간에서의 이동 방향을 결정하여 몸통 벡터를 산출하는 몸통 특징 추출부; 및상기 산출된 몸통 벡터로부터 몸통의 움직임을 분석하는 몸통 특징 분석부를 포함하는 안무 평가 장치
|
8 |
8
제7 항에 있어서,상기 몸통 특징 추출부는제1 좌표를 기준으로, 좌우 어깨 관절들 및 상기 몸통 중심 관절의 위치들의 제1 몸통 특징 벡터를 산출하는 제1 몸통 특징 추출부; 및제2 좌표를 기준으로, 좌우 고관절들 및 몸통 중심 관절의 위치들의 제1 몸통 특징 벡터를 산출하는 제2 몸통 특징 추출부를 포함하되,상기 제1 좌표는 좌우 어깨 관절들을 잇는 직선을 x축으로 하고, 상기 x축에 수직이며 몸통 중심 관절을 잇는 직선을 y축으로 하며, 상기 x축 및 상기 y축을 직교하는 직선을 z축으로 하는 좌표이고,상기 제2 좌표는 좌우 고관절들을 잇는 직선을 x축으로 하고, 상기 x축에 수직이며, 몸통 중심 관절을 잇는 직선을 y축으로 하며, 상기 x축 및 상기 y축을 직교하는 직선을 z축으로 하는 좌표인 안무 평가 장치
|
9 |
9
삭제
|
10 |
10
안무자와 학습자의 안무를 평가하는 안무 평가 방법으로서,안무자 및 학습자의 깊이 영상 데이터로부터 관절의 초기 위치 정보를 추적 및 검증하고, 상기 관절의 초기 위치 정보를 이용해 운동 모델(Kinemetic Model)을 생성하여 안무자 및 학습자의 안무 자세를 각각 추정하는 단계;안무자 및 학습자의 안무 동작을 각각 추출하는 단계; 및안무자 및 학습자의 추출된 상기 안무 동작에 대한 안무 정확도를 산출하는 단계를 포함하되,상기 안무 정확도를 산출하는 단계는하기 수학식 1을 만족하도록 안무자 및 학습자 간의 상기 안무 동작의 타이밍 정확도를 산출하는 단계;하기 수학식 4를 만족하도록 안무자 및 학습자 간의 상기 안무 동작의 자세 정확도를 산출하는 단계; 및하기 수학식 5에 따라 상기 안무 동작의 전체 정확도를 산출하는 단계를 포함하고,[수학식 1][수학식 4][수학식 5]수학식 1에서의 St는 타이밍 정확도, Tt는 안무자의 DTW(Dynamic Time Warping) 데이터, Tl은 학습자의 DTW 데이터, α는 매개변수이며,수학식 4에서의 Sp는 자세 정확도, 은 안무자의 단위 영상에 대한 DTW 데이터, 는 학습자의 단위 영상에 대한 DTW 데이터, fl은 학습자의 프레임 특징 벡터, ft는 안무자의 프레임 특징 벡터, β는 매개변수이고
|
11 |
11
제10 항에 있어서,상기 자세를 각각 추정하는 단계는상기 운동 모델(kinematic model)을 이용하여, 상기 관절의 위치를 예측하는 단계; 및예측된 관절의 위치에 대한 타당성을 검증하는 단계를 더 포함하는 안무 평가 방법
|