| 1 |
1
사용자의 동작이 촬영된 영상 파일을 입력받는 입력 모듈;가상의 캐릭터를 구현하는 3D 엔진 모듈; 상기 영상 파일에서 사용자의 조인트 정보를 라벨링하여 딥러닝 학습으로 사용자의 자세를 추정하는 학습 모듈; 및상기 학습 모듈을 통해 추정된 결과를 이용하여 스켈레톤 모델을 생성하고, 상기 스켈레톤 모델의 모션을 상기 3D 엔진 모듈을 통해 구성한 가상의 캐릭터에 적용시키는 캐릭터 모듈;을 포함하고,상기 학습 모듈은,입력값(x)이 다층의 가중치(w) 레이어를 거쳐서 출력된 F(x)에 입력값(x)이 출력으로 바로 연결된 잔여 블록(Residual Block)으로 심층 신경망이 구성되어, [F(x)+x]의 출력값이 최소화되도록 학습하는 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 2 |
2
제 1 항에 있어서,상기 입력 모듈은,사용자의 영상을 실시간으로 촬영하는 영상 촬영 기기와 연동되고,상기 영상 촬영 기기로부터 사용자의 실시간 모션이 입력되면, 상기 학습 모듈로 학습된 사용자의 조인트 위치와 자세 추정으로 상기 캐릭터 모듈이 사용자의 실시간 모션을 트랙킹하여 출력하는 출력 모듈을 더 포함하는 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 3 |
3
제 1 항에 있어서,상기 3D 엔진 모듈은,유니티(Unity) 3D 엔진인 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 4 |
4
제 1 항에 있어서,상기 학습 모듈은,상기 영상 파일인 입력 데이터를 머리, 상체 및 하체로 구분된 3개의 채널로 분할하여 학습을 수행하며, 하기의 [표 1]과 같이 24개의 조인트 정보를 라벨링하는 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 5 |
5
제 1 항에 있어서,상기 학습 모듈은,상기 영상 파일인 입력 데이터를 심층 신경망에 통과시킨 후 관절에 따라 (x, y) 좌표 별로 2개씩 k개의 관절에 대한 예측 값을 추정하여 총 2k 차원의 벡터로 학습하는 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 6 |
6
제 1 항에 있어서,상기 학습 모듈은,정답 클래스인 그라운드 트루스 포즈 벡터(ground truth pose vector)를 사용자의 신체에 대한 바운딩 박스의 위치, 넓이, 높이의 변수로 정규화하는 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 7 |
7
제 6 항에 있어서,상기 학습 모듈은,상기 그라운드 트루스 포즈 벡터(ground truth pose vector)를 하기의 [수학식 1]에 기반하여 정규화한 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 8 |
8
제 1 항에 있어서,상기 학습 모듈은,GPU와 CPU 모두에 대해 추론을 지원하는 경량형 크로스 플랫폼 뉴럴 넷 추론 라이브러리가 사용된 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 9 |
9
제 8 항에 있어서, 상기 학습 모듈은,경량형 크로스 플랫폼 뉴럴 넷 추론 라이브러리로 바라쿠다(Barracuda)를 사용하며, 상기 바라쿠다(Barracuda)와 호환하여 외부 프레임워크에서 신경망 모델을 적용시키기 위해 학습 알고리즘을 ONNX(Open Neural Network Exchange) 형식으로 변환하는 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 10 |
10
제 1 항에 있어서, 상기 캐릭터 모듈은,상기 학습 모듈을 통해 조인트 정보가 인식된 스켈레톤 모델 및 캐릭터의 모션을 부드럽게 처리하는 칼만 필터(Kalman filter)가 설정된 것을 특징으로 하는 딥러닝 기반 자세 추정 시스템
|
| 11 |
11
사용자의 동작을 실시간으로 촬영하는 영상 촬영 기기;상기 영상 촬영 기기와 연동되어 사용자의 동작이 촬영된 영상 파일을 입력받는 입력 모듈;가상의 캐릭터를 구현하는 3D 엔진 모듈; 상기 영상 파일에서 사용자의 조인트 정보를 라벨링하여 딥러닝 학습으로 사용자의 자세를 추정하되, 입력값(x)이 다층의 가중치(w) 레이어를 거쳐서 출력된 F(x)에 입력값(x)이 출력으로 바로 연결된 잔여 블록(Residual Block)으로 심층 신경망이 구성되어, [F(x)+x]의 출력값이 최소화되도록 학습하는 학습 모듈; 및상기 학습 모듈을 통해 추정된 결과를 이용하여 스켈레톤 모델을 생성하고, 상기 스켈레톤 모델의 모션을 상기 3D 엔진 모듈을 통해 구성한 가상의 캐릭터에 적용시키는 캐릭터 모듈;을 포함하고,상기 영상 촬영 기기로부터 사용자의 실시간 모션이 입력되면, 상기 학습 모듈로 학습된 사용자의 조인트 위치와 자세 추정으로 상기 캐릭터 모듈이 사용자의 실시간 모션을 트랙킹하여 출력되는 실시간 애니메이션을 위한 딥러닝 기반의 메타버스 시스템
|
