| 1 |
1
동작 인식을 수행하고 인식 결과를 전송하는 동작 인식 플랫폼; 및상기 인식 결과를 이용하여 클라이언트의 인식 동작과 매칭되는 가상 아바타 애니메이션 렌더링 결과를 생성하고, 이를 클라이언트 시스템에 전송하는 메타버스 플랫폼을 포함하고, 상기 동작 인식 플랫폼은 위치 및 순서 정보를 고려하여 차원 인코딩을 수행하는 어텐션 기반 학습 모델을 이용하여 상기 동작 인식을 수행하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 2 |
2
제1항에 있어서, 상기 동작 인식 플랫폼은, 동작 인식을 수행하는 클라이언트 플랫폼 및 동작 학습을 수행하는 서버 플랫폼을 포함하며, 상기 서버 플랫폼은 동작 추론 엔진 및 수집된 동작 Ground Truth 데이터를 이용한 사전 학습 모델을 이용하여, 상기 클라이언트 플랫폼으로부터 수신된 포즈 데이터의 동작을 추론하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 3 |
3
제2항에 있어서, 상기 서버 플랫폼은 복수의 상기 클라이언트 플랫폼과 독립적으로 네트워크 연결되는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 4 |
4
제1항에 있어서, 상기 동작 인식 플랫폼은, 학습 수행 전 순차적인 스켈레톤 텐서에 대해, 위치 인코딩 처리를 통해 동작 인식 데이터의 시퀀스 요소들을 부여하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 5 |
5
제1항에 있어서, 상기 동작 인식 플랫폼은, 공간 셀프-어텐션 네트워크 모듈, 채널 셀프-어텐션 네트워크 모듈 및 시간 셀프-어텐션 네트워크 모듈을 포함하여 관절의 공간적 위치 및 순서 정보, 동작의 차원적 위치 및 순서 정보, 프레임의 시간적 위치 및 순서 정보를 인코딩하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 6 |
6
제5항에 있어서, 상기 공간 셀프-어텐션 네트워크 모듈, 채널 셀프-어텐션 네트워크 모듈 및 시간 셀프-어텐션 네트워크 모듈은 각각 멀티 헤드 셀프 어텐션 블록 및 레지듀얼 블록의 병렬 합 또는 직렬 순차적 구조로 구성된 네트워크 학습을 수행하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 7 |
7
제5항에 있어서, 상기 공간 셀프-어텐션 네트워크 모듈은 3D 좌표상 포즈 관절 데이터간 위치 상관관계 학습을 수행하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 8 |
8
제5항에 있어서, 상기 채널 셀프-어텐션 네트워크 모듈은 각 차원간 동작 클래스 별 의미 상관성에 대한 학습을 수행하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 9 |
9
제5항에 있어서, 상기 채널 셀프-어텐션 네트워크 모듈은 컨볼루션 및 임베딩 변환 후 셀프-어텐션 학습 및 인식을 수행하는 확장형 채널 셀프-어텐션 네트워크 모듈인 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 10 |
10
제5항에 있어서, 상기 시간 셀프-어텐션 네트워크 모듈은 각 프레임간 상관관계에 대한 학습을 수행하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 11 |
11
제5항에 있어서, 상기 어텐션 기반 학습 모델은 공간 셀프-어텐션 네트워크 모듈과 채널 셀프-어텐션 네트워크 모듈이 병렬 연결되고, 이들과 직렬 연결되는 시간 셀프-어텐션 네트워크 모듈을 포함하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 12 |
12
제5항에 있어서, 상기 어텐션 기반 학습 모델은 공간 셀프-어텐션 네트워크 모듈과 확장형 채널 셀프-어텐션 네트워크 모듈이 병렬 연결되고, 이들과 직렬 연결되는 시간 셀프-어텐션 네트워크 모듈을 포함하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 13 |
13
제5항에 있어서, 상기 어텐션 기반 학습 모델은 공간 셀프-어텐션 네트워크 모듈, 채널 셀프-어텐션 네트워크 모듈, 시간 셀프-어텐션 네트워크 모듈이 직렬 연결되는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 14 |
14
제5항에 있어서, 상기 어텐션 기반 학습 모델은 공간 셀프-어텐션 네트워크 모듈, 확장형 채널 셀프-어텐션 네트워크 모듈, 시간 셀프-어텐션 네트워크 모듈이 직렬 연결되는 것인 메타버스 인터랙션 서비스 위한 동작 인식 시스템
|
| 15 |
15
(a) 데이터의 위치 및 순서 정보를 고려한 어텐션 기반 학습 모델을 이용하여 동작 인식을 수행하고, 동작 인식 결과를 전송하는 단계; 및(b) 상기 동작 인식 결과를 이용하여 클라이언트의 인식 동작과 매칭되는 가상 아바타의 동작을 표현하는 단계를 포함하는 메타버스 인터랙션 서비스 위한 동작 인식 방법
|
| 16 |
16
제15항에 있어서, 상기 (a) 단계는 학습 수행 전 순차적인 스켈레톤 텐서에 대해 위치 인코딩 처리를 수행하여 시퀀스 요소를 부여하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 방법
|
| 17 |
17
제15항에 있어서, 상기 (a) 단계는 관절의 공간적 위치 및 순서 정보를 인코딩하는 공간 셀프-어텐션 네트워크 모듈, 동작의 차원적 위치 및 순서 정보를 인코딩하는 채널 셀프-어텐션 네트워크 모듈 및 프레임의 시간적 위치 및 순서 정보를 인코딩하는 시간 셀프-어텐션 네트워크 모듈을 포함하는 상기 어텐션 기반 학습 모델을 이용하여 동작 인식을 수행하는 것인 메타버스 인터랙션 서비스 위한 동작 인식 방법
|
