| 1 |
1
신경망 기반 모션 리타겟팅 장치로서, 프로세서; 및상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 미리 설정된 개수의 연속되는 프레임에서의 소스 캐릭터의 소스 모션 시퀀스, 상기 소스 캐릭터의 소스 뼈대(skeleton)에 관한 정보 및 리타겟팅 대상이 되는 타겟 캐릭터의 타겟 뼈대에 관한 정보를 입력 받고-상기 소스 모션 시퀀스는, 상기 소스 뼈대의 관절 회전 정보 및 상기 소스 뼈대의 루트 관절 회전 정보를 포함함-, 정기구학(forward kinematics, FK) 계산을 통해 상기 소스 뼈대에 관한 정보 및 상기 소스 뼈대의 관절 회전 정보을 이용하여 상기 소스 뼈대의 관절 로컬 좌표를 획득하고, 상기 소스 뼈대의 관절 회전 정보, 루트 관절 회전 정보, 관절 로컬 좌표 및 상기 타겟 뼈대에 관한 정보를 합성곱 신경망 모델에 입력하여 상기 타겟 캐릭터의 타겟 모션 시퀀스를 출력하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되, 상기 합성곱 신경망 모델은 TDCN(Temporal dilated convolutional network)이고, 상기 TDCN은 패치 기반 GAN(Generative Adversarial Network)으로 사이클 일관성이 훈련되고, 상기 훈련의 목적함수는 사이클 일관성 손실, 관절 비틀림 손실, 높이(height) 손실, 적대적 손실, 정규화 손실 및 방향 손실 중 적어도 하나를 포함하는 신경망 기반 모션 리타겟팅 장치
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서, 상기 TDCN은 상기 연속되는 프레임에서 상기 타겟 뼈대의 관절 회전 정보 및 상기 타겟 뼈대의 루트 관절 회전 정보를 출력하며, 상기 프로그램 명령어들은, 정기구학(forward kinematics, FK) 계산을 통해 상기 타겟 뼈대 정보에 관한 정보 및 상기 타겟 뼈대의 관절 회전 정보를 이용하여 상기 타겟 뼈대의 관절 로컬 좌표를 획득하고, 상기 타겟 뼈대의 관절 로컬 좌표 및 상기 타겟 뼈대의 루트 관절 회전 정보를 이용하여 상기 타겟 모션 시퀀스를 생성하는 신경망 기반 모션 리타겟팅 장치
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
제1항에 있어서, 상기 높이 손실은, 상기 소스 캐릭터와 상기 타겟 캐릭터의 높이 차이에 의한 손실을 반영하며, 상기 높이 손실은, 서로 인접한 프레임 사이에서 정의되는 상기 소스 캐릭터의 로컬 모션의 차이(제1 차이)와 상기 타겟 캐릭터의 관절 로컬 좌표 차이(제2 차이) 각각을 상기 소스 캐릭터의 높이와 상기 타겟 캐릭터의 높이를 이용하여 정규화하여 계산된 값을 이용하여 결정되는 신경망 기반 모션 리타겟팅 장치
|
| 7 |
7
프로세서 및 메모리를 포함하는 장치에서 신경망 기반으로 모션 리타겟팅하는 방법으로서, 미리 설정된 개수의 연속되는 프레임에서의 소스 캐릭터의 소스 모션 시퀀스, 상기 소스 캐릭터의 소스 뼈대(skeleton)에 관한 정보 및 리타겟팅 대상이 되는 타겟 캐릭터의 타겟 뼈대에 관한 정보를 입력 받는 단계-상기 소스 모션 시퀀스는, 상기 소스 뼈대의 관절 회전 정보 및 상기 소스 뼈대의 루트 관절 회전 정보를 포함함-; 정기구학(forward kinematics, FK) 계산을 통해 상기 소스 뼈대에 관한 정보 및 상기 소스 뼈대의 관절 회전 정보을 이용하여 상기 소스 뼈대의 관절 로컬 좌표를 획득하는 단계; 및 상기 소스 뼈대의 관절 회전 정보, 루트 관절 회전 정보, 관절 로컬 좌표 및 상기 타겟 뼈대에 관한 정보를 합성곱 신경망 모델에 입력하여 상기 타겟 캐릭터의 타겟 모션 시퀀스를 출력하는 단계를 포함하되, 상기 합성곱 신경망 모델은 TDCN(Temporal dilated convolutional network)이고, 상기 TDCN은 패치 기반 GAN(Generative Adversarial Network)으로 사이클 일관성이 훈련되고, 상기 훈련의 목적함수는 사이클 일관성 손실, 관절 비틀림 손실, 높이(height) 손실, 적대적 손실, 정규화 손실 및 방향 손실 중 적어도 하나를 포함하는 신경망 기반 모션 리타겟팅 방법
|
