| 1 |
1
메타 학습을 통한 삼차원 사람 메쉬 복원 장치로서, 프로세서; 및상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 내부 루프의 파라메트릭 모델 기반 제1 신경망에 실제 사람 이미지를 입력하여 상기 실제 사람 이미지에 포함된 사람의 삼차원 메쉬를 추정하고, 상기 삼차원 메쉬에 관절 회귀 모델을 적용하여 상기 삼차원 메쉬에 상응하는 삼차원 키포인트를 추정하고, 카메라 파라미터를 통해 상기 삼차원 키포인트를 이차원 공간으로 투영하여 이차원 키포인트를 추정하고, 상기 추정된 이차원 키포인트와 이차원 참값에 기초한 손실 함수를 통해 상기 제1 신경망의 네트워크 파라미터를 업데이트하고, 상기 제1 신경망의 제1 초기 네트워크 파라미터가 복사된 외부 루프의 삼차원 파라메트릭 모델 기반 제2 신경망의 제1 초기 네트워크 파라미터를 소정 횟수의 네트워크 파라미터 업데이트가 수행된 제1 신경망에서 출력하는 삼차원 메쉬를 이용하여 제2 초기 네트워크 파라미터로 업데이트하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 삼차원 사람 메쉬 복원 장치
|
| 2 |
2
제1항에 있어서, 상기 제1 신경망은 상기 실제 사람 이미지를 입력으로 하여 결정된 포즈 파라미터 및 형상 파라미터를 이용하여 상기 삼차원 메쉬를 추정하는 삼차원 사람 메쉬 복원 장치
|
| 3 |
3
제1항에 있어서, 상기 프로그램 명령어들은, 상기 제1 신경망에서 출력하는 삼차원 메쉬에 관절 회귀 모델을 적용하여 제2 삼차원 키포인트를 추정하고, 카메라 파라미터를 통해 상기 제2 삼차원 키포인트를 이차원 공간으로 투영하여 제2 이차원 키포인트를 추정하고, 상기 제2 이차원 키포인트와 이차원 참값에 기초한 손실 함수를 통해 상기 제2 신경망의 제1 초기 네트워크 파라미터를 상기 제2 초기 네트워크 파라미터로 업데이트하는 삼차원 사람 메쉬 복원 장치
|
| 4 |
4
제1항에 있어서, 상기 프로그램 명령어들은, 경사 하강법을 이용하여 상기 제1 신경망의 학습 및 상기 제2 초기 네트워크 파라미터로 업데이트를 수행하는 삼차원 사람 메쉬 복원 장치
|
| 5 |
5
제1항에 있어서, 상기 프로그램 명령어들은, 상기 제2 초기 네트워크 파라미터로 업데이트 과정은 매 배치(batch)에 대해 반복 수행하는 삼차원 사람 메쉬 복원 장치
|
| 6 |
6
제1항에 있어서, 상기 프로그램 명령어들은, 모든 배치에 대해 상기 제2 초기 네트워크 파라미터로의 업데이트가 완료된 이후, 테스트 시간에 업데이트가 완료된 제2 초기 네트워크 파라미터를 테스트 신경망에 적용하여 실제 사람 이미지로부터 삼차원 사람 메쉬를 복원하는 삼차원 사람 메쉬 복원 장치
|
| 7 |
7
프로세서 및 메모리를 포함하는 장치에서 메타 학습을 통해 삼차원 사람 메쉬를 복원하는 방법으로서, 내부 루프의 파라메트릭 모델 기반 제1 신경망에 실제 사람 이미지를 입력하여 상기 실제 사람 이미지에 포함된 사람의 삼차원 메쉬를 추정하는 단계; 상기 삼차원 메쉬에 관절 회귀 모델을 적용하여 상기 삼차원 메쉬에 상응하는 삼차원 키포인트를 추정하는 단계;카메라 파라미터를 통해 상기 삼차원 키포인트를 이차원 공간으로 투영하여 이차원 키포인트를 추정하는 단계;상기 추정된 이차원 키포인트와 이차원 참값에 기초한 손실 함수를 통해 상기 제1 신경망의 네트워크 파라미터를 업데이트 하는 단계; 및상기 제1 신경망의 제1 초기 네트워크 파라미터가 복사된 외부 루프의 삼차원 파라메트릭 모델 기반 제2 신경망의 제1 초기 네트워크 파라미터를 소정 횟수의 네트워크 파라미터 업데이트가 수행된 제1 신경망에서 출력하는 삼차원 메쉬를 이용하여 제2 초기 네트워크 파라미터로 업데이트 하는 단계를 포함하는 삼차원 사람 메쉬 복원 방법
|
