| 1 |
1
학습 장치에서 영상을 이용하여 3차원 객체 모델을 생성하기 위한 학습 방법에서, 3차원 모델 DB에 저장되어 있는 카테고리별 복수의 모델을 이용하여 각 카테고리에 따른 인코더와 점유 네트워크의 파라미터를 학습하는 단계, 상기 각 카테고리의 인코더와 점유 네트워크의 파라미터를 이용하여 상기 각 카테고리 내에서 모델별 잠재 벡터를 학습하는 단계, 그리고 상기 각 카테고리에 따라 모델별 잠재 벡터를 잠재 벡터 DB에 저장하는 단계를 포함하는 학습 방법
|
| 2 |
2
제1항에서, 상기 인코더와 점유 네트워크의 파라미터를 학습하는 단계는 상기 인코더에서 어느 하나의 카테고리의 각 모델에 대한 2차원 영상으로부터 잠재 벡터를 생성하는 단계, 상기 점유 네트워크에서 상기 잠재 벡터와 각 점의 3차원 좌표로부터 상기 각 점에 대한 점유 여부와 RGB 색을 출력하는 단계, 상기 각 점에 대한 점유 여부와 RGB 색으로부터 생성되는 다수의 2차원 렌더링 영상과 해당 모델의 다중 뷰 렌더링 영상간 차이를 손실로 계산하는 단계, 그리고 상기 손실을 토대로 상기 인코더와 상기 점유 네트워크의 파라미터를 학습하는 단계를 포함하는 학습 방법
|
| 3 |
3
제2항에서,상기 차이는 두 영상간 각 픽셀의 RGB 색 차이 또는 깊이 값 차이를 포함하는 학습 방법
|
| 4 |
4
제1항에서, 상기 인코더와 점유 네트워크의 파라미터를 학습하는 단계는 상기 인코더에서 어느 하나의 카테고리의 각 모델에 대한 2차원 영상으로부터 잠재 벡터를 생성하는 단계, 상기 점유 네트워크에서 상기 잠재 벡터와 각 점의 3차원 좌표로부터 상기 각 점에 대한 점유 여부와 RGB 색을 출력하는 단계, 상기 각 점에 대한 점유 여부와 RGB 색으로부터 생성되는 3차원 메쉬 모델과 해당 모델의 3차원 메쉬 모델 자체의 3차원 차이를 손실로 계산하는 단계, 그리고 상기 손실을 토대로 상기 인코더와 상기 점유 네트워크의 파라미터를 학습하는 단계를 포함하는 학습 방법
|
| 5 |
5
제4항에서,상기 차이는 두 모델의 대응되는 3차원 점의 좌표 차이를 포함하는 학습 방법
|
| 6 |
6
제1항에서, 상기 각 카테고리 내에서 모델별 잠재 벡터를 학습하는 단계는 해당 카테고리에 해당되는 인코더와 점유 네트워크의 파라미터를 설정하는 단계, 상기 인코더에서 해당 카테고리의 각 모델의 2차원 영상으로부터 각 모델의 잠재 벡터를 생성하는 단계, 상기 점유 네트워크에서 상기 잠재 벡터와 각 점의 3차원 좌표로부터 상기 각 점에 대한 점유 여부와 RGB 색을 출력하는 단계, 상기 각 점에 대한 점유 여부와 RGB 색으로부터 생성되는 다수의 2차원 렌더링 영상과 해당 모델의 다중 뷰 렌더링 영상간 차이를 손실로 계산하는 단계, 그리고 상기 손실을 토대로 상기 인코더에서 생성된 각 모델의 잠재 벡터의 파라미터를 학습하는 단계를 포함하는 학습 방법
|
| 7 |
7
제1항에서, 상기 각 카테고리 내에서 모델별 잠재 벡터를 학습하는 단계는 해당 카테고리에 해당되는 인코더와 점유 네트워크의 파라미터를 설정하는 단계, 상기 인코더에서 해당 카테고리의 각 모델의 2차원 영상으로부터 각 모델의 잠재 벡터를 생성하는 단계, 상기 점유 네트워크에서 상기 잠재 벡터와 각 점의 3차원 좌표로부터 상기 각 점에 대한 점유 여부와 RGB 색을 출력하는 단계, 상기 각 점에 대한 점유 여부와 RGB 색으로부터 생성되는 3차원 메쉬 모델과 해당 모델의 3차원 메쉬 모델 자체의 3차원 차이를 손실로 계산하는 단계, 그리고 상기 손실을 토대로 상기 인코더에서 생성된 각 모델의 잠재 벡터의 파라미터를 학습하는 단계를 포함하는 학습 방법
|
| 8 |
8
3차원 모델 생성 장치에서 카메라를 통해 촬영된 영상으로부터 영상 내 객체에 대한 3차원 객체 모델을 생성하는 방법에서, 3차원 모델 DB에 저장되어 있는 카테고리별 복수의 모델을 이용하여 상기 카메라를 통해 촬영된 영상 내의 객체들에 각각 대응하는 모델을 인식하는 단계, 각 카테고리에 따라 모델별 잠재 벡터를 저장하고 있는 잠재 벡터 DB에서 상기 인식된 모델의 잠재 벡터를 획득하는 단계, 그리고 상기 잠재 벡터와 상기 인식된 모델의 카테고리에 해당되는 점유 네트워크의 파라미터를 사용하여, 상기 잠재 벡터의 파라미터를 변화시키는 단계를 포함하는 3차원 객체 모델 생성 방법
|
| 9 |
9
제8항에서, 상기 변화시키는 단계는 상기 점유 네트워크에서 상기 잠재 벡터와 각 점의 3차원 좌표로부터 상기 각 점에 대한 점유 여부와 RGB 색을 출력하는 단계, 상기 각 점에 대한 점유 여부와 RGB 색으로부터 생성되는 다수의 2차원 렌더링 영상과 상기 카메라를 통해 촬영한 영상의 실제 모델에 대한 다중 뷰의 2차원 영상간 차이를 손실로 계산하는 단계, 그리고 상기 손실을 토대로 상기 잠재 벡터의 파라미터를 학습하는 단계를 포함하는 3차원 객체 모델 생성 방법
|
| 10 |
10
제9항에서, 상기 손실은 두 영상간 각 픽셀의 RGB 색 차이 또는 깊이 값 차이를 포함하는 3차원 객체 모델 생성 방법
|
| 11 |
11
제8항에서,상기 변화시키는 단계는 각 카테고리에 따른 점유 네트워크의 파라미터가 저장되어 있는 네트워크 파라미터 DB에서 상기 인식된 모델의 카테고리에 해당되는 점유 네트워크의 파라미터를 호출하여 설정하는 단계를 포함하는 3차원 객체 모델 생성 방법
|
| 12 |
12
영상을 이용하여 3차원 객체 모델을 생성하기 위한 학습 장치에서, 카테고리별 복수의 모델을 저장하고 있는 3차원 모델 DB, 상기 카테고리별 각 모델에 대한 2차원 영상으로부터 상기 각 모델에 대한 잠재 벡터를 생성하는 인코더, 상기 각 모델에 대한 잠재 벡터와 각 점의 3차원 좌표로부터 상기 각 점에 대한 점유 여부와 RGB 색을 출력하는 점유 네트워크, 상기 점유 네트워크의 출력으로부터 생성되는 각 모델의 결과와 상기 해당 모델을 렌더링하여 생성되는 각 모델의 결과간 차이를 손실로 계산하고, 상기 손실을 토대로 상기 인코더 및 상기 점유 네트워크의 파라미터를 학습하는 손실 계산부, 그리고 상기 카테고리별 학습된 상기 인코더 및 상기 점유 네트워크의 파라미터를 저장하는 네트워크 파라미터 DB를 포함하는 학습 장치
|
| 13 |
13
제12항에서,상기 점유 네트워크의 출력으로부터 각 모델에 대한 다수의 2차원 영상을 생성하여 상기 손실 계산부로 전달하는 뉴럴 렌더러를 더 포함하며,상기 손실 계산부는 상기 각 모델의 다수의 2차원 영상과 해당 모델의 다중 뷰 렌더링 영상간 색 차이 또는 깊이 차이를 상기 손실로 계산하는 학습 장치
|
| 14 |
14
제12항에서, 상기 점유 네트워크의 출력으로부터 각 모델의 3차원 메쉬 모델을 생성하여 상기 손실 계산부로 전달하는 메쉬 모델 생성부를 더 포함하고, 상기 손실 계산부는 상기 각 모델의 3차원 메쉬 모델과 해당 모델의 3차원 메쉬 모델 자체의 3차원 점의 좌표 차이를 손실로 계산하는 학습 장치
|
| 15 |
15
제12항에서, 상기 손실 계산부는 상기 카테고리별 상기 점유 네트워크의 파라미터를 고정시킨 상태에서, 상기 각 카테고리 내의 모델별 상기 인코더로부터 출력되는 잠재 벡터의 파라미터를 학습하는 학습 장치
|
| 16 |
16
제15항에서,상기 점유 네트워크의 출력으로부터 각 모델에 대한 다수의 2차원 영상을 생성하여 상기 손실 계산부로 전달하는 뉴럴 렌더러를 더 포함하며,상기 손실 계산부는 상기 각 모델의 다수의 2차원 영상과 해당 모델의 다중 뷰 렌더링 영상간 색 차이 또는 깊이 차이를 손실로 계산하고, 상기 손실을 토대로 상기 각 모델에 대한 잠재 벡터의 파라미터를 학습하는 학습 장치
|
| 17 |
17
제15항에서, 상기 점유 네트워크의 출력으로부터 각 모델의 3차원 메쉬 모델을 생성하여 상기 손실 계산부로 전달하는 메쉬 모델 생성부를 더 포함하고, 상기 손실 계산부는 상기 각 모델의 3차원 메쉬 모델과 해당 모델의 3차원 메쉬 모델 자체의 3차원 점의 좌표 차이를 손실로 계산하고, 상기 손실을 토대로 상기 각 모델에 대한 잠재 벡터의 파라미터를 학습하는 학습 장치
|
| 18 |
18
제15항에서, 상기 각 카테고리 내의 모델별 학습된 잠재 벡터를 저장하는 잠재 벡터 DB를 더 포함하는 학습 장치
|
