| 1 |
1
(a)입력 RGB 이미지에 대한 특징점인 Feature Map을 추출하는 단계,(b)상기 추출된 Feature Map를 Latent Vector로 변환하는 단계,(c)상기 Latent Vector를 FCN의 입력 데이터로 사용하여 오프셋 값을 생성하는 단계,(d)상기 오프셋 값을 적용한 구체의 형태 변형 및 3D Mesh 재구축 단계,(e)재구축된 3D Mesh를 학습 데이터셋의 3D Mesh와 비교하여 두 데이터 간의 점유공간의 유사도, 상기 재구축된 3D Mesh의 면 연결정도, 3D Mesh를 샘플링하여 생성하는 3D 포인트 클라우드 간의 거리 오차를 산출하는 단계 및(f)상기 (e)단계의 각 항목별로 가중치를 적용하고 더한 값을 이용하여 상기 오차를 줄이도록 학습하는 단계를 포함하며,상기 (d)단계에서 단일 RGB 이미지로부터 추출한 Feature Map을 Latent Vector로 변환하여 FCN을 통해 출력된 값을 구체의 꼭짓점의 위치를 변경시키기 위한 오프셋 값을 이용하며, 오프셋 값과 구체의 꼭짓점에 사이에 덧셈 연산을 수행하여 구체의 꼭짓점의 위치를 변경시킨 후, 구체의 면 정보를 적용하여 3D Mesh를 재구축하는 것을 특징으로 하는 딥러닝과 구체의 형태 변형을 이용한 단일 이미지에서의 3D Mesh 재구축 방법
|
| 2 |
2
제1항에 있어서,상기 (a)단계의 Feature Map의 내용은 입력된 RGB 이미지가 어떤 모양의 사물을 촬영한 것인지, 어떤 방향으로 촬영되었는지, 어떤 색상인지로 인해 달라지는 것을 특징으로 하는 딥러닝과 구체의 형태 변형을 이용한 단일 이미지에서의 3D Mesh 재구축 방법
|
| 3 |
3
제1항에 있어서,상기 (b)단계는 Feature Map을 크기가 축소된 Latent Vector로 변환하는 것을 특징으로 하는 딥러닝과 구체의 형태 변형을 이용한 단일 이미지에서의 3D Mesh 재구축 방법
|
| 4 |
4
제1항에 있어서,상기 (e)단계는재구축된 3D Mesh를 학습 데이터셋의 3D Mesh와 비교하여 두 데이터 간의 점유공간의 유사도를 나타내는 IoU Loss와 재구축된 3D Mesh의 면의 연결 정도를 나타내는 Laplacian Smoothing Loss를 계산하고, 이후, 3D Mesh를 샘플링하여 생성한 2개의 3D 포인트 클라우드 간의 거리 오차를 나타내는 Chamfer Distance Loss를 계산하는 것을 특징으로 하는 딥러닝과 구체의 형태 변형을 이용한 단일 이미지에서의 3D Mesh 재구축 방법
|
| 5 |
5
제1항에 있어서,상기 (f)단계는 IoU Loss와 Laplacian Smoothing Loss, Chamfer Distance Loss에 각각 가중치를 적용하고 더한 값을 이용하여 ResNet-50과 FCN을 학습하되, ResNet-50과 FCN은 3개의 Loss를 모두 0에 가까워지도록 만드는 방향으로 학습하는 것을 특징으로 하는 딥러닝과 구체의 형태 변형을 이용한 단일 이미지에서의 3D Mesh 재구축 방법
|
