| 1 |
1
기정의된 다시점 카메라 파라미터와 단일 입력 영상에 상응하는 깊이 맵을 기반으로 상기 단일 입력 영상에 대한 다시점 부분 깊이 맵을 생성하는 단계;다시점 깊이 맵 네트워크로 상기 단일 입력 영상과 상기 다시점 부분 깊이 맵을 입력하여 상기 단일 입력 영상에 상응하는 다시점 깊이 맵 및 다시점 특징 맵을 획득하는 단계; 및상기 다시점 깊이 맵에 상응하는 3D 메쉬 모델 및 상기 다시점 특징 맵을 기반으로 상기 단일 입력 영상에 상응하는 텍스처 맵을 생성하고, 상기 3D 메쉬 모델에 상기 텍스처 맵을 반영하여 상기 단일 입력 영상에 상응하는 3D 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 2 |
2
청구항 1에 있어서,상기 3D 모델 생성 방법은단일 시점 깊이 맵 네트워크를 기반으로 상기 깊이 맵을 생성하는 단계를 더 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 3 |
3
청구항 2에 있어서,상기 단일 시점 깊이 맵 네트워크 및 상기 다시점 깊이 맵 네트워크는 스킵 커넥션(SKIP CONNECTION)을 갖는 합성곱(CONVOLUTION) 기반의 인코더/디코더 모델을 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 4 |
4
청구항 3에 있어서,상기 인코더/디코더 모델은상기 단일 입력 영상에 상응하는 복수개의 특징맵들에 각각 L1 손실함수와 L2 손실함수를 번갈아 반영한 결과가 최소화되도록 학습되는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 5 |
5
청구항 3에 있어서,상기 깊이 맵을 생성하는 단계는상기 인코더/디코더 모델을 이용하여 상기 단일 입력 영상에 상응하는 복수개의 특징맵들을 추출하는 단계; 상기 복수개의 특징맵들에 각각 L1 손실함수와 L2 손실함수를 번갈아 반영한 결과를 기반으로 상기 단일 입력 영상에 포함된 객체의 포즈 및 부위별 외형 특성을 시점별로 예측하는 단계를 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 6 |
6
청구항 1에 있어서,상기 다시점 부분 깊이 맵을 생성하는 단계는상기 기정의된 다시점 카메라 파라미터에 상응하게 상기 깊이 맵을 역투영 및 재투영하여 상기 다시점 부분 깊이 맵을 생성하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 7 |
7
청구항 1에 있어서,상기 다시점 깊이 맵 및 다시점 특징 맵을 획득하는 단계는상기 다시점 부분 깊이 맵과 상기 단일 입력 영상을 상기 다시점 깊이 맵 네트워크로 입력하여 인퍼런싱(INFERENCING)된 값들을 연결(CONCATENATION) 연산하는 단계를 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 8 |
8
청구항 5에 있어서,상기 복수개의 특징맵들은깊이 맵(DEPTH MAP), 저해상도 깊이 맵(LOW DEPTH MAP), 부분 깊이 맵(PART DEPTH MAP), 노멀 맵(NOMAL MAP), 마스크(MASK), 엑스레이 맵(XRAY MAP) 및 컬러 맵(COLOR MAP)을 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 9 |
9
청구항 8에 있어서,상기 엑스레이 맵은상기 객체의 최외곽 모양(SHAPE)과 내부 모양(SHAPE)을 복원하는데 사용되는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 10 |
10
청구항 8에 있어서,상기 3D 모델을 생성하는 단계는상기 3D 메쉬 모델을 상기 컬러 맵에 투영하여 상기 텍스처 맵을 생성하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 11 |
11
청구항 3에 있어서,상기 인코더/디코더 모델은스킵 커넥션(SKIP-CONNECTION)을 갖는 다중 합성곱 레이어 및 다중 활성화 함수로 구성된 인코더와 디코더를 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 12 |
12
청구항 1에 있어서,상기 단일 입력 영상은전경과 배경이 혼합된 RGB 이미지에 상응하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 13 |
13
청구항 1에 있어서,상기 3D 모델 생성 방법은다시점 영상 기반 3D 복원 알고리즘을 통해 상기 다시점 깊이 맵에 상응하는 3D 메쉬 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 14 |
14
청구항 13에 있어서,상기 3D 메쉬 모델을 생성하는 단계는상기 기정의된 다시점 카메라 파라미터에 기반한 3D 공간상 조합 및 대체 방법을 고려하여 상기 다시점 깊이 맵을 3D 공간상에 포인트 클라우드로 표현하고, 메쉬화 알고리즘에 상기 포인트 클라우드를 입력하여 상기 3D 메쉬 모델을 생성하는 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 방법
|
| 15 |
15
기정의된 다시점 카메라 파라미터와 단일 입력 영상에 상응하는 깊이 맵을 기반으로 상기 단일 입력 영상에 대한 다시점 부분 깊이 맵을 생성하고, 다시점 깊이 맵 네트워크로 상기 단일 입력 영상과 상기 다시점 부분 깊이 맵을 입력하여 상기 단일 입력 영상에 상응하는 다시점 깊이 맵 및 다시점 특징 맵을 획득하고, 상기 다시점 깊이 맵에 상응하는 3D 메쉬 모델 및 상기 다시점 특징 맵을 기반으로 상기 단일 입력 영상에 상응하는 텍스처 맵을 생성하고, 상기 3D 메쉬 모델에 상기 텍스처 맵을 반영하여 상기 단일 입력 영상에 상응하는 3D 모델을 생성하는 프로세서; 및상기 기정의된 다시점 카메라 파라미터 및 상기 다시점 깊이 맵 네트워크를 저장하는 메모리를 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 장치
|
| 16 |
16
청구항 15에 있어서,상기 프로세서는단일 시점 깊이 맵 네트워크를 기반으로 상기 깊이 맵을 생성하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 장치
|
| 17 |
17
청구항 16에 있어서,상기 단일 시점 깊이 맵 네트워크 및 상기 다시점 깊이 맵 네트워크는 스킵 커넥션(SKIP CONNECTION)을 갖는 합성곱(CONVOLUTION) 기반의 인코더/디코더 모델을 포함하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 장치
|
| 18 |
18
청구항 17에 있어서,상기 인코더/디코더 모델은상기 단일 입력 영상에 상응하는 복수개의 특징맵들에 각각 L1 손실함수와 L2 손실함수를 번갈아 반영한 결과가 최소화되도록 학습되는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 장치
|
| 19 |
19
청구항 17에 있어서,상기 프로세서는상기 인코더/디코더 모델을 이용하여 상기 단일 입력 영상에 상응하는 복수개의 특징맵들을 추출하고, 상기 복수개의 특징맵들에 각각 L1 손실함수와 L2 손실함수를 번갈아 반영한 결과를 기반으로 상기 단일 입력 영상에 포함된 객체의 포즈 및 부위별 외형 특성을 시점별로 예측하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 장치
|
| 20 |
20
청구항 15에 있어서,상기 프로세서는상기 기정의된 다시점 카메라 파라미터에 상응하게 상기 깊이 맵을 역투영 및 재투영하여 상기 다시점 부분 깊이 맵을 생성하는 것을 특징으로 하는 단일 입력 영상을 이용한 3D 모델 생성 장치
|
