| 1 |
1
전자 장치의 동작 방법에 있어서, 모델링 대상이 되는 사람을 포함하는 이미지를 입력 받는 단계; 상기 이미지로부터 상기 사람의 신체를 구성하는 부위별로 원근 투영 특성을 포함하는 부위별 정규화 이미지를 생성하는 단계; 상기 부위별 정규화 이미지로부터 상기 사람의 외형을 나타내는 부위별 외형 제어 파라미터를 포함하는 부위별 제어 파라미터를 출력하는 단계;상기 부위별 제어 파라미터에 기반하여 상기 사람의 외형 정보를 누적하여 자세와 크기가 고정된 움직임이 없는 정적인 상태의 정준 3D 모델을 업데이트하는 단계; 사용자로부터 최종 출력인 사람의 3D 모델을 제어하는 제어 정보를 입력 받아 상기 제어 정보에 기반하여 상기 정준 3D 모델을 제어하는 단계 - 상기 제어 정보는 상기 사람의 3D 모델을 표시할 카메라 시점 제어 정보, 상기 사람의 3D 모델에 대한 자세 제어 정보 및 상기 사람의 3D 모델에 대한 스타일 제어 정보를 포함함 -;상기 제어된 정준 3D 모델에 기반하여 상기 사람의 3D 모델을 구성하는 부위별 렌더링 이미지를 생성하는 단계; 및 상기 부위별 렌더링 이미지를 합성하여 상기 사람의 3D 모델을 생성하는 단계 를 포함하는 동작 방법
|
| 2 |
2
제1항에 있어서, 상기 원근 투영 특성을 포함하는 상기 부위별 정규화 이미지를 생성하는 단계는, 상기 이미지를 촬영한 카메라의 좌표계를 기준으로 상기 사람의 자세를 나타내는 전신 3D 자세(whole body 3D pose)를 예측하는 단계; 및 상기 전신 3D 자세를 기반으로 상기 부위별 정규화 이미지를 생성하는 단계를 포함하는 동작 방법
|
| 3 |
3
제2항에 있어서,상기 전신 3D 자세를 예측하는 단계는,상기 사람의 전신에서 관절의 위치 및 자세를 예측하는 단계; 머리의 자세를 예측하는 단계; 양 손의 자세를 예측하는 단계; 및상기 전신에 대한 상기 관절의 위치 및 상기 자세, 상기 머리의 자세 및 상기 양 손의 자세를 결합하여 상기 좌표계를 기준으로 상기 전신 3D 자세를 예측하는 단계를 포함하는, 동작 방법
|
| 4 |
4
제2항에 있어서,상기 전신 3D 자세를 기반으로 상기 부위별 정규화 이미지를 생성하는 단계는,상기 전신 3D 자세를 이용하여 머리, 양 손 및 전신 각각을 촬영할 수 있도록 각 부위로부터 일정 거리만큼 떨어진 위치에 상기 각 부위를 촬영하는 가상의 정규화 카메라를 배치하는 단계; 및 상기 각 부위를 촬영하는 상기 가상의 정규화 카메라를 이용하여 원근 투영 특성을 포함하는 상기 부위별 정규화 이미지를 생성하는 단계를 포함하는, 동작 방법
|
| 5 |
5
제1항에 있어서, 상기 부위별 정규화 이미지는,상기 신체를 구성하는 각 부위를 촬영하는 가상의 정규화 카메라를 통해 획득된 머리 정규화 이미지, 양 손 정규화 이미지 및 전신 정규화 이미지를 포함하는, 동작 방법
|
| 6 |
6
제1항에 있어서, 상기 부위별 제어 파라미터를 출력하는 단계는,부위별 제어 파라미터 예측 모델에 상기 부위별 제어 파라미터 예측 모델과 대응하는 상기 부위별 정규화 이미지를 입력하여 상기 사람의 외형을 나타내는 부위별 외형 제어 파라미터를 포함하는 부위별 제어 파라미터를 출력하는, 동작 방법
|
| 7 |
7
제1항에 있어서,상기 정준 3D 모델을 생성하는 단계는, 상기 부위별 제어 파라미터에 포함되는 상기 사람의 외형을 나타내는 부위별 외형 제어 파라미터를 통합하여 전신 3D 자세를 업데이트하는 단계; 및 상기 업데이트된 상기 전신 3D 자세 및 상기 부위별 제어 파라미터를 이용하여 상기 정준 3D 모델을 업데이트하는 단계를 포함하는, 동작 방법
|
| 8 |
8
제7항에 있어서,상기 전신 3D 자세를 업데이트 하는 단계는,상기 부위별 외형 제어 파라미터에 포함되는 부위별 포즈 정보들 각각을 상기 정규화 이미지를 촬영한 부위별 정규화 카메라들 중 전신 정규화 카메라의 좌표계로 변환하는 단계; 및 상기 전신 정규화 카메라의 좌표계로 변환된 부위별 포즈 정보들을 통합하여 상기 전신 정규화 카메라의 상기 좌표계로 상기 전신 3D 자세를 업데이트하는 단계를 포함하는, 동작 방법
|
| 9 |
9
제8항에 있어서,상기 업데이트된 상기 전신 3D 자세 및 상기 부위별 제어 파라미터를 이용하여 상기 정준 3D 모델을 업데이트하는 단계는,상기 전신 정규화 카메라의 좌표계에서 표현되는 상기 신체에 대한 3D 포인트들을 상기 정준 3D 모델이 표시되는 좌표계로 변환하여 상기 정준 3D 모델에 누적함으로써 상기 정준 3D 모델을 업데이트하는, 동작 방법
|
| 10 |
10
제1항에 있어서,상기 부위별 렌더링 이미지를 생성하는 단계는, 상기 정준 3D 모델에 포함되는 3D 포인트들의 위치, 전신 정규화 카메라의 관찰 시점 및 상기 부위별 제어 파라미터에 포함되는 부위별 외형 제어 파라미터를 입력으로하여 상기 3D 포인트들이 정준 모델 좌표계에서 임의의 공간에 존재할 확률을 나타내는 밀도값, 상기 정준 모델 좌표계에서 상기 3D 포인트들의 칼라값 및 상기 3D 포인트들이 존재하는 부위에 대한 정보를 포함하는 출력을 출력하도록 부위별 뉴럴 렌더링 모델을 학습시키는 단계; 및 상기 학습된 상기 부위별 뉴럴 렌더링 모델의 상기 출력을 이용한 볼륨 렌더링을 통해 상기 제어된 정준 3D 모델에 대응하는 부위별 렌더링 이미지를 생성하는 단계를 포함하는, 동작 방법
|
| 11 |
11
제1항에 있어서,부위별 렌더링 이미지는,부위별 정규화 이미지에 대응하는 머리 렌더링 이미지, 양 손 렌더링 이미지 및 전신 렌더링 이미지를 포함하고,상기 부위별 렌더링 이미지를 합성하여 상기 사람의 3D 모델을 생성하는 단계는, 상기 전신 렌더링 이미지에 상기 머리 렌더링 이미지 및 상기 양 손 렌더링 이미지를 합성할 때 각각의 렌더링 이미지에 가중치를 부여하되, 상기 머리 렌더링 이미지 및 상기 양 손 렌더링 이미지의 가중치를 상기 전신 렌더링 이미지의 가중치보다 크게 결정하는, 동작 방법
|
| 12 |
12
제11항에 있어서,상기 전신 렌더링 이미지와 상기 머리 렌더링 이미지가 오버랩되는 경계 부분에서 상기 머리 렌더링 이미지의 상기 가중치는 머리 방향으로 가까워질수록 상기 전신 렌더링 이미지의 상기 가중치보다 크게 결정되고,상기 전신 렌더링 이미지와 상기 양 손 렌더링 이미지가 오버랩되는 경계 부분에서 상기 양 손 렌더링 이미지의 상기 가중치는 양 손 방향으로 가까워질수록 상기 전신 렌더링 이미지의 상기 가중치보다 크게 결정되는, 동작 방법
|
| 13 |
13
전자 장치의 동작 방법에 있어서, 모델링 대상이 되는 사람을 포함하는 이미지를 입력 받는 단계; 상기 이미지에 포함되는 사람의 자세를 예측하는 단계;상기 예측된 상기 사람의 자세에 따라서 상기 사람의 머리, 양손 및 전신 각각을 촬영할 수 있도록 각 부위로부터 일정 거리만큼 떨어진 위치에 상기 각 부위를 촬영하는 가상의 정규화 카메라를 배치하여 원근 투영 특성을 포함하는 부위별 정규화 이미지를 생성하는 단계; 상기 부위별 정규화 이미지로부터 상기 사람의 외형을 나타내는 부위별 외형 제어 파라미터를 포함하는 부위별 제어 파라미터를 출력하는 단계;상기 부위별 제어 파라미터에 기반하여 상기 사람의 외형 정보를 누적하여 자세와 크기가 고정된 움직임이 없는 정적인 상태의 정준 3D 모델을 업데이트하는 단계; 사용자로부터 최종 출력인 사람의 3D 모델을 제어하는 제어 정보를 입력 받아 상기 제어 정보에 기반하여 상기 정준 3D 모델을 제어하는 단계 - 상기 제어 정보는 상기 사람의 3D 모델을 표시할 카메라 시점 제어 정보, 상기 사람의 3D 모델에 대한 자세 제어 정보 및 상기 사람의 3D 모델에 대한 스타일 제어 정보를 포함함 -;상기 제어된 정준 3D 모델에 기반하여 상기 사람의 3D 모델을 구성하는 부위별 렌더링 이미지를 생성하는 단계; 및 상기 부위별 렌더링 이미지를 합성하여 상기 사람의 3D 모델을 생성하는 단계를 포함하는 동작 방법
|
| 14 |
14
모델링 대상이 되는 사람을 포함하는 이미지를 입력 받고, 상기 이미지로부터 상기 사람의 신체를 구성하는 부위별로 원근 투영 특성을 포함하는 부위별 정규화 이미지를 생성하고, 상기 부위별 정규화 이미지로부터 상기 사람의 외형을 나타내는 부위별 외형 제어 파라미터를 포함하는 부위별 제어 파라미터를 출력하고, 상기 부위별 제어 파라미터에 기반하여 상기 사람의 외형 정보를 누적하여 자세와 크기가 고정된 움직임이 없는 정적인 상태의 정준 3D 모델을 업데이트하고, 사용자로부터 최종 출력인 사람의 3D 모델을 제어하는 제어 정보를 입력 받아 상기 제어 정보에 기반하여 상기 정준 3D 모델을 제어하고 - 상기 제어 정보는 상기 사람의 3D 모델을 표시할 카메라 시점 제어 정보, 상기 사람의 3D 모델에 대한 자세 제어 정보 및 상기 사람의 3D 모델에 대한 스타일 제어 정보를 포함함 -, 상기 제어된 정준 3D 모델에 기반하여 상기 사람의 3D 모델을 구성하는 부위별 렌더링 이미지를 생성하고, 상기 부위별 렌더링 이미지를 합성하여 상기 사람의 3D 모델을 생성하는 프로세서를 포함하는, 전자 장치
|
| 15 |
15
제14항에 있어서, 상기 프로세서는,상기 이미지를 촬영한 카메라의 좌표계를 기준으로 상기 사람의 자세를 나타내는 전신 3D 자세를 예측하고, 상기 전신 3D 자세를 기반으로 상기 부위별 정규화 이미지를 생성하는, 전자 장치
|
| 16 |
16
제15항에 있어서,상기 프로세서는,상기 사람의 전신에서 관절의 위치 및 자세를 예측하고, 머리의 자세를 예측하고, 양 손의 자세를 예측하고, 상기 전신에 대한 상기 관절의 위치 및 상기 자세, 상기 머리의 자세 및 상기 양 손의 자세를 결합하여 상기 좌표계를 기준으로 상기 전신 3D 자세를 예측하는 단계를 포함하는, 전자 장치
|
| 17 |
17
제15항에 있어서,상기 프로세서는,상기 전신 3D 자세를 이용하여 머리, 양 손 및 전신 각각을 촬영할 수 있도록 각 부위로부터 일정 거리만큼 떨어진 위치에 상기 각 부위를 촬영하는 가상의 정규화 카메라를 배치하고, 상기 각 부위를 촬영하는 상기 가상의 정규화 카메라를 이용하여 원근 투영 특성을 포함하는 상기 부위별 정규화 이미지를 생성하는, 전자 장치
|
| 18 |
18
제14항에 있어서, 상기 부위별 정규화 이미지는,상기 신체를 구성하는 각 부위를 촬영하는 가상의 정규화 카메라를 통해 획득된 머리 정규화 이미지, 양 손 정규화 이미지 및 전신 정규화 이미지를 포함하는, 전자 장치
|
| 19 |
19
제14항에 있어서, 상기 프로세서는,부위별 제어 파라미터 예측 모델에 상기 부위별 제어 파라미터 예측 모델과 대응하는 상기 부위별 정규화 이미지를 입력하여 상기 사람의 외형을 나타내는 부위별 외형 제어 파라미터를 포함하는 부위별 제어 파라미터를 출력하는, 전자 장치
|
| 20 |
20
제14항에 있어서,상기 프로세서는, 상기 부위별 제어 파라미터에 포함되는 상기 사람의 3D 모델의 외형을 제어하는 부위별 외형 제어 파라미터를 통합하여 전신 3D 자세를 업데이트하고, 상기 업데이트된 상기 전신 3D 자세 및 상기 부위별 제어 파라미터를 이용하여 상기 정준 3D 모델을 업데이트하는, 전자 장치
|
