| 1 |
1
클라이언트로부터 2D 데이터를 전송받아 3D 모델로 변환하여 제공하는 서버를 포함하는 3D 영상처리 시스템으로서,상기 서버는,상기 클라이언트의 요청에 응답하여 2D 데이터를 수신하고, 상기 2D 데이터의 변환된 3D 모델을 상기 클라이언트에 회신하는 프론트엔드; 및상기 프론트엔드로부터 상기 2D 데이터를 전달받아 RGB-D 데이터셋으로 변환하고, RGB-D 데이터셋에 기초하여 영상의 프레임간 대응관계에 따라 심도를 추정하여 3D 모델을 생성하고, 상기 프론트엔드에 회신하는 백엔드를 포함하는 3D 영상처리 시스템
|
| 2 |
2
제 1 항에 있어서,상기 클라이언트는,상기 프론트엔드로부터 3D 모델 및 상기 3D 모델을 재생하는 3D 뷰어 프로그램을 수신하여 저장하는 로컬 저장소; 및상기 3D 뷰어 프로그램을 URL로 호출하는 웹 뷰어, 사용자로부터 입력되는 리퀘스트를 상기 프론트엔드에 송신하는 요청부 및, 모바일 단말에 탑재되는 카메라 또는 모바일 단말 내 저장소로부터 2D 데이터를 추출하는 2D 데이터 추출부를 포함하는 3D 액티비티부를 포함하는 3D 영상처리 시스템
|
| 3 |
3
제 2 항에 있어서,상기 프론트엔드는,상기 백엔드와 연결되어 서로간의 데이터를 송수신하는 엔드 포인트;상기 클라이언트의 리퀘스트를 수신하고 상기 엔드 포인트에 전달하는 응답부;상기 3D 뷰어 프로그램을 생성하고, 상기 클라이언트에 송신하는 3D 뷰어 송신부; 및상기 엔드 포인트를 통해 백엔드로부터 3D 모델을 전달받아 상기 클라이언트에 송부하는 3D 모델 송신부를 포함하는 3D 영상처리 시스템
|
| 4 |
4
제 3 항에 있어서,상기 백엔드는,상기 프론트엔드를 통해, 상기 클라이언트로부터 제공되는 2D 데이터 및 상기 리퀘스트를 수신하는 수신부;상기 수신부가 수신한 2D 데이터 및, 상기 클라이언트에 제공되는 3D 모델을 저장하는 데이터 베이스;상기 데이터 베이스로부터, 2D 데이터를 읽어드려 상기 3D 모델을 생성 또는 3D 모델에 포함되는 3D 데이터를 읽어드려 메쉬 또는 텍스처를 수정하는 데이터 처리기; 및상기 데이터 처리기를 통해 생성된 3D 모델을 상기 프론트엔드에 송신하는 발송부를 포함하는 3D 영상처리 시스템
|
| 5 |
5
제 4 항에 있어서,상기 데이터 처리기는,상기 데이터 베이스로부터 읽어드린 2D 데이터를 프레임별로 나누고, 깊이 추정 네트워크를 통해 프레임 쌍의 깊이(Depth)를 추정하고, 옵티컬 플로우를 통해 상기 프레임 쌍의 대응관계를 설정하여 상기 대응관계와 프레임 쌍 각각의 촬영 각도에 기반한 3D 기하학적 구속조건을 스페이셜 손실(spatial loss) 및 디스패리티 손실(disparity loss)로 분해하고, 분해된 손실을 역전파하여 깊이 추정 네트워크의 가중치를 조정하여 가중치가 조정된 깊이 추정 네트워크에 의한 RGB-D 데이터셋을 출력하는 RGB-D 변환부; 및상기 RGB-D에 대한 복수의 조각(fragment)을 생성하는 생성부, 복수의 조각간 위치 배열을 등록(registration)하는 등록부, 등록된 복수의 조각의 위치 배열을 정제(refine)하여 조각간 겹치는 부분을 제거하고 얼라인(align)을 정렬하는 정제부, 얼라인이 정렬된 복수의 조각을 통합(integration)하여 3D 모델을 생성하는 통합부 및, 상기 3D 모델에 대한 객체 분류를 수행하고, 분류 결과를 기반하여 객체에 메쉬 및 텍스처링을 수행하는 메쉬/텍스처링부를 포함하는 3D 모델 변환부를 포함하는 3D 영상처리 시스템
|
| 6 |
6
제 5 항에 있어서,상기 메쉬/텍스처링부는,pointNET 라이브러리를 이용하여 생성된 3D 모델을 구성하는 포인트 클라우드 데이터에 대한 객체 분류를 수행하는 파트 세그먼테이션 모듈;딥 러닝을 통해, 상기 파트 세그먼테이션 모듈에 의해 분류된 객체별로 적용할 메쉬를 결정 및 적용하는 메쉬 모듈; 및딥 러닝을 통해, 상기 객체별로 적용할 텍스처를 결정 및 적용하는 텍스처링 모듈을 포함하고,상기 메쉬 모듈 및 텍스처링 모듈은,상기 리퀘스트에 대응하여 수정 요청된 3D 모델에 대한 메쉬 또는 텍스처를 수정하는 것인, 3D 영상처리 시스템
|
| 7 |
7
클라이언트로부터 2D 데이터를 전송받아 3D 모델로 변환하여 제공하는 서버를 포함하는 3D 영상처리 시스템을 이용한 3D 모델 생성 방법으로서,(a) 상기 클라이언트가 모바일 단말에 탑재되는 카메라 또는 모바일 단말 내 저장소로부터 2D 데이터를 추출하여 상기 서버의 프론트엔드에 송신하는 단계;(b) 상기 프론트엔드가 수신한 2D 데이터를 상기 서버의 백엔드에 전달하는 단계;(c) 상기 백엔드가 상기 2D 데이터를 데이터 베이스에 저장하고, 상기 데이터 베이스로부터 2D 데이터를 읽어드려 상기 3D 모델을 생성하여 상기 프론트엔드에 송신하는 단계; 및(d) 상기 프론트엔드가 상기 3D 모델을 상기 클라이언트에 송신하는 단계를 포함하는 3D 영상처리 시스템을 이용한 3D 모델 생성 방법
|
| 8 |
8
제 7 항에 있어서,상기 (c) 단계는, (c1) 상기 2D 데이터를 데이터 베이스에 저장하는 단계;(c2) 상기 데이터 베이스로부터 2D 데이터를 읽어드려 프레임별로 나누는 단계;(c3) 깊이 추정 네트워크를 통해 프레임 쌍의 깊이(Depth)를 추정하는 단계;(c4) 옵티컬 플로우를 통해 상기 프레임 쌍의 대응관계를 설정하여 상기 대응관계와 프레임 쌍 각각의 촬영 각도에 기반한 3D 기하학적 구속조건을 스페이셜 손실(spatial loss) 및 디스패리티 손실(disparity loss)로 분해하는 단계; 및(c5) 분해된 손실을 역전파하여 깊이 추정 네트워크의 가중치를 조정하여 가중치가 조정된 깊이 추정 네트워크에 의한 RGB-D 데이터셋을 생성하는 단계를 포함하는 3D 영상처리 시스템을 이용한 3D 모델 생성 방법
|
| 9 |
9
제 8 항에 있어서,상기 (c5) 단계 이후,(c6) 상기 RGB-D 데이터셋에 대한 복수의 조각(fragment)을 생성하는 단계;(c7) 복수의 조각간 위치 배열을 등록(registration)하는 단계;(c8) 등록된 복수의 조각의 위치 배열을 정제(refine)하여 조각간 겹치는 부분을 제거하고 얼라인(align)을 정렬하는 단계;(c9) 얼라인이 정렬된 복수의 조각을 통합(integration)하여 3D 모델을 생성하는 단계; 및(c10) 상기 3D 모델에 대한 객체 분류를 수행하고, 분류 결과를 기반하여 객체에 메쉬 및 텍스처링을 수행하는 단계를 포함하는 3D 영상처리 시스템을 이용한 3D 모델 생성 방법
|
