| 1 |
1
둘 이상의 서로 다른 종류의 센싱 데이터를 출력하도록 구성된 복수의 센서들;상기 센싱 데이터를 동기화하고, 동기화된 상기 센싱 데이터로부터 영상 처리 관련 정보를 추출하고, 상기 영상 처리 관련 정보를 기반으로 기가픽셀 텍스쳐 및 3차원(3D) 메쉬를 생성하도록 구성된 프로세서;상기 기가픽셀 텍스쳐 및 상기 3D 메쉬를 기반으로 생성된 3D 문화재 데이터를 가시화하여 출력하도록 구성된 사용자 인터페이스; 및상기 영상 처리 관련 정보 및 상기 3D 문화재 데이터를 저장하도록 구성된 메모리를 포함하고,상기 영상 처리 관련 정보는 다중시점 이미지, 캘리브레이션 이미지, 및 카메라 파라미터를 포함하는 영상 처리 장치
|
| 2 |
2
제1 항에 있어서,상기 복수의 센서들은:디지털 카메라를 포함하는 제1 센서;트래킹 센서를 포함하는 제2 센서; 및깊이 센서 및 라이다 중 적어도 하나를 포함하는 제3 센서를 포함하는 영상 처리 장치
|
| 3 |
3
제1 항에 있어서,상기 프로세서는:상기 복수의 센서들을 제어하여 동기화된 상기 센싱 데이터를 수신하도록 구성된 데이터 동기화 회로;상기 센싱 데이터를 기반으로 상기 영상 처리 관련 정보를 추출하도록 구성된 정보 추출 회로;상기 영상 처리 관련 정보를 기반으로 휘도 복원 및 기하 정렬을 통해 상기 기가픽셀 텍스쳐 및 상기 3D 메쉬를 생성하고, 상기 3D 메쉬에 상기 기가픽셀 텍스쳐를 정합하여 상기 3D 문화재 데이터를 생성하도록 구성된 3D 데이터 생성 회로; 및상기 3D 문화재 데이터에 대해 노이즈를 제거하고, 미리 정해진 기준을 통과하는지 여부를 검증하여 최종 3D 문화재 데이터를 생성하도록 구성된 편집/검증 회로를 포함하는 영상 처리 장치
|
| 4 |
4
제3 항에 있어서,상기 데이터 동기화 회로는:상기 복수의 센서들을 특정 시간 간격으로 순차적으로 동작시키는 제어 신호를 생성하도록 구성된 센서 컨트롤러; 및상기 복수의 센서들 각각으로부터 동기화된 상기 센싱 데이터를 수신하고, 상기 정보 추출 회로에 제공하도록 구성된 입출력 회로를 포함하는 영상 처리 장치
|
| 5 |
5
제3 항에 있어서,상기 정보 추출 회로는:상기 센싱 데이터로부터 거리 정보 및 시점 정보를 추출하고, 상기 거리 정보 및 상기 시점 정보를 기반으로 상기 다중시점 이미지 및 상기 캘리브레이션 이미지를 생성하고,상기 센싱 데이터로부터 초기 카메라 파라미터를 포함하는 상기 카메라 파라미터를 추출하는 영상 처리 장치
|
| 6 |
6
제5 항에 있어서,상기 정보 추출 회로는 상기 센싱 데이터로부터 트래킹 정보를 추출하고, 상기 트래킹 정보를 기반으로 포인트맵을 생성하고, 상기 포인트맵 및 상기 시점 정보를 상기 사용자 인터페이스에 실시간으로 제공하도록 구성된 영상 처리 장치
|
| 7 |
7
제5 항에 있어서,상기 3D 데이터 생성 회로는:상기 다중시점 이미지 및 상기 캘리브레이션 이미지를 기반으로 방사왜곡 파라미터, 색상 변환 매핑 행렬, 및 카메라 내부 파라미터를 추출하도록 구성된 전처리 회로;상기 다중시점 이미지, 상기 방사왜곡 파라미터, 및 상기 색상 변환 매핑 행렬을 기반으로, 상기 다중시점 이미지에 대한 상기 휘도 복원을 수행하여 휘도맵을 생성하도록 구성된 휘도 복원 회로;상기 다중시점 이미지, 상기 초기 카메라 파라미터, 및 상기 카메라 내부 파라미터를 기반으로, 상기 다중시점 이미지에 대한 상기 기하 정렬을 수행하여 최종 카메라 파라미터를 생성하도록 구성된 기하 정렬 회로; 및상기 휘도맵 및 상기 최종 카메라 파라미터를 기반으로 상기 기가픽셀 텍스쳐 및 상기 3D 메쉬를 생성하도록 구성된 후처리 회로를 포함하는 영상 처리 장치
|
| 8 |
8
제7 항에 있어서,상기 후처리 회로는 상기 휘도맵 및 상기 최종 카메라 파라미터를 기반으로 텍스쳐 블렌딩 기법을 사용하여 상기 기가픽셀 텍스쳐를 생성하고, 3D 기하 복원 기법을 사용하여 상기 3D 메쉬를 생성하도록 구성된 영상 처리 장치
|
| 9 |
9
제7 항에 있어서,상기 3D 데이터 생성 회로는 상기 3D 메쉬에 상기 기가픽셀 텍스쳐를 정합하여 상기 3D 문화재 데이터를 생성하도록 구성된 정합 회로를 더 포함하는 영상 처리 장치
|
| 10 |
10
제3 항에 있어서,상기 사용자 인터페이스는 상기 편집/검증 회로로부터 상기 최종 3D 문화재 데이터를 수신하고, 기가픽셀 데이터 뷰어를 통해 상기 최종 3D 문화재 데이터를 사용자에게 출력하도록 구성된 영상 처리 장치
|
| 11 |
11
제3 항에 있어서,상기 프로세서는 상기 3D 문화재 데이터를 다수의 사용자들과 공유하도록 구성된 관리/공유 회로를 더 포함하는 영상 처리 장치
|
| 12 |
12
제11 항에 있어서,상기 관리/공유 회로는 LoD(Level of Detail) 기술을 기반으로 상기 3D 문화재 데이터를 가시화하여 상기 다수의 사용자들에게 공유하고, 에셋 연동 기술을 기반으로 상기 3D 문화재 데이터를 다른 상용 프로그램과 공유하도록 구성된 영상 처리 장치
|
| 13 |
13
영상 처리 장치의 동작 방법에 있어서,복수의 이종 센서들을 제어하여 동기화된 센싱 데이터를 수신하는 단계;상기 센싱 데이터로부터 영상 처리 관련 정보를 추출하는 단계;상기 영상 처리 관련 정보를 기반으로 기가픽셀 텍스쳐 및 3차원(3D) 메쉬를 포함하는 3D 데이터를 생성하는 단계;상기 3D 메쉬에 상기 기가픽셀 텍스쳐를 정합하여 3D 문화재 데이터를 생성하는 단계; 및상기 3D 문화재 데이터를 가시화하여 사용자 인터페이스를 통해 출력하는 단계를 포함하고,상기 영상 처리 관련 정보는 다중시점 이미지, 캘리브레이션 이미지, 및 카메라 파라미터를 포함하는 영상 처리 장치의 동작 방법
|
| 14 |
14
제13 항에 있어서,상기 영상 처리 관련 정보를 추출하는 단계는:상기 센싱 데이터로부터 거리 정보 및 시점 정보를 추출하고, 상기 거리 정보 및 상기 시점 정보를 기반으로 상기 다중시점 이미지 및 상기 캘리브레이션 이미지를 생성하는 단계; 및상기 센싱 데이터로부터 초기 카메라 파라미터를 포함하는 상기 카메라 파라미터를 추출하는 단계를 포함하는 영상 처리 장치의 동작 방법
|
| 15 |
15
제14 항에 있어서,상기 영상 처리 관련 정보를 추출하는 단계는:상기 센싱 데이터로부터 트래킹 정보를 추출하는 단계;상기 트래킹 정보를 기반으로 포인트맵을 생성하는 단계; 및상기 포인트맵 및 상기 시점 정보를 상기 사용자 인터페이스에 실시간으로 제공하는 단계를 더 포함하는 영상 처리 장치의 동작 방법
|
| 16 |
16
제14 항에 있어서,상기 3D 데이터를 생성하는 단계는:상기 다중시점 이미지 및 상기 캘리브레이션 이미지를 기반으로 방사왜곡 파라미터, 색상 변환 매핑 행렬, 및 카메라 내부 파라미터를 추출하는 단계;상기 다중시점 이미지, 상기 방사왜곡 파라미터, 및 상기 색상 변환 매핑 행렬을 기반으로, 상기 다중시점 이미지에 대한 휘도 복원을 수행하여 휘도맵을 생성하는 단계;상기 다중시점 이미지, 상기 초기 카메라 파라미터, 및 상기 카메라 내부 파라미터를 기반으로, 상기 다중시점 이미지에 대한 기하 정렬을 수행하여 최종 카메라 파라미터를 생성하는 단계; 및상기 휘도맵 및 상기 최종 카메라 파라미터를 기반으로 상기 기가픽셀 텍스쳐 및 상기 3D 메쉬를 생성하는 단계를 포함하는 영상 처리 장치의 동작 방법
|
| 17 |
17
제16 항에 있어서,상기 기가픽셀 텍스쳐는 상기 휘도맵 및 상기 최종 카메라 파라미터를 기반으로 텍스쳐 블렌딩 기법을 사용하여 생성되고, 상기 3D 메쉬는 상기 휘도맵 및 상기 최종 카메라 파라미터를 기반으로 3D 기하 복원 기법을 사용하여 생성되는 영상 처리 장치의 동작 방법
|
| 18 |
18
제13 항에 있어서,상기 3D 문화재 데이터를 편집/검증하는 단계를 더 포함하고,상기 3D 문화재 데이터를 편집/검증하는 단계는:상기 3D 문화재 데이터에 대해 노이즈를 제거하는 단계;노이즈 제거된 상기 3D 문화재 데이터에 대해 미리 정해진 기준을 통과하는지 여부를 검증하는 단계; 및검증 통과된 최종 3D 문화재 데이터를 생성하고, 상기 최종 3D 문화재 데이터를 저장하는 단계를 포함하는 영상 처리 장치의 동작 방법
|
| 19 |
19
제18 항에 있어서,상기 사용자 인터페이스를 통해 출력하는 단계는 기가픽셀 데이터 뷰어를 통해 상기 최종 3D 문화재 데이터를 사용자에게 출력하는 단계를 포함하는 영상 처리 장치의 동작 방법
|
| 20 |
20
제13 항에 있어서,LoD(Level of Detail) 기술을 기반으로 상기 3D 문화재 데이터를 가시화하여 다수의 사용자들에게 공유하는 단계; 및에셋 연동 기술을 기반으로 상기 3D 문화재 데이터를 다른 상용 프로그램과 공유하는 단계를 더 포함하는 영상 처리 장치의 동작 방법
|
