| 1 |
1
거리 뷰 이미지에서 의미론적 정보를 추출하는 단계;사용자의 움직임에 따른 카메라 뷰 이미지에 대한 G-버퍼를 렌더링하며, 상기 G-버퍼에서 각 픽셀을 상기 거리 뷰 이미지로 매핑하는 파노라마 이미지 매핑을 수행하는 단계; 및상기 의미론적 정보와 상기 G-버퍼를 이용하여 깊이 테스트, 의미 객체 매칭 테스트 및 3D 인페인팅(inpainting)을 통해 상기 카메라 뷰 이미지와 상기 거리 뷰 이미지에 대한 파노라마 텍스처 매핑을 수행하는 단계를 포함하는 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 2 |
2
제1항에 있어서,상기 의미론적 정보를 추출하는 단계는3D 장면 데이터(3D Scene Data)를 구성하는 상기 거리 뷰 이미지에서 RGB 파노라마 거리 뷰 이미지(PI), 도시 모델(M), 객체 단위 의미론적 이미지(PS), 깊이 이미지(PD) 및 카메라 파라미터(C)의 상기 의미론적 정보를 추출하는, 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 3 |
3
제2항에 있어서,상기 파노라마 이미지 매핑을 수행하는 단계는상기 거리 뷰 이미지의 상기 도시 모델(M)를 이용하여 사용자의 움직임에 따른 상기 카메라 뷰 이미지에 따라 위치 버퍼(position buffer), 분할 버퍼(segmentation buffer) 및 일반 버퍼(normal buffer)의 G-버퍼를 렌더링하는, 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 4 |
4
제3항에 있어서,상기 파노라마 이미지 매핑을 수행하는 단계는상기 위치 버퍼에서 인접한 카메라 정보를 기반으로 파노라마 좌표계 변환 과정을 수행하며, 상기 위치 버퍼의 각 픽셀을 상기 거리 뷰 이미지들로 매핑하는, 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 5 |
5
제2항에 있어서,상기 파노라마 텍스처 매핑을 수행하는 단계는상기 카메라 뷰 이미지에 투영된 픽셀에 대한 투영 오류 최소화를 위해 깊이 테스트를 수행하는 단계;투영 오류가 최소화된 상기 카메라 뷰 이미지에 객체 일치 테스트를 수행하여 의미론적 객체 매칭 테스트를 수행하는 단계; 상기 카메라 뷰 이미지에 혼합 가중치를 적용하여 후보 텍스처 색상을 보간하여 최종 색상을 합성하는 단계; 및상기 카메라 뷰 이미지에서 비하늘 영역에 대한 의미론적 3D 인페인팅하여 파노라마 텍스처 매핑을 완료하는 단계를 포함하는, 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 6 |
6
제5항에 있어서,상기 깊이 테스트하는 단계는상기 렌더링한 깊이 이미지(PD)를 이용하여 현재 사용자의 뷰에서 가림 현상으로 인한 RGB 값들을 제거하여 투영 오류 최소화하는, 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 7 |
7
제6항에 있어서,상기 의미론적 객체 매칭하는 단계는상기 객체 단위 의미론적 이미지(PS)를 이용하여 상기 위치 버퍼의 각 픽셀들이 상기 RGB 파노라마 거리 뷰 이미지(PI)로 매핑되는 경우, 상기 RGB 파노라마 거리 뷰 이미지(PI)의 객체와의 매칭을 확인하는 상기 객체 일치 테스트를 수행하는, 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 8 |
8
제7항에 있어서,상기 합성하는 단계는블렌딩 방식을 통해 후보 텍스처 색상을 보간하여 합성한 최종 색상의 RGB 값들을 상기 위치 버퍼의 각 픽셀에 할당하는, 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 9 |
9
제8항에 있어서,상기 파노라마 텍스처 매핑을 완료하는 단계는상기 위치 버퍼에서, RGB 값이 채워지지 않은 픽셀들을 처리하기 위해 실시간 인페인팅 방법을 사용하는 것을 특징으로 하는, 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 10 |
10
제9항에 있어서,상기 파노라마 텍스처 매핑을 완료하는 단계는상기 카메라 뷰 이미지에서 하늘 영역을 로우 패스 필터링(Low-pass Filtering) 처리하고, 비하늘 영역을 기하학적 그리고 의미론적으로 일치하는 텍스처 색상의 RGB 값으로 채워 상기 파노라마 텍스처 매핑을 완료하는, 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법
|
| 11 |
11
거리 뷰 이미지에서 의미론적 정보를 추출하는 사전 처리부;사용자의 움직임에 따른 카메라 뷰 이미지에 대한 G-버퍼를 렌더링하며, 상기 G-버퍼에서 각 픽셀을 상기 거리 뷰 이미지로 매핑하는 파노라마 이미지 매핑을 수행하는 이미지 매핑부; 및상기 의미론적 정보와 상기 G-버퍼를 이용하여 깊이 테스트, 의미 객체 매칭 테스트 및 3D 인페인팅(inpainting)을 통해 상기 카메라 뷰 이미지와 상기 거리 뷰 이미지에 대한 파노라마 텍스처 매핑을 수행하는 텍스처 매핑 수행부를 포함하는 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 시스템
|
