| 1 |
1
전처리부를 통해 가시영역에 대한 데이터를 향상시키기 위해 입력영상의 RGBD 영상을 활용하여 학습을 위한 상기 입력영상의 RGBD 영상에 관한 데이터를 전처리하는 단계; 모델링부를 통해 상기 전처리된 입력영상의 RGBD 영상에 대한 컬러 영상 및 깊이 영상을 이용하는 NeRF(Nueral radiance field) 기반 장면모델링을 수행하는 단계;학습부를 통해 상기 전처리된 입력영상의 RGBD 영상에 대한 컬러 영상 및 깊이 영상을 이용하여 데이터를 확장시키는 단계; 및 학습부를 통해 상기 학습부를 통해 데이터 확장된 깊이 영상에 대한 깊이 값의 변화가 연속적으로 이루어지고 텍스처가 존재하지 않는 영역에서의 NeRF 기반 장면모델링의 오류를 감소시키도록 학습하는 단계를 포함하는 라이트필드 합성 방법
|
| 2 |
2
제1항에 있어서,상기 전처리부를 통해 가시영역에 대한 데이터를 향상시키기 위해 입력영상의 RGBD 영상을 활용하여 학습을 위한 상기 입력영상의 RGBD 영상에 관한 데이터를 전처리하는 단계는, DIBR(Depth Image Based Rendering) 방식으로 상기 가시영역에 대한 가상시점 영상을 획득하고 해당 광선들이 가시 영역인지 여부를 결정할 마스킹를 생성하여 이후에 학습될 NeRF에 입력으로 들어가며, 마스킹 되는 부분의 광선은 학습에서 제외되는 라이트필드 합성 방법
|
| 3 |
3
제1항에 있어서,상기 모델링부를 통해 상기 전처리된 입력영상의 RGBD 영상에 대한 컬러 영상 및 깊이 영상을 이용하는 NeRF(Nueral radiance field) 기반 장면모델링을 수행하는 단계는, 가시 영역에 대한 샘플링 레이트를 증가 시키고 폐색 영역의 경우에는 비디오 방향에 따른 입력으로부터 데이터를 추정하여, 렌더링 기반의 입력 영상으로부터 라이트필드의 SAIs(Sub-aperture images) 간의 베이스라인이 넓은 데이터들을 대규모로 취득하여 라이트 필드 데이터셋을 생성하는 라이트필드 합성 방법
|
| 4 |
4
제1항에 있어서,상기 학습부를 통해 상기 전처리된 입력영상의 RGBD 영상에 대한 컬러 영상 및 깊이 영상을 이용하여 데이터를 확장시키는 단계는, 깊이 기반 렌더링 방식을 사용하여 입력되는 시점의 주변 시점들을 생성하고, 넓은 베이스라인을 갖도록 DIBR로 워핑시키는 범위를 조절하며, 전체 SAIs를 생성하지 않고 일정 부분의 SAIs를 선택하여 데이터를 확장시키는 라이트필드 합성 방법
|
| 5 |
5
가시영역에 대한 데이터를 향상시키기 위해 입력영상의 RGBD 영상을 활용하여 학습을 위한 상기 입력영상의 RGBD 영상에 관한 데이터를 전처리하는 전처리부; 상기 전처리된 입력영상의 RGBD 영상에 대한 컬러 영상 및 깊이 영상을 이용하는 NeRF(Nueral radiance field) 기반 장면모델링을 수행하는 모델링부; 및 상기 입력으로 들어오는 상기 전처리된 입력영상의 RGBD 영상에 대한 컬러 영상 및 깊이 영상을 이용하여 데이터를 확장시키고, 학습부를 통해 데이터 확장된 깊이 영상에 대한 깊이 값의 변화가 연속적으로 이루어지고 텍스처가 존재하지 않는 영역에서의 NeRF 기반 장면모델링의 오류를 감소시키도록 학습하는 학습부를 포함하는 라이트필드 합성 시스템
|
| 6 |
6
제5항에 있어서,상기 전처리부는, DIBR(Depth Image Based Rendering) 방식으로 상기 가시영역에 대한 가상시점 영상을 획득하고 해당 광선들이 가시 영역인지 여부를 결정할 마스킹를 생성하여 이후에 학습될 NeRF에 입력으로 들어가며, 마스킹 되는 부분의 광선은 학습에서 제외하는 라이트필드 합성 시스템
|
| 7 |
7
제5항에 있어서,상기 모델링부는, 가시 영역에 대한 샘플링 레이트를 증가 시키고 폐색 영역의 경우에는 비디오 방향에 따른 입력으로부터 데이터를 추정하여, 렌더링 기반의 입력 영상으로부터 라이트필드의 SAIs(Sub-aperture images) 간의 베이스라인이 넓은 데이터들을 대규모로 취득하여 라이트 필드 데이터셋을 생성하는 라이트필드 합성 시스템
|
| 8 |
8
제5항에 있어서,상기 학습부는, 깊이 기반 렌더링 방식을 사용하여 입력되는 시점의 주변 시점들을 생성하고, 넓은 베이스라인을 갖도록 DIBR로 워핑시키는 범위를 조절하며, 전체 SAIs를 생성하지 않고 일정 부분의 SAIs를 선택하여 데이터를 확장시키는 라이트필드 합성 시스템
|
