| 1 |
1
사실적 혼합현실 라이팅을 위한 단일 재질 객체로부터의 딥러닝 기반의 조명 조건 추정 방법에 있어서,입력 이미지에 포함된 단일 재질의 대상 객체를 검출하며, 상기 대상 객체로부터 재질 정보를 제거하여 빛 반사 정보를 획득하는 단계;상기 대상 객체에서 반사되는 상기 빛 반사 정보에서 파노라마 이미지 형태의 LDR(Low Dynamic Range) 빛 정보를 추정하는 단계; 및상기 LDR 빛 정보를 이용하여 HDR(High Dynamic Range) 빛 정보를 추정하며, 상기 LDR 빛 정보 및 상기 HDR 빛 정보를 합하여 상기 대상 객체에 대한 전방향 빛 정보를 추정하는 단계를 포함하는 딥러닝 기반의 조명 조건 추정 방법
|
| 2 |
2
제1항에 있어서,상기 빛 반사 정보를 획득하는 단계는RGB 이미지인 상기 입력 이미지에 포함된 단일 재질의 상기 대상 객체를 검출하며, 이래디언스 네트워크(Irradiance Network)를 기반으로, 상기 대상 객체에서 중요도 기반 이래디언스(Importance-weighted Irradiance)인 상기 빛 반사 정보를 획득하는, 딥러닝 기반의 조명 조건 추정 방법
|
| 3 |
3
제2항에 있어서,상기 빛 반사 정보를 획득하는 단계는RGB 이미지인 상기 대상 객체로부터 상기 대상 객체의 표면 픽셀에 대한 중요도 샘플링을 바탕으로 입사 광선 평균을 추출하는 상기 중요도 기반 이래디언스(Importance-weighted Irradiance)를 추정하는, 딥러닝 기반의 조명 조건 추정 방법
|
| 4 |
4
제1항에 있어서,상기 LDR 빛 정보를 추정하는 단계는일루미네이션 네트워크(Illumination Network)를 기반으로, 상기 빛 반사 정보에서 입사 방향의 광선을 추정하여 파노라마 RGB 이미지 형태의 상기 LDR 빛 정보를 추정하는, 딥러닝 기반의 조명 조건 추정 방법
|
| 5 |
5
제4항에 있어서,상기 LDR 빛 정보를 추정하는 단계는상기 대상 객체에서 반사되는 빛을 파노라마 이미지로 추정할 때 쉬운 빛 정보(low frequency)부터 어려운 빛 정보(high frequency)까지 학습하는 점진적 학습(gradual training)으로 상기 일루미네이션 네트워크를 학습시키는 것을 특징으로 하는, 딥러닝 기반의 조명 조건 추정 방법
|
| 6 |
6
제1항에 있어서,상기 전방향 빛 정보를 추정하는 단계는HDR 네트워크(HDR Network)를 기반으로, 상기 LDR 빛 정보에서 광원과 같은 포화 영역에 상대적으로 더 높은 에너지 값을 갖도록 처리하여 HDR 값에 따른 상기 HDR 빛 정보를 추정하며, 상기 LDR 빛 정보 및 상기 HDR 빛 정보를 함께 사용하여 선형 보간법(linear interpolation)을 통해 상기 전방향 빛 정보를 추정하는, 딥러닝 기반의 조명 조건 추정 방법
|
| 7 |
7
사실적 혼합현실 라이팅을 위한 단일 재질 객체로부터의 딥러닝 기반의 조명 조건 추정 시스템에 있어서,입력 이미지에 포함된 단일 재질의 대상 객체를 검출하며, 상기 대상 객체로부터 재질 정보를 제거하여 빛 반사 정보를 획득하는 빛 반사 정보 획득부;상기 대상 객체에서 반사되는 상기 빛 반사 정보에서 파노라마 이미지 형태의 LDR(Low Dynamic Range) 빛 정보를 추정하는 LDR 빛 정보 추정부; 및상기 LDR 빛 정보를 이용하여 HDR(High Dynamic Range) 빛 정보를 추정하며, 상기 LDR 빛 정보 및 상기 HDR 빛 정보를 합하여 상기 대상 객체에 대한 전방향 빛 정보를 추정하는 전방향 빛 정보 추정부를 포함하는 딥러닝 기반의 조명 조건 추정 시스템
|
| 8 |
8
제7항에 있어서,상기 빛 반사 정보 획득부는RGB 이미지인 상기 입력 이미지에 포함된 단일 재질의 상기 대상 객체를 검출하며, 이래디언스 네트워크(Irradiance Network)를 기반으로, 상기 대상 객체에서 중요도 기반 이래디언스(Importance-weighted Irradiance)인 상기 빛 반사 정보를 획득하는, 딥러닝 기반의 조명 조건 추정 시스템
|
| 9 |
9
제8항에 있어서,상기 빛 반사 정보 획득부는RGB 이미지인 상기 대상 객체로부터 상기 대상 객체의 표면 픽셀에 대한 중요도 샘플링을 바탕으로 입사 광선 평균을 추출하는 상기 중요도 기반 이래디언스(Importance-weighted Irradiance)를 추정하는, 딥러닝 기반의 조명 조건 추정 시스템
|
| 10 |
10
제7항에 있어서,상기 LDR 빛 정보 추정부는일루미네이션 네트워크(Illumination Network)를 기반으로, 상기 빛 반사 정보에서 입사 방향의 광선을 추정하여 파노라마 RGB 이미지 형태의 상기 LDR 빛 정보를 추정하는, 딥러닝 기반의 조명 조건 추정 시스템
|
| 11 |
11
제10항에 있어서,상기 LDR 빛 정보 추정부는상기 대상 객체에서 반사되는 빛을 파노라마 이미지로 추정할 때 쉬운 빛 정보(low frequency)부터 어려운 빛 정보(high frequency)까지 학습하는 점진적 학습(gradual training)으로 상기 일루미네이션 네트워크를 학습시키는 것을 특징으로 하는, 딥러닝 기반의 조명 조건 추정 시스템
|
| 12 |
12
제7항에 있어서,상기 전방향 빛 정보 추정부는HDR 네트워크(HDR Network)를 기반으로, 상기 LDR 빛 정보에서 광원과 같은 포화 영역에 상대적으로 더 높은 에너지 값을 갖도록 처리하여 HDR 값에 따른 상기 HDR 빛 정보를 추정하며, 상기 LDR 빛 정보 및 상기 HDR 빛 정보를 함께 사용하여 선형 보간법(linear interpolation)을 통해 상기 전방향 빛 정보를 추정하는, 딥러닝 기반의 조명 조건 추정 시스템
|
