| 1 |
1
적어도 하나의 프로세서에 의해 동작하는 장치가 깊이 추정하는 방법으로서,학습용 멀티뷰 이미지에서, 스테레오 매칭을 위한 복수의 비용 함수들 각각으로 임의 픽셀의 깊이 라벨을 계산하고, 계산한 깊이 라벨들을 포함하는 초기 비용 특징 벡터를 생성하는 단계,상기 초기 비용 특징 벡터와 상기 임의 픽셀의 검증용 깊이 라벨(ground truth)로 구성된 픽셀별 학습 데이터를 기초로 제1 랜덤 포레스트 모델을 분류 학습시키는 단계,분류 학습된 상기 제1 랜덤 포레스트 모델을 통해 상기 초기 비용 특징 벡터를 구성하는 상기 복수의 비용 함수들의 중요도를 계산하고, 중요도를 기초로 상기 복수의 비용 함수들 중에서 선택된 일정 수의 중요 비용 함수들을 이용하여 중요 비용 특징 벡터를 생성하는 단계, 그리고상기 중요 비용 특징 벡터를 기초로 해당 임의 픽셀의 검증용 깊이 라벨을 예측하도록 제2 랜덤 포레스트 모델을 회귀 학습시키는 단계를 포함하는 깊이 추정 방법
|
| 2 |
2
제1항에서,깊이 추정용 이미지를 입력받는 단계,상기 중요 비용 함수들로 상기 깊이 추정용 이미지의 픽셀별 깊이 라벨들을 계산하여 픽셀별 중요 비용 특징 벡터를 생성하는 단계, 그리고상기 픽셀별 중요 비용 특징 벡터를 상기 제2 랜덤 포레스트 모델에 입력하여 추정된 픽셀별 깊이값을 획득하는 단계를 더 포함하는 깊이 추정 방법
|
| 3 |
3
제1항에서,상기 학습용 멀티뷰 이미지를 생성하는 단계를 더 포함하고,상기 학습용 멀티뷰 이미지를 생성하는 단계는라이트 필드 카메라로 촬영한 백색 평면 이미지로부터 비네팅 맵을 획득하는 단계, 그리고가상 환경에서 만들어진(synthetic) 라이트 필드 이미지에 상기 비네팅 맵을 적용하여 비네팅 적용된 이미지를 생성하는 단계를 포함하는, 깊이 추정 방법
|
| 4 |
4
제3항에서,상기 학습용 멀티뷰 이미지를 생성하는 단계는상기 비네팅 적용된 이미지를 구성하는 서브 어퍼처 이미지들 각각에서 같은 위치의 픽셀을 하나의 렌즈릿으로 수집하여 렌즈릿 이미지를 생성하는 단계,상기 렌즈릿 이미지를 그레이 스케일 이미지로 변환하고, 상기 라이트 필드 카메라의 노이즈를 모사한 노이즈 맵을 적용한 후, 컬러 이미지로 복원하는 단계, 그리고상기 컬러 이미지의 픽셀들을 서브 어퍼처 이미지들로 재배치하여 학습용 라이트 필드 이미지를 생성하는 단계를 더 포함하는, 깊이 추정 방법
|
| 5 |
5
제1항에서,상기 초기 비용 특징 벡터는 복수의 매칭 그룹들에서 상기 복수의 비용 함수들로 계산된 깊이 라벨들의 집합이고,각 매칭 그룹은 기준 뷰(Reference view) 이미지로부터 같은 거리에 있는 타겟 뷰(Target view) 이미지들로 구성되는, 깊이 추정 방법
|
| 6 |
6
제1항에서,상기 복수의 비용 함수들은 SAD(Sum of Absolute Difference) 함수, ZNCC(Zero-mean Normalized Cross correlation) 함수, Census(Census Transform) 함수, 그리고 GRAD(Sum of Gradient Difference) 함수 중 적어도 두 함수의 결합 함수들을 포함하는, 깊이 추정 방법
|
| 7 |
7
적어도 하나의 프로세서에 의해 동작하는 장치가 깊이 추정하는 방법으로서,가상 환경에서 만들어진(synthetic) 라이트 필드 이미지들에 라이트 필드 카메라의 비네팅 맵 및 노이즈 맵을 적용하여 학습용 이미지셋을 생성하는 단계,상기 학습용 이미지셋에 포함된 각 학습용 이미지의 임의 픽셀에 대해, 스테레오 매칭을 위한 복수의 비용 함수들 각각으로 해당 픽셀의 깊이 라벨들을 계산하는 단계, 임의 픽셀에 대해 계산한 깊이 라벨들과 해당 임의 픽셀의 검증용 깊이 라벨(ground truth)을 이용하여 랜덤 포레스트 분류 모델 및 랜덤 포레스트 회귀 모델을 단계적으로 학습시키는 단계, 상기 랜덤 포레스트 회귀 모델의 회귀 학습에 사용된 중요 비용 함수들을 기초로 깊이 추정용 이미지의 픽셀별 깊이 라벨들을 계산하는 단계, 그리고상기 깊이 추정용 이미지의 픽셀별 깊이 라벨들을 상기 랜덤 포레스트 회귀 모델에 입력하여 추정된 픽셀별 깊이값을 획득하는 단계를 포함하고,상기 랜덤 포레스트 회귀 모델은 중요 비용 함수들로부터 해당 임의 픽셀의 깊이 라벨을 예측하도록 학습되고,상기 중요 비용 함수들은 상기 랜덤 포레스트 분류 모델의 분류 학습을 통해 획득한 중요도를 기초로 상기 복수의 비용 함수들 중에서 선택되는, 깊이 추정 방법
|
| 8 |
8
제7항에서,상기 학습시키는 단계는상기 복수의 비용 함수들 각각으로 계산한 깊이 라벨들과 해당 임의 픽셀의 검증용 깊이 라벨로 상기 랜덤 포레스트 분류 모델을 학습시키는 단계,상기 랜덤 포레스트 분류 모델의 분류에 영향을 미친 정도를 기초로 상기 복수의 비용 함수들의 중요도를 계산하고, 중요도를 기초로 상기 복수의 비용 함수들 중에서 상기 중요 비용 함수들을 선택하는 단계, 그리고상기 중요 비용 함수들로 계산된 깊이 라벨들을 기초로 해당 임의 픽셀의 깊이 라벨을 예측하도록 상기 랜덤 포레스트 회귀 모델을 학습시키는 단계를 포함하는, 깊이 추정 방법
|
| 9 |
9
제7항에서,상기 학습용 이미지셋을 생성하는 단계는각 가상 환경에서 만들어진 라이트 필드 이미지에, 상기 라이트 필드 카메라로 촬영한 백색 평면 이미지로부터 획득한 비네팅 맵을 적용하여 비네팅 적용된 이미지를 생성하는 단계,상기 비네팅 적용된 이미지를 구성하는 서브 어퍼처 이미지들 각각에서 같은 위치의 픽셀을 하나의 렌즈릿으로 수집하여 렌즈릿 이미지를 생성하는 단계,상기 렌즈릿 이미지를 그레이 스케일 이미지로 변환하고, 상기 라이트 필드 카메라의 노이즈를 모사한 노이즈 맵을 적용한 후, 컬러 이미지로 복원하는 단계, 그리고상기 컬러 이미지의 픽셀들을 서브 어퍼처 이미지들로 재배치하여 학습용 라이트 필드 이미지를 생성하는 단계를 포함하는, 깊이 추정 방법
|
| 10 |
10
제7항에서,상기 해당 픽셀의 깊이 라벨들을 계산하는 단계는복수의 매칭 그룹들에서 상기 복수의 비용 함수들로 계산된 깊이 라벨들의 집합이고,각 매칭 그룹은 기준 뷰(Reference view) 이미지로부터 같은 거리에 있는 타겟 뷰(Target view) 이미지들로 구성되는, 깊이 추정 방법
|
| 11 |
11
적어도 하나의 프로세서에 의해 동작하는 장치가 깊이 추정하는 방법으로서,깊이 추정용 멀티뷰 이미지를 입력받는 단계,복수의 중요 비용 함수들로 상기 깊이 추정용 멀티뷰 이미지의 픽셀별 깊이 라벨들을 계산하는 단계, 그리고상기 픽셀별 깊이 라벨들을 학습된 랜덤 포레스트 회귀 모델에 입력하여 추정된 픽셀별 깊이값을 획득하는 단계를 포함하고,상기 랜덤 포레스트 회귀 모델은 상기 복수의 중요 비용 함수들로 계산된 깊이 라벨들로부터 해당 픽셀의 깊이 라벨을 예측하도록 학습된 모델이고,상기 복수의 중요 비용 함수들은 랜덤 포레스트 분류 모델의 분류 학습을 통해 획득한 중요도를 기초로 복수의 초기 비용 함수들 중에서 선택된 함수들인, 깊이 추정 방법
|
| 12 |
12
제11항에서,학습용 멀티뷰 이미지에서, 스테레오 매칭을 위한 상기 복수의 초기 비용 함수들 각각으로 임의 픽셀의 깊이 라벨들을 계산하고, 임의 픽셀에 대해 계산한 깊이 라벨들과 해당 임의 픽셀의 검증용 깊이 라벨(ground truth)을 이용하여 상기 랜덤 포레스트 분류 모델 및 상기 랜덤 포레스트 회귀 모델을 단계적으로 학습시키는 단계를 더 포함하는, 깊이 추정 방법
|
| 13 |
13
제12항에서,상기 학습시키는 단계는상기 복수의 초기 비용 함수들 각각으로 계산한 깊이 라벨들과 해당 임의 픽셀의 검증용 깊이 라벨로 상기 랜덤 포레스트 분류 모델을 학습시키는 단계,상기 랜덤 포레스트 분류 모델의 분류에 영향을 미친 정도를 기초로 상기 복수의 초기 비용 함수들의 중요도를 계산하고, 중요도를 기초로 상기 복수의 초기 비용 함수들 중에서 상기 중요 비용 함수들을 선택하는 단계, 그리고상기 중요 비용 함수들로 계산된 깊이 라벨들을 기초로 해당 임의 픽셀의 깊이 라벨을 예측하도록 상기 랜덤 포레스트 회귀 모델을 학습시키는 단계를 포함하는, 깊이 추정 방법
|
| 14 |
14
제12항에서,상기 학습용 멀티뷰 이미지는 가상 환경에서 만들어진(synthetic) 라이트 필드 이미지에 라이트 필드 카메라를 모사한 비네팅 맵과 노이즈 맵을 적용한 이미지인, 깊이 추정 방법
|
| 15 |
15
제11항에서,상기 복수의 초기 비용 함수들은 SAD(Sum of Absolute Difference) 함수, ZNCC(Zero-mean Normalized Cross correlation) 함수, Census(Census Transform) 함수, 그리고 GRAD(Sum of Gradient Difference) 함수 중 적어도 두 함수의 결합 함수들을 포함하는, 깊이 추정 방법
|
