| 1 |
1
촬영 장치의 메타데이터를 이용하여 상기 촬영 장치에서 촬영된 초점 스택 내 이미지별 상대 화각을 산출하는 단계;상기 상대 화각에 기초하여 상기 초점 스택을 1차 정렬하는 단계;상기 1차 정렬된 이미지별 방사 운동, 수평 운동 및 수직 운동 특징을 이용하여 상기 초점 스택의 플로우 필드(flow field)를 결정하는 단계; 및상기 플로우 필드를 이용하여 상기 초점 스택을 2차 정렬하는 단계를 포함하는초점 스택의 정렬 방법
|
| 2 |
2
제1항에 있어서,상기 상대 화각을 산출하는 단계는상기 촬영 장치 내 렌즈와 이미지 센서 사이의 거리를 이용하여 상기 상대 화각을 산출하는 단계를 포함하는초점 스택의 정렬 방법
|
| 3 |
3
제2항에 있어서,상기 상대 화각을 산출하는 단계는하기 [수학식 1]에 따라 상대 화각을 산출하는 단계를 포함하는[수학식 1] (R_FoVn은 상기 상대 화각, smin은 상기 렌즈와 상기 이미지 센서 사이의 최소 거리, sn은 상기 초점 스택 내 각 이미지별 상기 렌즈와 상기 이미지 센서 사이의 거리)초점 스택의 정렬 방법
|
| 4 |
4
제2항에 있어서,상기 상대 화각을 산출하는 단계는상기 촬영 장치 내 렌즈의 초점 길이(focal length) 및 초점 거리(focal distance)에 기초하여 상기 렌즈와 상기 이미지 센서 사이의 거리를 산출하는 단계를 포함하는초점 스택의 정렬 방법
|
| 5 |
5
제4항에 있어서,상기 상대 화각을 산출하는 단계는하기 [수학식 2]에 따라 상기 렌즈와 상기 이미지 센서 사이의 거리를 산출하는 단계를 포함하는[수학식 2] (sn은 상기 각 이미지별 상기 렌즈와 상기 이미지 센서 사이의 거리, Fn은 초점 거리, f는 상기 렌즈의 초점 길이)초점 스택의 정렬 방법
|
| 6 |
6
제1항에 있어서,상기 초점 스택을 1차 정렬하는 단계는상기 상대 화각을 이용하여 상기 초점 스택 내 각 이미지를 스케일링(scaling)하는 단계를 포함하는초점 스택의 정렬 방법
|
| 7 |
7
제1항에 있어서,상기 초점 스택을 1차 정렬하는 단계는상기 초점 스택 내 각 이미지 중에서 화각이 가장 작은 이미지에 맞추어 상기 초점 스택을 정렬하는 단계를 포함하는초점 스택의 정렬 방법
|
| 8 |
8
제1항에 있어서,상기 플로우 필드를 결정하는 단계는상기 1차 정렬된 이미지의 특징을 인코딩하는 단계와,상기 인코딩된 특징을 디코딩하여 상기 방사 운동, 수평 운동 및 수직 운동 특징을 생성하는 단계와,상기 방사 운동, 수평 운동 및 수직 운동 특징에 의해 정의되는 상기 플로우 필드를 결정하는 단계를 포함하는초점 스택의 정렬 방법
|
| 9 |
9
제8항에 있어서,상기 인코딩하는 단계는, 상기 초점 스택 내 각 이미지와 기준 이미지의 특징을 인코딩하고, 인코딩된 각 특징을 결합하여 비용 볼륨(cost volume)을 생성하는 단계를 포함하고,상기 디코딩하는 단계는, 상기 비용 볼륨을 디코딩하여 상기 방사 운동, 수평 운동 및 수직 운동 특징을 생성하는 단계를 포함하는초점 스택의 정렬 방법
|
| 10 |
10
제1항에 있어서,상기 2차 정렬하는 단계는상기 플로우 필드를 이용하여 상기 초점 스택 내 각 이미지를 와핑(warping)하는 단계를 포함하는초점 스택의 정렬 방법
|
| 11 |
11
제1항에 있어서,상기 방사 운동, 수평 운동 및 수직 운동 특징은, 정렬되지 않은 상기 초점 스택 내 기준 이미지와 상기 2차 정렬된 각 이미지 간 픽셀 위치의 오차가 최소가 되도록 학습되는초점 스택의 정렬 방법
|
| 12 |
12
제1항에 있어서,상기 2차 정렬하는 단계는상기 초점 스택을 단계적으로 인코딩하여 서로 다른 해상도를 갖는 복수의 스택을 생성하는 단계와,해상도가 더 낮은 스택으로부터 결정된 플로우 필드를 이용하여 해상도가 다음으로 높은 스택을 순차적으로 정렬하는 단계를 포함하는초점 스택의 정렬 방법
|
| 13 |
13
제1항 내지 제12항 중 어느 한 항에 따라 초점 스택을 정렬하는 단계;상기 정렬된 초점 스택으로부터 초점 특징을 추출하는 단계; 및상기 추출된 초점 특징을 이용하여 깊이 맵을 생성하는 단계를 포함하는깊이 정보 추정 방법
|
| 14 |
14
제13항에 있어서,상기 초점 특징을 추출하는 단계는상기 초점 스택 내 인접한 이미지들 간의 상관관계가 반영된 상기 초점 특징을 추출하는 단계를 포함하는깊이 정보 추정 방법
|
| 15 |
15
제13항에 있어서,상기 초점 특징을 추출하는 단계는상기 초점 스택 내 각 이미지에 2D 컨볼루션(convolution)을 적용하여 특징 스택을 생성하는 단계와,상기 특징 스택에 3D 컨볼루션을 적용하여 상기 초점 특징을 추출하는 단계를 포함하는깊이 정보 추정 방법
|
| 16 |
16
제13항에 있어서,상기 초점 특징을 추출하는 단계는상기 초점 스택에 컨볼루션을 적용하여 상기 초점 특징을 추출하는 단계와,상기 추출된 초점 특징을 다운샘플링하여 상기 초점 스택 내 인접한 이미지들 간의 상관관계에 따라 상기 초점 특징을 강화하는 단계를 포함하는깊이 정보 추정 방법
|
| 17 |
17
제16항에 있어서,상기 초점 특징을 강화하는 단계는상기 초점 특징에 3D 컨볼루션을 적용하여 제1 특징을 추출하는 단계와,상기 초점 특징에 맥스 풀링(max pooling) 및 3D 컨볼루션을 순차 적용하여 제2 특징을 추출하는 단계와,상기 제1 및 제2 특징을 요소별 덧셈(element-wise addition)하여 상기 초점 특징을 강화하는 단계를 포함하는깊이 정보 추정 방법
|
| 18 |
18
제13항에 있어서,상기 깊이 맵을 생성하는 단계는상기 초점 특징을 깊이 추정 신경망에 입력하여 상기 깊이 맵을 생성하는 단계를 포함하는깊이 정보 추정 방법
|
