| 1 |
1
희소 깊이값을 갖는 영상을 수신하는 단계;상기 영상으로부터 상기 희소 깊이값이 할당된 표본점들을 노드로 구성하며 상기 노드들로 둘러싸인 복수의 패치들을 포함하는 메쉬(mesh)를 생성하는 단계;상기 패치마다 법선 벡터를 산출하는 단계;상기 희소 깊이값과 상기 법선 벡터에 근거하여 비용 함수(cost function)를 구성하는 단계; 및상기 비용 함수를 구성하는 법선 벡터 함수를 적어도 정규화하여 상기 비용 함수를 최적화하고, 상기 최적화된 비용 함수를 이용하여 상기 법선 벡터와 상기 희소 깊이값을 정규화함과 아울러서 상기 희소 깊이값의 노이즈를 제거하는 단계를 포함하는 희소 깊이 데이터의 정제 방법
|
| 2 |
2
제 1 항에 있어서, 상기 비용 함수는 상기 법선 벡터 함수와 함께, 희소 깊이값 함수 및 상기 법선 벡터와 상기 희소 깊이값 간의 상관 함수를 포함하는 희소 깊이 데이터의 정제 방법
|
| 3 |
3
제 2 항에 있어서,상기 비용함수를 최적화하는 단계는,상기 법선 벡터 함수를 정규화하고, 상기 정규화된 법선 벡터 함수를 이용하여 상기 법선 벡터를 정규화하는 단계; 상기 정규화된 법선 벡터와 상기 희소 깊이값에 기초하여 상기 상관 함수의 상관 계수를 산출하고, 상기 상관 계수를 갖는 상기 상관 함수를 이용하여 상기 정규화된 법선 벡터들 간의 상관 관계 및 제 1 정규화된 희소 깊이값을 산출하는 단계; 및 상기 정규화된 법선 벡터들의 상관 관계 및 상기 제 1 정규화된 희소 깊이값에 기초하여 상기 희소 깊이값 함수의 유사도 계수를 산출하며, 상기 유사도 계수를 갖는 희소 깊이값 함수에 의해 상기 제 1 정규화된 희소 깊이값에 기초하여 제 2 정규화된 희소 깊이값을 산출하여, 상기 희소 깊이값의 노이즈를 제거하는 단계를 포함하는 희소 깊이 데이터의 정제 방법
|
| 4 |
4
제 3 항에 있어서, 상기 상관 계수는 상기 노드 및 상기 정규화된 법선 벡터에 기반한 요소값으로 산출되고, 상기 요소값은 상기 패치마다의 정규화된 법선 벡터, 상기 패치를 구성하는 이웃 노드들의 각 위치값들 및 가중치에 기초하여 산출되며, 상기 가중치는 상기 패치의 이웃 노드들 간의 컬러값의 차 또는 상기 이웃 노드를 연결하는 에지(edge)에 인접한 양쪽의 법선 벡터들 간의 차에 대한 절대값인 희소 깊이 데이터의 정제 방법
|
| 5 |
5
제 3 항에 있어서, 상기 유사도 계수의 산출은 상기 노드를 중심으로 에지로 연결됨과 아울러서 상기 노드에 인접한 주변 노드들과 상기 노드로 구성되는 노드 집합에 속한 노드들에 대해 유사도에 기반한 유사 가중치들을 생성하고, 양방향 필터링(bilateral filtering)에 의해 상기 유사 가중치들의 가중 평균을 산출하는 과정을 포함하는 희소 깊이 데이터의 정제 방법
|
| 6 |
6
제 1 항에 있어서, 상기 법선 벡터 함수의 정규화는 증강 라그랑지안 (Augmented Lagrangian) 기법에 의해 수행되는 희소 깊이 데이터의 정제 방법
|
| 7 |
7
제 1 항에 있어서,상기 법선 벡터 함수는 상기 법선 벡터들의 벡터 총변이(vectorial total variation), 및 상기 패치마다의 법선 벡터와 넓이에 기초한 값에 대한 L2_norm인 희소 깊이 데이터의 정제 방법
|
| 8 |
8
제 1 항에 있어서, 상기 노이즈가 제거된 희소 깊이값의 노드를 포함하는 패치 내에서 상기 패치의 영상과 적어도 일부 관련된 복수의 주변 영상들과 동일 추정되는 특징점을 후보 표본점으로 선정하는 단계;소정 기준에 부합하는 후보 표본점을 추가 표본점으로 추가하는 단계; 및상기 추가 표본점과 상기 노이즈가 제거된 상기 표본점에 대하여 상기 메쉬를 구성하는 단계, 상기 법선 벡터를 산출하는 단계, 상기 비용 함수를 구성하는 단계 및 상기 희소 깊이값의 노이즈를 제거하는 단계를 반복하는 단계를 더 포함하고, 상기 후보 표본점은 상기 패치 내에서 상기 노이즈가 제거된 상기 표본점과 상이한 특징점임과 아울러서 희소 깊이값이 할당되어 있는 희소 깊이 데이터의 정제 방법
|
| 9 |
9
제 8 항에 있어서,상기 소정 기준에 부합하는 후보 표본점을 추가 표본점으로 추가하는 단계는 상기 주변 영상들과 정합도가 가장 큰 후보 표본점을 추가 표본점으로 추가하는 희소 깊이 데이터의 정제 방법
|
| 10 |
10
제 8 항에 있어서, 상기 소정 기준에 부합하는 후보 표본점을 추가 표본점으로 추가하는 단계는 깊이 일관도가 가장 높은 후보 표본점을 추가 표본점으로 추가하며, 상기 깊이 일관도는 상기 후보 표본점을 포함하는 상기 패치의 영상의 재사영 및 상기 주변 영상들로의 상기 패치의 영상의 사영 중 적어도 하나에 의한 깊이값 차이 측정에 기초하는 희소 깊이 데이터의 정제 방법
|
| 11 |
11
희소 깊이값을 갖는 영상을 수신하는 송수신부;상기 희소 깊이값의 노이즈를 제거하는 프로그램을 저장하는 메모리; 및상기 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램에 의해, 상기 영상으로부터 상기 희소 깊이값이 할당된 표본점들을 노드로 구성하며 상기 노드들로 둘러싸인 복수의 패치들을 포함하는 메쉬를 생성하는 처리와, 상기 패치마다 법선 벡터를 산출하는 처리와, 상기 희소 깊이값과 상기 법선 벡터에 근거하여 비용 함수를 구성하는 처리와,상기 비용 함수를 구성하는 법선 벡터 함수를 적어도 정규화하여 상기 비용 함수를 최적화하고, 상기 최적화된 비용 함수를 이용하여 상기 법선 벡터와 상기 희소 깊이값을 정규화함과 아울러서 상기 희소 깊이값의 노이즈를 제거하는 처리를 실행시키는 희소 깊이 데이터의 정제 장치
|
| 12 |
12
제 11 항에 있어서, 상기 비용 함수는 상기 법선 벡터 함수와 함께, 희소 깊이값 함수 및 상기 법선 벡터와 상기 희소 깊이값 간의 상관 함수를 포함하는 희소 깊이 데이터의 정제 장치
|
| 13 |
13
제 12 항에 있어서, 상기 비용함수를 최적화하는 처리는,상기 법선 벡터 함수를 정규화하고, 상기 정규화된 법선 벡터 함수를 이용하여 상기 법선 벡터를 정규화하는 처리와, 상기 정규화된 법선 벡터와 상기 희소 깊이값에 기초하여 상기 상관 함수의 상관 계수를 산출하고, 상기 상관 계수를 갖는 상기 상관 함수를 이용하여 상기 정규화된 법선 벡터들 간의 상관 관계 및 제 1 정규화된 희소 깊이값을 산출하는 처리, 및 상기 정규화된 법선 벡터들의 상관 관계 및 상기 제 1 정규화된 희소 깊이값에 기초하여 상기 희소 깊이값 함수의 유사도 계수를 산출하며, 상기 유사도 계수를 갖는 희소 깊이값 함수에 의해 상기 제 1 정규화된 희소 깊이값에 기초하여 제 2 정규화된 희소 깊이값을 산출하여, 상기 희소 깊이값의 노이즈를 제거하는 처리를 포함하는 희소 깊이 데이터의 정제 장치
|
| 14 |
14
제 13 항에 있어서, 상기 상관 계수는 상기 노드 및 상기 정규화된 법선 벡터에 기반한 요소값으로 산출되고, 상기 요소값은 상기 패치마다의 정규화된 법선 벡터, 상기 패치를 구성하는 이웃 노드들의 각 위치값들 및 가중치에 기초하여 산출되며, 상기 가중치는 상기 패치의 이웃 노드들 간의 컬러값의 차 또는 상기 이웃 노드를 연결하는 에지(edge)에 인접한 양쪽의 법선 벡터들 간의 차에 대한 절대값인 희소 깊이 데이터의 정제 장치
|
| 15 |
15
제 13 항에 있어서, 상기 유사도 계수의 산출은 상기 노드를 중심으로 에지로 연결됨과 아울러서 상기 노드에 인접한 주변 노드들과 상기 노드로 구성되는 노드 집합에 속한 노드들에 대해 유사도에 기반한 유사 가중치들을 생성하고, 양방향 필터링에 의해 상기 유사 가중치들의 가중 평균을 산출하는 과정을 포함하는 희소 깊이 데이터의 정제 장치
|
| 16 |
16
제 11 항에 있어서,상기 법선 벡터 함수의 정규화는 증강 라그랑지안 기법에 의해 수행되는 희소 깊이 데이터의 정제 장치
|
| 17 |
17
제 11 항에 있어서, 상기 법선 벡터 함수는 상기 법선 벡터들의 벡터 총변이, 및 상기 패치마다의 법선 벡터와 넓이에 기초한 값에 대한 L2_norm인 희소 깊이 데이터의 정제 장치
|
| 18 |
18
제 11 항에 있어서, 상기 프로세서는 상기 프로그램에 의해, 상기 노이즈가 제거된 희소 깊이값의 노드를 포함하는 패치 내에서 상기 패치의 영상과 적어도 일부 관련된 복수의 주변 영상들과 동일 추정되는 특징점을 후보 표본점으로 선정하는 처리와, 소정 기준에 부합하는 후보 표본점을 추가 표본점으로 추가하는 처리와, 상기 추가 표본점과 상기 노이즈가 제거된 상기 표본점에 대하여 상기 메쉬를 구성하는 처리, 상기 법선 벡터를 산출하는 처리, 상기 비용 함수를 구성하는 처리 및 상기 희소 깊이값의 노이즈를 제거하는 처리를 반복하는 처리를 더 포함하고, 상기 후보 표본점은 상기 패치 내에서 상기 노이즈가 제거된 상기 표본점과 상이한 특징점임과 아울러서 희소 깊이값이 할당되어 있는 희소 깊이 데이터의 정제 장치
|
| 19 |
19
제 18 항에 있어서,상기 소정 기준에 부합하는 후보 표본점을 추가 표본점으로 추가하는 처리는 상기 주변 영상들과 정합도가 가장 큰 후보 표본점을 추가 표본점으로 추가하는 희소 깊이 데이터의 정제 장치
|
| 20 |
20
제 18 항에 있어서, 상기 소정 기준에 부합하는 후보 표본점을 추가 표본점으로 추가하는 처리는 깊이 일관도가 가장 높은 후보 표본점을 추가 표본점으로 추가하며, 상기 깊이 일관도는 상기 후보 표본점을 포함하는 상기 패치의 영상의 재사영 및 상기 주변 영상들로의 상기 패치의 영상의 사영 중 적어도 하나에 의한 깊이값 차이 측정에 기초하는 희소 깊이 데이터의 정제 장치
|
