| 1 |
1
차량에 장착된 카메라로부터 주기적으로 촬영되는 영상을 프레임 단위로 입력받는 영상 입력부;상기 주기적으로 입력되는 각 영상 프레임에서 에지 추출이 용이하도록 피사체의 윤곽선과 영상 신호 분포를 이진화 처리하는 영상 처리부;상기 영상 처리된 각 영상 프레임에서 에지를 추출하고, 상기 추출된 에지에서 세미-덴스(Semi-dense)의 후보자로 지정되는 복수의 에지점들을 추출하는 에지 및 에지점 추출부;상기 영상 프레임이 새로 입력될 때 마다 계속해서 상기 복수의 에지점들을 추적하는 에지점 추적부; 및상기 추적되는 에지점들에 대한 최적의 뎁스(depth)를 추정하고, 이 추정된 최적의 뎁스를 3차원 지도에 반영하여 업데이트하는 뎁스 추정부;를 포함하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치
|
| 2 |
2
제 1항에 있어서, 상기 에지 및 에지점 추출부는,주기적으로 입력되는 상기 영상 프레임별로 에지 및 에지점들을 추출하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치
|
| 3 |
3
제 1항에 있어서, 상기 뎁스 추정부는,SAD(Sum of absolute differences) 코스트 값이 최소인 뎁스를 최적의 뎁스로 추정하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치
|
| 4 |
4
제 1항에 있어서, 상기 영상 처리부, 에지 및 에지점 추출부, 에지점 추적부, 및 뎁스 추정부는 하나의 제어부로 통합될 수 있음을 특징으로 하는 실시간 3차원 지도 구축 장치
|
| 5 |
5
제 4항에 있어서, 상기 제어부는,이전 영상 프레임의 에지점들의 3차원 지도 정보를 현재 영상 프레임으로 전파하고; 미리 지정된 개수의 이전 영상 프레임들과 현재 영상 프레임 간의 에지점들의 뎁스에 따른 SAD 코스트들을 산출하며; 상기 SAD 코스트들을 이용해 SAD 코스트 볼륨을 생성하여 현재 영상 프레임의 에지점들에 대한 최적의 새로운 3차원 거리 정보를 산출하고; 상기 에지점들에 대한 기존의 3차원 거리 정보와 상기 현재 영상 프레임에 기초하여 상기 새로 구한 3차원 거리 정보에, 미리 지정된 비율을 적용하여 기존의 3차원 거리를 보정하여 새로운 3차원 거리 정보로 업데이트 하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치
|
| 6 |
6
제 5항에 있어서, 상기 제어부는,상기 SAD 코스트 볼륨을 생성하기 위하여, 이전 영상 프레임들 및 현재 영상 프레임에서 세미-덴스의 후보자로 지정되는 에지들의 각 에지점마다 에피폴 라인을 산출하고; 상기 각 에지점들의 에피폴 라인을 각기 산출한 후, 상기 에피폴 라인들에 대하여 미리 지정된 복수의 뎁스로 샘플링 하여 현재 영상 프레임에서 이전 영상 프레임으로 재투영 하며; 이전 영상 프레임에 재투영 된 각 에지점과 현재 영상 프레임에서의 각 에지점의 패치를 비교하여 SAD 코스트를 산출하고; 이전 영상 프레임들 및 현재 영상 프레임에 대해서 상기 재투영 동작을 통한 패치 비교를 통해 SAD 코스트를 산출하고, 상기 산출한 SAD 코스트 값을 이용하여 SAD 코스트 볼륨을 생성하며; 상기 SAD 코스트 볼륨에서 최적의 뎁스 값을 찾아 3차원 환경 지도에 적용하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치
|
| 7 |
7
제 5항에 있어서, 상기 제어부는,이전 영상 프레임의 에지점들에 대한 뎁스를 3차원 지도에 반영하고, 이전 영상 프레임과 현재 영상 프레임의 비교를 통해 SAD 코스트를 산출하기 위하여, 상기 3차원 지도에 반영된 에지점을 현재 영상 프레임에 투영하는 전파 동작을 수행하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치
|
| 8 |
8
제 5항에 있어서, 상기 SAD 코스트는,차량에 장착된 카메라의 이동 방향과 이동 거리에 대응하여, 이전 영상 프레임 및 현재 영상 프레임에서의 에지점들에 대한 패치 비교를 통해 상기 패치 값이 같은 정도를 SAD 코스트라고 하는 것을 특징으로 하는 실시간 3차원 지도 구축 장치
|
| 9 |
9
실시간 3차원 지도 구축 장치의 제어부가 이전 영상 프레임의 에지점들의 3차원 지도 정보를 현재 영상 프레임으로 전파하는 단계;상기 제어부가 미리 지정된 개수의 이전 영상 프레임들과 현재 영상 프레임 간의 에지점들의 뎁스에 따른 SAD 코스트들을 산출하는 단계;상기 제어부가 상기 SAD 코스트들을 이용해 SAD 코스트 볼륨을 생성하여 현재 영상 프레임의 에지점들에 대한 최적의 새로운 3차원 거리 정보를 산출하는 단계; 및상기 제어부가 상기 에지점들에 대한 기존의 3차원 거리 정보와 상기 현재 영상 프레임에 기초하여 상기 새로 구한 3차원 거리 정보에, 미리 지정된 비율을 적용하여 기존의 3차원 거리를 보정하여 새로운 3차원 거리 정보로 업데이트 하는 단계;를 포함하는 것을 특징으로 하는 실시간 3차원 지도 구축 방법
|
| 10 |
10
제 9항에 있어서, 상기 SAD 코스트 볼륨을 생성하기 위하여,상기 제어부가 이전 영상 프레임들 및 현재 영상 프레임에서 세미-덴스의 후보자로 지정되는 에지들의 각 에지점마다 에피폴 라인을 산출하는 단계;상기 제어부가 상기 각 에지점들의 에피폴 라인을 각기 산출한 후, 상기 에피폴 라인들에 대하여 미리 지정된 복수의 뎁스로 샘플링 하여 현재 영상 프레임에서 이전 영상 프레임으로 재투영 하는 단계;상기 제어부가 이전 영상 프레임에 재투영 된 각 에지점과 현재 영상 프레임에서의 각 에지점의 패치를 비교하여 SAD 코스트를 산출하는 단계;상기 제어부가 이전 영상 프레임들 및 현재 영상 프레임에 대해서 상기 재투영 동작을 통한 패치 비교를 통해 SAD 코스트를 산출하고, 상기 산출한 SAD 코스트 값을 이용하여 SAD 코스트 볼륨을 생성하는 단계; 및상기 제어부가 상기 SAD 코스트 볼륨에서 최적의 뎁스 값을 찾아 3차원 환경 지도에 적용하는 단계;를 포함하는 것을 특징으로 하는 실시간 3차원 지도 구축 방법
|
| 11 |
11
제 10항에 있어서, 상기 재투영은, 상기 제어부가 현재 영상 프레임의 에지점들에 대한 뎁스를 3차원 지도에 반영하고, 이전 영상 프레임과 현재 영상 프레임의 비교를 통해 SAD 코스트를 산출하기 위하여, 상기 3차원 지도에 반영된 에지점을 이전 영상 프레임에 투영하는 동작을 의미하는 것을 특징으로 하는 실시간 3차원 지도 구축 방법
|
| 12 |
12
제 10항에 있어서, 상기 에피폴 라인은,에피폴 매칭을 통해 표현되는 정보로서, 상기 에피폴 매칭은 연속된 2개의 영상 프레임인 이전 영상 프레임과 현재 영상 프레임에 대하여 각각의 카메라 위치 정보를 알고 있다고 가정하고, 이전 영상에서의 한 에지점이 현재 영상 프레임에서 하나의 에피폴 라인으로 표현되고, 그 에피폴 라인 위를 서칭하며 가장 비슷한 점으로서, SAD 코스트 값이 최소인 에지점을 찾기 위한 정보인 것을 특징으로 하는 실시간 3차원 지도 구축 방법
|
| 13 |
13
제 10항에 있어서, 상기 패치는,에지점을 중심으로 일정하게 지정된 사각의 윈도우 영역인 것을 특징으로 하는 실시간 3차원 지도 구축 방법
|
