| 1 |
1
카메라 및 라이다 센서와 연동되는 라이다 데이터 증강 장치에서 수행하는 라이다 데이터 증강 방법으로서, 상기 카메라로부터 영상 프레임을 획득하는 단계; 상기 라이다 센서로부터 상기 카메라와 동일한 영역의 라이다 데이터를 획득하는 단계; 상기 영상 프레임에 포함된 객체에 대한 분할 마스크를 생성하는 단계; 생성된 분할 마스크에 포함되는 2차원 포인트를 샘플링하여 획득하는 단계; 및상기 라이다 데이터 및 상기 2차원 포인트에 기초하여 증강된 라이다 데이터를 생성하는 단계를 포함하는 라이다 데이터 증강 방법
|
| 2 |
2
제1항에 있어서, 상기 증강된 라이다 데이터를 생성하는 단계는, 3차원 데이터인 상기 라이다 데이터를 상기 영상 프레임 위에 중첩(overlay)시켜 상기 분할 마스크에 상기 라이다 데이터가 투영된 깊이 맵을 생성하는 단계;상기 2차원 포인트에 생성된 상기 깊이 맵을 적용시켜 깊이 정보가 추가된 2차원 포인트인 가공된 포인트 클라우드를 생성하는 단계; 및상기 가공된 포인트 클라우드와 상기 라이다 데이터를 결합하여 증강된 라이다 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 라이다 데이터 증강 방법
|
| 3 |
3
제2항에 있어서, 상기 깊이 맵을 생성하는 단계에서는, 상기 영상 프레임 및 라이다 데이터 간의 기설정된 보정 파라미터에 기초하여 중첩시키고, 상기 영상 프레임에서 라이다 데이터가 중첩된 픽셀에 상기 3차원 데이터를 투영(projection)함으로써 상기 분할 마스크에 대한 상기 깊이 맵을 생성하는 것을 특징으로 하는 라이다 데이터 증강 방법
|
| 4 |
4
제2항에 있어서, 상기 증강된 라이다 데이터를 획득하는 단계에서는, 가공된 포인트 클라우드와 라이다 데이터 간의 불연속한 영역을 채우고, 깊이 정보에 대해 일정값 이상의 에러를 갖는 가공된 포인트 클라우드는 제거하는 후처리를 수행하는 것을 특징으로 하는 라이다 데이터 증강 방법
|
| 5 |
5
제1항에 있어서, 상기 분할 마스크를 생성하는 단계에서는, 상기 영상 프레임에 포함된 모든 객체에 2차원 분할 마스크를 생성하는 것을 특징으로 하는 라이다 데이터 증강 방법
|
| 6 |
6
제1항에 있어서, 상기 카메라 및 상기 라이다 센서가 동일한 영역으로부터 영상 프레임 및 라이다 데이터를 획득하기 위해 상기 영상 프레임을 획득하는 단계 및 상기 라이다 데이터를 획득하는 단계 이전에 상기 카메라 및 상기 라이다 센서의 동기화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 라이다 데이터 증강 방법
|
| 7 |
7
카메라 및 라이다 센서와 연동되는 라이다 데이터 증강 장치로서, 상기 카메라로부터 영상 프레임을 획득하는 비디오 데이터 수집부;상기 라이다 센서로부터 상기 카메라와 동일한 영역의 라이다 데이터를 획득하는 라이다 데이터 수집부;상기 영상 프레임에 포함된 객체에 대한 분할 마스크를 생성하는 객체 분할부; 생성된 분할 마스크에 포함되는 2차원 포인트를 샘플링하여 획득하는 포인트 샘플링부; 및 상기 라이다 데이터 및 상기 2차원 포인트에 기초하여 증강된 라이다 데이터를 생성하는 깊이 완성부를 포함하는 라이다 데이터 증강 장치
|
| 8 |
8
제7항에 있어서, 3차원 데이터인 상기 라이다 데이터를 상기 영상 프레임 위에 중첩(overlay)시켜 상기 분할 마스크에 상기 라이다 데이터가 투영된 대한 깊이 맵을 생성하는 픽셀 투영부를 더 포함하고, 상기 깊이 완성부는, 상기 2차원 포인트에 생성된 상기 깊이 맵을 적용시켜 깊이 정보가 추가된 2차원 포인트인 가공된 포인트 클라우드를 생성하고, 가공된 포인트 클라우드와 상기 라이다 데이터를 결합하여 증강된 라이다 데이터를 획득하는 것을 특징으로 하는 라이다 데이터 증강 장치
|
| 9 |
9
제8항에 있어서, 상기 픽셀 투영부는, 상기 영상 프레임 및 라이다 데이터 간의 기설정된 보정 파라미터에 기초하여 상기 라이다 데이터를 상기 영상 프레임 위에 중첩시키고, 상기 영상 프레임에서 라이다 데이터가 중첩된 픽셀에 상기 3차원 데이터인 상기 라이다 데이터를 투영(projection)함으로써 상기 분할 마스크에 대한 상기 깊이 맵을 생성하는 것을 특징으로 하는 라이다 데이터 증강 장치
|
| 10 |
10
제8항에 있어서, 상기 깊이 완성부는, 가공된 포인트 클라우드와 라이다 데이터 간의 불연속 영역의 간격을 채우고, 깊이 정보에 대해 일정값 이상의 에러를 갖는 가공된 포인트 클라우드는 제거하는 후처리를 수행하는 것을 특징으로 하는 라이다 데이터 증강 장치
|
| 11 |
11
제7항에 있어서, 상기 객체 분할부는, 상기 영상 프레임에 포함된 모든 객체에 2차원 분할 마스크를 생성하는 것을 특징으로 하는 라이다 데이터 증강 장치
|
| 12 |
12
제7항에 있어서, 상기 카메라 및 상기 라이다 센서가 동일한 영역으로부터 영상 프레임 및 라이다 데이터를 획득하기 위해 상기 영상 프레임을 획득하고 상기 라이다 데이터를 획득하기 전에 상기 카메라 및 라이다 센서의 동기화를 수행하는 동기화부를 더 포함하는 것을 특징으로 하는 라이다 데이터 증강 장치
|
