| 1 |
1
센서 캘리브레이션 방법에 있어서,영상 센서를 통해 제1 교통 표지를 촬영하여 2차원 이미지를 획득하는 단계;라이다 센서를 통해 상기 제1 교통 표지에 무선 신호를 송수신하여 3차원 포인트 클라우드를 획득하는 단계;상기 2차원 이미지로부터 교통 표지 추출 모델을 이용하여 교통 표지 영역을 추출하는 단계;상기 3차원 포인트 클라우드로부터 상기 3차원 교통 표지 데이터를 인식하고 2차원 교통 표지 데이터로 변환하는 단계;상기 교통 표지 영역에서 추출한 제1 코너 데이터, 상기 2차원 교통 표지 데이터에서 추출한 제2 코너 데이터, 상기 제2 코너 데이터를 3차원 공간에 투영한 제3 코너 데이터, 상기 제2 코너 데이터를 2차원 평면에 투영한 제4 코너 데이터를 이용하여 상기 라이다 센서 기반한 상기 영상 센서의 교정값을 추정하는 단계를 포함하는 센서 캘리브레이션 방법
|
| 2 |
2
제1항에 있어서,상기 교통 표지 영역을 추출하는 단계는,상기 교통 표지 추출 모델로 네트워크의 최종 출력단에서 경계박스 위치 찾기와 클래스 분류가 동시에 이뤄지는 모델을 구축하고,실시간 획득된 상기 2차원 이미지의 사이즈를 조정하여 상기 교통 표지 추출 모델에 입력하여 특징을 추출한 후 박스 형태의 후보 영역을 추출하고,상기 박스 형태의 후보 영역에서 에지 감지 및 색상 임계치를 이용하여 상기 교통 표지 영역을 추출하는 것을 특징으로 하는 센서 캘리브레이션 방법
|
| 3 |
3
제1항에 있어서,상기 2차원 교통 표지 데이터로 변환하는 단계는,상기 라이더 센서를 중심으로 하는 전역 좌표계에서 상기 3차원 포인트 클라우드를 기준 임계치까지 축적하고,상기 축적된 3차원 포인트 클라우드를 기준 복셀 그리드에 따라 샘플링하여 복셀화를 수행하고,상기 복셀화된 3차원 포인트 클라우드를 기준 세기에 따라 필터링하고,상기 필터링된 3차원 포인트 클라우드를 기준 근접 거리에 따라 클러스터링하고,상기 클러스터링된 3차원 포인트 클라우드에 무작위 샘플 데이터의 최대 지지를 받는 모델을 선택하는 영상 처리 방식 및 평면 투영 방식을 적용하여 2차원 평면에 피팅하는 것을 특징으로 하는 센서 캘리브레이션 방법
|
| 4 |
4
제1항에 있어서,상기 라이다 센서 기반한 상기 영상 센서의 교정값을 추정하는 단계는,상기 제1 코너 데이터에 따른 모서리의 기울기 및 상기 제3 코너 데이터에 따른 모서리의 기울기를 비교하여 상기 3차원 공간에서 상기 제1 교통 표지에 대한 제1 법선 벡터를 산출하고,상기 제1 교통 표지에 대한 상기 제1 법선 벡터 및 제2 교통 표지에 대한 제2 법선 벡터를 비교하여 상기 영상 센서의 회전 교정값을 추정하는 것을 특징으로 하는 센서 캘리브레이션 방법
|
| 5 |
5
제1항에 있어서,상기 라이다 센서 기반한 상기 영상 센서의 교정값을 추정하는 단계는,상기 제1 코너 데이터 및 상기 제4 코너 데이터를 비교하여 상기 제1 교통 표지에 대한 상기 영상 센서의 제1 위치 데이터를 산출하고,상기 제1 교통 표지에 대한 상기 영상 센서의 제1 위치 데이터 및 제2 교통 표지에 대한 상기 영상 센서의 제2 위치 데이터를 비교하여 상기 영상 센서의 위치 교정값을 추정하는 것을 특징으로 하는 센서 캘리브레이션 방법
|
| 6 |
6
제1항에 있어서,상기 라이다 센서 기반한 상기 영상 센서의 교정값을 추정하는 단계 이후에상기 영상 센서 및 상기 라이다 센서가 제3 교통 표지를 검출하면, 상기 제1 교통 표지 및 제2 교통 표지를 기반으로 추정한 상기 영상 센서의 교정값을 상기 제2 교통 표지 및 상기 제3 교통 표지를 기반으로 다시 추정하여 상기 교정값을 업데이트하는 단계를 포함하는 것을 특징으로 하는 센서 캘리브레이션 방법
|
| 7 |
7
프로세서를 포함하는 센서 캘리브레이션 장치에 있어서,상기 프로세서는,영상 센서를 통해 제1 교통 표지를 촬영하여 획득한 2차원 이미지를 수신하고,라이다 센서를 통해 상기 제1 교통 표지에 무선 신호를 송수신하여 획득한 3차원 포인트 클라우드를 수신하고,상기 2차원 이미지로부터 교통 표지 추출 모델을 이용하여 교통 표지 영역을 추출하고,상기 3차원 포인트 클라우드로부터 상기 3차원 교통 표지 데이터를 인식하고 2차원 교통 표지 데이터로 변환하고,상기 교통 표지 영역에서 추출한 제1 코너 데이터, 상기 2차원 교통 표지 데이터에서 추출한 제2 코너 데이터, 상기 제2 코너 데이터를 3차원 공간에 투영한 제3 코너 데이터, 상기 제2 코너 데이터를 2차원 평면에 투영한 제4 코너 데이터를 이용하여 상기 라이다 센서 기반한 상기 영상 센서의 교정값을 추정하는 것을 특징으로 하는 센서 캘리브레이션 장치
|
| 8 |
8
제7항에 있어서,상기 프로세서는,상기 교통 표지 추출 모델로 네트워크의 최종 출력단에서 경계박스 위치 찾기와 클래스 분류가 동시에 이뤄지는 모델을 구축하고,실시간 획득된 상기 2차원 이미지의 사이즈를 조정하여 상기 교통 표지 추출 모델에 입력하여 특징을 추출한 후 박스 형태의 후보을 추출하고,상기 박스 형태의 후보 영역에서 에지 감지 및 색상 임계치를 이용하여 상기 교통 표지 영역을 추출하는 것을 특징으로 하는 센서 캘리브레이션 장치
|
| 9 |
9
제7항에 있어서,상기 프로세서는,상기 라이더 센서를 중심으로 하는 전역 좌표계에서 상기 3차원 포인트 클라우드를 기준 임계치까지 축적하고,상기 축적된 3차원 포인트 클라우드를 기준 복셀 그리드에 따라 샘플링하여 복셀화를 수행하고,상기 복셀화된 3차원 포인트 클라우드를 기준 세기에 따라 필터링하고,상기 필터링된 3차원 포인트 클라우드를 기준 근접 거리에 따라 클러스터링하고,상기 클러스터링된 3차원 포인트 클라우드에 무작위 샘플 데이터의 최대 지지를 받는 모델을 선택하는 영상 처리 방식 및 평면 투영 방식을 적용하여 2차원 평면에 피팅하여, 상기 2차원 교통 표지 데이터로 변환하는 것을 특징으로 하는 센서 캘리브레이션 장치
|
| 10 |
10
제7항에 있어서,상기 프로세서는,상기 제1 코너 데이터에 따른 모서리의 기울기 및 상기 제3 코너 데이터에 따른 모서리의 기울기를 비교하여 상기 3차원 공간에서 상기 제1 교통 표지에 대한 제1 법선 벡터를 산출하고,상기 제1 교통 표지에 대한 상기 제1 법선 벡터 및 제2 교통 표지에 대한 제2 법선 벡터를 비교하여 상기 영상 센서의 회전 교정값을 추정하는 것을 특징으로 하는 센서 캘리브레이션 장치
|
| 11 |
11
제7항에 있어서,상기 프로세서는,상기 제1 코너 데이터 및 상기 제4 코너 데이터를 비교하여 상기 제1 교통 표지에 대한 상기 영상 센서의 제1 위치 데이터를 산출하고,상기 제1 교통 표지에 대한 상기 영상 센서의 제1 위치 데이터 및 제2 교통 표지에 대한 상기 영상 센서의 제2 위치 데이터를 비교하여 상기 영상 센서의 위치 교정값을 추정하는 것을 특징으로 하는 센서 캘리브레이션 장치
|
| 12 |
12
제7항에 있어서,상기 프로세서는,상기 영상 센서 및 상기 라이다 센서가 제3 교통 표지를 검출하면, 상기 제1 교통 표지 및 제2 교통 표지를 기반으로 추정한 상기 영상 센서의 교정값을 상기 제2 교통 표지 및 상기 제3 교통 표지를 기반으로 다시 추정하여 상기 교정값을 업데이트하는 것을 특징으로 하는 센서 캘리브레이션 장치
|
| 13 |
13
이동체에 있어서,제1 교통 표지를 촬영하여 2차원 이미지를 획득하는 영상 센서;상기 제1 교통 표지에 무선 신호를 송수신하여 3차원 포인트 클라우드를 획득하는 라이다 센서;상기 영상 센서 및 상기 라이다 센서에 연결되어 상기 라이다 센서 기반한 상기 영상 센서의 교정값을 추정하는 센서 캘리브레이션 장치; 및상기 센서 캘리브레이션 장치의 출력 결과를 기반으로 이동 계획을 갱신하고 이동을 수행하는 주행 수단을 포함하며,상기 센서 캘리브레이션 장치는,상기 2차원 이미지로부터 교통 표지 추출 모델을 이용하여 교통 표지 영역을 추출하고,상기 3차원 포인트 클라우드로부터 상기 3차원 교통 표지 데이터를 인식하고 2차원 교통 표지 데이터로 변환하고,상기 교통 표지 영역에서 추출한 제1 코너 데이터, 상기 2차원 교통 표지 데이터에서 추출한 제2 코너 데이터, 상기 제2 코너 데이터를 3차원 공간에 투영한 제3 코너 데이터, 상기 제2 코너 데이터를 2차원 평면에 투영한 제4 코너 데이터를 이용하여 상기 라이다 센서 기반한 상기 영상 센서의 교정값을 추정하는 것을 특징으로 하는 이동체
|
