| 1 |
1
선박에 장착된 카메라 및 라이다로부터 해상 이미지 데이터와 3차원 점 군집 데이터를 수신하도록 구성된 데이터 수신부;상기 점 군집 데이터의 점의 수가 설정값 이상 인지의 여부를 결정하도록 구성된 라이다 데이터 확인부;상기 점 군집 데이터의 점의 수가 설정값 이상이면 상기 점 군집 데이터의 공간적인 분포, 반사강도, 통계적인 특성 및 평면성 정보를 포함한 특징을 추출하여 객체 영역을 판별하도록 구성된 객체 영역 판별부;판별된 상기 객체 영역 정보를, 객체 영역 정보 및 객체 정보의 데이터 세트에 의해 기계 학습된 인공신경망에 입력시켜 객체를 분류하도록 구성된 객체 분류부; 분류된 상기 객체의 연속성을 계산하도록 구성된 객체 연속성 계산부;상기 객체의 연속성 정보를 이용하여 같은 객체의 그룹을 폴리곤 형태로 묶어 파라미터화 하도록 구성된 객체 영역 파라미터화부;파라미터화된 객체 정보로부터 객체 이미지 자세각 정보, 객체의 3차원 점 군집 데이터의 중심점 및 크기의 정보를 추출하도록 구성된 형상 정보 추출부; 및상기 객체 이미지 자세각 정보, 및 상기 객체의 3차원 점 군집 데이터의 중심점 및 크기의 정보를 기초로 객체의 운동 정보 및 형상 정보를 추정하도록 구성된 추적 필터;를 포함하고,상기 라이다 데이터 확인부에서 상기 점 군집 데이터의 점의 수가 설정값 미만인 것으로 결정되면 상기 라이다와 상기 카메라를 캘리브레이션(calibration)하여 상기 라이다의 좌표와 상기 카메라의 좌표를 일치시킴으로써 상기 해상 이미지에 상기 3차원 점 군집 데이터의 점을 투영시켜 투영된 이미지를 획득하도록 구성된 캘리브레이션부;상기 투영된 이미지로부터 객체 이미지를 분할 하도록 구성된 객체 분할부; 및분할된 상기 객체 이미지를, 분할된 객체 이미지 데이터 및 객체의 3차원 점 군집 데이터의 데이터 세트에 의해 기계학습된 인공신경망에 입력시켜 객체의 3차원 점 군집 데이터를 복원하여 상기 객체 영역 판별부에 제공하도록 구성된 점 군집 데이터 복원부;를 더 포함하는, 카메라 정보를 활용한 라이다 기반 연안해역 상황인식 장치
|
| 5 |
5
카메라 정보를 활용한 라이다 기반 연안해역 상황인식 장치를 이용한 연안해역 상황인식 방법으로서,데이터 수신부가 선박에 장착된 카메라 및 라이다로부터 해상 이미지 데이터와 3차원 점 군집 데이터를 수신하는 단계;라이다 데이터 확인부가 상기 점 군집 데이터의 점의 수가 설정값 이상 인지의 여부를 결정하는 단계;상기 결정 단계에서 상기 점 군집 데이터의 점의 수가 설정값 이상이면, 객체 영역 판별부가 상기 점 군집 데이터의 공간적인 분포, 반사강도, 통계적인 특성 및 평면성 정보를 포함한 특징을 추출하여 객체 영역을 판별하는 단계;객체 분류부가 판별된 상기 객체 영역 정보를, 객체 영역 정보 및 객체 정보의 데이터 세트에 의해 기계 학습된 인공신경망에 입력시켜 객체를 분류하는 단계; 객체 연속성 계산부가 분류된 상기 객체의 연속성을 계산하는 단계;객체 영역 파라미터화부가 상기 객체의 연속성 정보를 이용하여 같은 객체의 그룹을 폴리곤 형태로 묶어 파라미터화하는 단계;형상 정보 추출부가 파라미터화된 객체 정보로부터 객체 이미지 자세각 정보, 객체의 3차원 점 군집 데이터의 중심점 및 크기의 정보를 추출하는 단계; 및추적 필터가 상기 객체 이미지 자세각 정보, 및 상기 객체의 3차원 점 군집 데이터의 중심점 및 크기의 정보를 기초로 객체의 운동 정보 및 형상 정보를 추정하는 단계;를 포함하고, 상기 결정 단계에서 상기 점 군집 데이터의 점의 수가 설정값 미만이면, 캘리브레이션부가 상기 라이다와 상기 카메라를 캘리브레이션(calibration)하여 상기 라이다의 좌표와 상기 카메라의 좌표를 일치시킴으로써 상기 해상 이미지에 상기 3차원 점 군집 데이터의 점을 투영시켜 투영된 이미지를 획득하는 단계;객체 분할부가 상기 투영된 이미지로부터 객체 이미지를 분할하는 단계; 및점 군집 데이터 복원부가 분할된 상기 객체 이미지를, 분할된 객체 이미지 데이터 및 객체의 3차원 점 군집 데이터의 데이터 세트에 의해 기계 학습된 인공신경망에 입력시켜 객체의 3차원 점 군집 데이터를 복원하는 단계;를 더 포함하고,상기 점 군집 데이터 복원 단계 이후, 상기 객체 영역 판별 단계로 진행되는 연안해역 상황인식 방법
|
