| 1 |
1
레이더와 카메라 융합 기반으로 돌발상황을 검지하기 위한 시스템으로서,레이더 신호를 감지 영역으로 투사하고 감지영역의 객체로부터 반사된 신호를 레이더 검지 신호로 출력하는 레이더;상기 레이더로부터 출력되는 레이더 검지 신호를 가공 및 정제하고, 레이더 데이터를 추출한 후 객체를 감지 및 표출하는 레이더 데이터 처리부;상기 감지 영역의 영상을 획득하는 카메라;상기 카메라에 의해 획득한 영상으로부터 이미지를 추출하고, 이미지 라벨링 및 분류 처리를 하고, 분류 처리된 영상 데이터를 신경망 모델로 처리하여 객체를 탐지하는 카메라 영상 처리부;상기 레이더 데이터 처리부에서 처리된 레이더 객체 정보와 상기 카메라 영상 처리부에서 처리된 영상 객체 정보를 매칭시키는 레이더/영상 매칭부; 및상기 레이더/영상 매칭부에서 매칭된 매칭 데이터를 분류 및 탐지 신경망 모델로 처리하여 객체 분류 및 탐지 결과를 출력하는 분류 및 탐지부를 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 돌발상황 검지시스템
|
| 2 |
2
청구항 1에서, 상기 분류 및 탐지부에서 출력되는 레이더 및 영상 융합 객체 데이터, 원천 영상, 가동 데이터 셋, 학습 모델을 자율주행차량과 공공/민간 사이트를 공개해주는 레이더/카메라 융합 서비스부를 더 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 돌발상황 검지시스템
|
| 3 |
3
청구항 1에서, 상기 레이더 데이터 처리부는,상기 레이더에서 출력된 레이더 검지 신호를 레이더 로우 데이터로 수집하는 레이더 데이터 수집부;상기 레이더 데이터 수집부에서 수집한 레이더 로우 데이터를 가공 및 정체 처리하여 테이블 형태로 전처리하는 레이더 데이터 가공 및 정제부;상기 레이더 데이터 가공 및 정제부를 통해 전처리된 레이더 데이터에서 레이더 객체 감지 표출에 활용되는 데이터를 추출하는 레이더 데이터 추출부; 및상기 레이더 데이터 추출부에서 추출된 레이더 데이터에서 시간을 기준으로 추출된 레이더 데이터의 속성 정보를 이용하여 객체의 크기를 기초로 객체 감지를 하고, 감지한 객체 정보를 도로의 차선에 표출하는 객체 표출부를 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 돌발상황 검지시스템
|
| 4 |
4
청구항 1에서, 상기 카메라 영상 처리부는,상기 카메라에 의해 촬영된 영상 데이터를 수집하고, 수집한 영상 데이터를 딥러닝 기반의 학습 모델에 사용할 수 있는 샘플 데이터인 이미지 형태로 가공하여 출력하는 영상 데이터 수집부;상기 영상 데이터 수집부에서 출력된 영상 데이터에서 프레임 단위로 이미지를 추출하여 학습에 필요한 동적, 정적 객체의 이미지로 제공하는 이미지 추출부;상기 이미지 추출부에서 제공된 이미지를 JPG 형태로 변환하고, 변환된 이미지를 탐지할 객체별로 Object ID를 지정하는 작업을 통해 객체의 영역을 지정하여 이미지 데이터를 라벨링하고, 라벨링된 이미지 데이터를 XML 형태의 포맷으로 저장하는 이미지 라벨링 및 어노테이션부; 및상기 이미지 라벨링 및 어노테이션부를 통해 저장된 이미지 데이터를 신경망 모델로 처리하여, 카메라에 의해 획득한 영상으로부터 객체를 탐지하여 영상 객체 정보를 출력하는 객체 탐지부를 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 돌발상황 검지시스템
|
| 5 |
5
청구항 4에서, 상기 객체 탐지부는,Pretrained Network와 Training Network로 구성된 Yolo 신경망 모델을 구축하는 신경망 모델 구축부;상기 이미지 라벨링 및 어노테이션이 이루어진 이미지 데이터를 상기 신경망 모델에 적용하기 위해 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋으로 분할하고, 분류된 데이터 셋에서 검증 데이터 셋을 구축이 완료된 Yolo 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행하는 신경망 모델 학습부;상기 신경망 모델 학습부를 통해 생성되는 가중치 파일을 실제로 학습된 신경망 모델의 가중치 값들을 저장한 형태로 가중치 정보를 저장하여 가중치 파일을 생성하는 학습모델 및 가중치 파일 생성부;상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치에 미도달한 학습 모델을 재학습하여 학습 모델 최적화를 진행하는 학습모델 검증부;상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 인식 및 검지가 되는지를 확인하는 정확도 평가부; 및상기 최적화된 Yolo 신경망 학습 모델에 영상 데이터를 입력하여 객체를 탐지하는 객체 탐지 모듈을 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 돌발상황 검지시스템
|
| 6 |
6
청구항 1에서, 상기 레이더/영상 매칭부는,카메라에서 추출된 이미지에서 객체의 가시성을 확보하기 위해 최대 밝기 처리를 적용하여 이미지의 화질을 개선하고, 이미지를 2차원 형태의 좌표로 구성하여 카메라 영상 위치를 보정하는 과정, 레이더에서 출력된 레이더 데이터는 객체와 노이즈 데이터로 구분하여 타깃 대상을 설정하고, 레이더 데이터 Point X, Point Y를 통화 좌표로 구성하여 레이더 객체 대상을 감지하는 과정, 및 카메라와 레이더 데이터의 좌표축을 일치시킨 후 점 일치 및 하향식 방법을 사용하여 값의 오차를 줄이기 위한 보정을 수행하는 과정을 통해, 레이더와 카메라 객체를 매칭하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 돌발상황 검지시스템
|
| 7 |
7
청구항 1에서, 상기 분류 및 탐지부는,레이더/영상 매칭을 통해 레이더 데이터와 카메라 영상 데이터를 조합하여 야간/전천후 환경에서 객체를 탐지할 수 있는 데이터 셋을 구축하는 분류 및 탐지 데이터셋 구축부;각 층이 정점들과 각 층의 앞 층의 정점들이 완전하게 연결되어 있는 완전 연결 신경망 모델을 분류 및 탐지 신경망 모델로 구축하는 분류 및 탐지 신경망 모델 구축부;상기 분류 및 탐지 데이터 셋 구축부에서 구축된 데이터 셋을 상기 분류 및 탐지 신경망 모델에 입력하여 신경망 레이어와 하이퍼 파라미터에 따라 학습을 진행시켜 객체를 분류 및 탐지하는 분류 및 탐지 학습부;상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 생성한 분류 및 탐지 신경망 학습 모델에 적용하여 분류해야 할 객체가 정확하게 클래스 그룹으로 분류되지 않을 경우 분류 및 탐지 학습모델을 재학습하여 학습 모델 최적화를 수행하는 학습모델 검증부; 및상기 데이터 셋 분류를 통해 생성된 검증 데이터 셋을 학습 모델에 적용하여 목표치로 지정한 정확도 이상 객체가 분류 및 탐지되는지를 확인하는 정확도 평가부를 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 돌발상황 검지시스템
|
| 8 |
8
청구항 7에서, 상기 데이터 셋은, 훈련 데이터 셋, 검증 데이터 셋 및 테스트 데이터 셋을 포함하는 것을 특징으로 하는 레이더와 카메라 융합 기반의 돌발상황 검지시스템
|
| 9 |
9
청구항 2에서, 상기 레이더/카메라 융합 서비스부는,상기 레이더 및 영상 융합 객체 데이터를 야간/전천후 환경에서도 정확도 높은 객체 인식률과 검출률을 갖는 돌발상황 검지 데이터로 자율주행차량으로 제공하거나, 원천 영상 및 가공 데이터 셋 및 학습 모델을 공공 및 민간 사이트를 통해 공개해주는 것을 특징으로 하는 레이더와 카메라 융합 기반의 돌발상황 검지시스템
|
