| 1 |
1
비전센서(120)가 포트홀(200)을 촬영할 수 있도록 비행궤도를 따라 포트홀(200)에 접근하도록 비행하는 무인비행체(110);상기 포트홀(200)에 대한 영상을 획득할 수 있도록 상기 무인비행체(110)에 탑재되어 도로영상을 촬영하는 비전센서(120);사진측량(Photogrammetry) 기술에 따라 사진(정지영상)으로 획득한 포트홀 영상을 이용하여 피사체인 포트홀(200)에 대한 위치와 형상을 해석하며, 무인비행체(110)로부터 수집된 영상을 정사영상(Orthogonal Image)화 하여 각 픽셀들의 정확한 위치좌표를 파악하는 측량사진 처리부(130);상기 측량사진 처리부(130)에 의해 정사화된 정사영상(Orthogonal Image)에 영상처리 알고리즘 및 딥러닝 알고리즘을 적용하여 포트홀(200)을 탐지하고 포트홀 영역 검출, 면적 산출 및 위치를 산출하는 포트홀 탐지 영상처리부(140); 및상기 포트홀 탐지 영상처리부(140)에서 처리된 포트홀(200)을 가시화하여 표시하는 포트홀 가시화부(150)를 포함하되,상기 무인비행체(110)로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써 포트홀(200)의 크기 및 위치를 정확하게 파악하는 것을 특징으로 하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템
|
| 2 |
2
제1항에 있어서, 상기 포트홀 가시화부(150)에서 가시화된 다수의 포트홀(200)에 대해 상기 포트홀(200)의 크기 및 위치에 따라 보수 우선순위를 결정하는 보수 포트홀 우선순위 결정부(160)를 추가로 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템
|
| 3 |
3
제1항에 있어서, 상기 무인비행체(110)의 출동과 복귀, 비행, 충전, 포트홀 인식 및 포트홀 영상 촬영을 원격 지시하는 무인비행체 비행 및 조종 단말(170)을 추가로 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템
|
| 4 |
4
제1항에 있어서, 상기 측량사진 처리부(130)는,상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상 데이터를 무인비행체(110)로부터 수집하여 입력하는 영상 입력부(131);상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상인 중심투영(Perspective Projection) 사진의 왜곡현상을 최소화하도록 정지영상을 접합하는 영상 접합부(132);영상 촬영위치, 비전센서 경사각, 사진 축척을 구하여, 촬영시의 비전센서(120)와 대상물인 포트홀(200)의 좌표계와의 관계를 재현하도록 지상기준점(Ground Critical Point)을 활용하여 상기 포트홀 영상의 절대표정을 수행하는 영상 표정부(133); 및상기 포트홀 영상을 구성하는 각 픽셀들의 정확한 위치좌표를 파악할 수 있도록 포트홀 영상을 정사영상(Orthogonal Image)화하는 정사영상 생성부(134)를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템
|
| 5 |
5
제4항에 있어서,상기 영상 접합부(132)는 초당 15장으로 촬영된 정지영상을 60∼80% 중첩도로 접합하는 것을 특징으로 하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템
|
| 6 |
6
제4항에 있어서, 상기 포트홀 탐지 영상처리부(140)는,입력된 정사영상을 전처리하여, 그레이 스케일로 변환하고 모폴로지(Morphology) 처리하는 정사영상 전처리부(141);포트홀(200) 영상의 모서리(Edge) 및 질감(Textile)을 분석하는 영상처리 알고리즘(Image Processing Algorithm)을 이용하여 포트홀 후보 영역을 탐지하는 포트홀 후보 추출부(142);상기 영상처리 알고리즘 적용을 통해 파악된 포트홀 후보군을 대상으로 딥러닝 알고리즘(Deep Learning Algorithm)을 적용하여 최종적으로 포트홀을 탐지 및 결정하는 포트홀 최종후보 결정부(143);상기 딥러닝 알고리즘에 의해 최종적으로 검출된 포트홀 영역을 정제 알고리즘(Refinement Algorithm)을 적용하여 포트홀 영역을 검출하는 포트홀 영역 검출부(144);상기 포트홀 영역의 픽셀수 카운트를 통해 면적을 산출하는 포트홀 면적 산출부(145); 및정사영상 좌표값을 사용하여 상기 포트홀(200)의 중심 픽셀의 좌표값을 추출하여 포트홀 위치를 산출하는 포트홀 위치 산출부(146)를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템
|
| 7 |
7
제6항에 있어서, 상기 영상처리 알고리즘(Image Processing Algorithm)은 Saliency Map, Wavelet Energy Field, Otsu's method 또는 Super-pixel 알고리즘이고, 상기 딥러닝 알고리즘은 Inception, SqueezeNet, VGG, SegNet, DeepLab 또는 LKM 알고리즘인 것을 특징으로 하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템
|
| 8 |
8
제1항에 있어서, 상기 무인비행체(110)는,상기 무인비행체 비행 및 조종 단말(170)로부터 원격 제어신호를 수신하고, 상기 비전센서(120)에 의해 촬영된 영상신호를 전송하는 무선통신모듈(111);상기 무선통신모듈(111)을 통해 수신된 원격 제어신호에 따라 비행 유닛(114)을 제어하고, 상기 비전센서(120)의 구동을 제어하며, 상기 비전센서(120)로부터 촬영된 포트홀 영상 데이터를 상기 무선통신모듈(111)을 통해 전송하는 것을 제어하는 제어부(112);상기 비전센서(120)에 의해 촬영된 포트홀 영상 데이터를 저장하는 메모리(113);상기 무인비행체 비행 및 조종 단말(170)로 전송된 원격 제어신호에 따라 상기 무인비행체(110)를 비행시키도록 상기 제어부(112)의 제어에 따라 구동되는 비행 유닛(114); 및상기 무선통신모듈(111), 제어부(112), 메모리(113), 비행 유닛(114) 및 비전센서(120)에 전원을 공급하는 배터리(145)를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 시스템
|
| 9 |
9
a) 무인비행체(110) 상에 비전센서(120)를 탑재하는 단계;b) 상기 무인비행체(110)의 비행궤도를 따라 상기 비전센서(120)가 사진측량을 위한 포트홀(200) 영상을 촬영하는 단계;c) 포트홀 탐지 서버가 상기 무인비행체(110)로부터 포트홀 영상 데이터를 수집하는 단계;d) 측량사진인 포트홀 영상 데이터를 접합하고 정사영상을 생성하는 단계;e) 포트홀 탐지 영상을 처리하여 포트홀 후보를 추출하고, 포트홀 영역의 면적 및 위치를 산출하는 단계; 및f) 상기 포트홀(200)을 가시화하는 단계를 포함하되,상기 무인비행체(110)로부터 수집된 도로영상에 사진측량 기술과 포트홀 탐지 영상분석 기술을 융합 적용함으로써 포트홀(200)의 크기 및 위치를 정확하게 파악하는 것을 특징으로 하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법
|
| 10 |
10
제9항에 있어서, g) 상기 포트홀(200)의 보수를 위해 상기 포트홀(200)의 크기 및 위치에 따라 상기 포트홀(200)의 보수 우선순위를 선정하는 단계를 추가로 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법
|
| 11 |
11
제9항에 있어서, 상기 d) 단계는,d-1) 상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상 데이터를 무인비행체(110)로부터 수집하여 입력하는 단계;d-2) 상기 무인비행체(110)에 탑재된 비전센서(120)가 촬영한 포트홀 영상인 중심투영(Perspective Projection) 사진의 왜곡현상을 최소화하도록 정지영상을 접합(Image Matching)하는 단계;d-3) 영상 촬영위치, 비전센서 경사각, 사진 축척을 구하여, 촬영시의 비전센서(120)와 대상물인 포트홀(200)의 좌표계와의 관계를 재현하도록 지상기준점(Ground Critical Point)을 활용하여 상기 포트홀 영상의 절대 표정(Image Orientation)을 수행하는 단계; 및d-4) 상기 포트홀 영상을 구성하는 각 픽셀들의 정확한 위치좌표를 파악할 수 있도록 포트홀 영상을 정사영상(Orthogonal Image)화하는 단계를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법
|
| 12 |
12
제11항에 있어서, 상기 e) 단계는,e-1) 입력된 정사영상을 전처리(Pre-processing)하여, 그레이 스케일로 변환하고 모폴로지(Morphology) 처리하는 단계;e-2) 포트홀(200) 영상의 모서리(Edge) 및 질감(Textile)을 분석하는 영상처리 알고리즘(Image Processing Algorithm)을 이용하여 포트홀 후보를 추출하는 단계;e-3) 상기 영상처리 알고리즘 적용을 통해 파악된 포트홀 후보군을 대상으로 딥러닝 알고리즘(Deep Learning Algorithm)을 적용하여 최종적으로 포트홀을 탐지 및 결정하는 단계;e-4) 상기 딥러닝 알고리즘에 의해 최종적으로 검출된 포트홀 영역을 정제 알고리즘(Refinement Algorithm)을 적용하여 포트홀 영역을 검출하는 단계;e-5) 상기 포트홀 영역의 픽셀수 카운트를 통해 면적을 산출하는 단계; 및e-6) 정사영상 좌표값을 사용하여 상기 포트홀(200)의 중심 픽셀의 좌표값을 추출하여 포트홀 위치를 산출하는 단계를 포함하는 무인비행체에 탑재된 비전센서를 활용한 포트홀 탐지 방법
|
