| 1 |
1
열화상 카메라로 촬영된 열 영상으로부터 싱크홀을 탐지하기 위한 처리가 컴퓨터나 전용의 하드웨어에 의해 수행되도록 구성되는 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법에 있어서, 상기 처리는, 싱크홀 위치의 온도가 주변 지역의 온도보다 낮은 것에 근거하여, 온도편차에 의한 이진 분할(binary segmentation)을 수행하여 입력된 열화상 이미지의 비디오 프레임에서 후보 싱크홀 위치를 출력하는 처리가 수행되는 후보 싱크홀 분할(candidate sinkhole segmentation) 단계; 상기 후보 싱크홀 분할단계에서 선정된 후보 싱크홀들 중에서 실제 싱크홀을 분류하는 처리가 수행되는 싱크홀 분류(sinkhole classification) 단계; 및 상기 싱크홀 분류단계에서 분류된 실제 싱크홀들을 추적하는(tracking) 처리가 수행되는 싱크홀 추적(sinkhole tracking) 단계를 포함하여 구성되고,상기 싱크홀 추적단계는, 헝가리언 알고리즘(Hungarian Algorithm ; HA) 이용한 데이터 결합(data association)을 이용하여, 상기 싱크홀 분류단계에서 분류된 실제 싱크홀들을 해당 싱크홀이 속한 비디오 프레임의 트랙렛(tracklets)에 각각 할당하는 처리가 수행되도록 구성되며,N은 트랙렛의 수이고, 거리행렬 D가 이하의 수학식으로 나타내지는 것으로 할 때, (a) 이하의 수학식을 이용하여, 상기 거리행렬 D의 동일한 행에 있는 모든 항목에서 각 행의 최소거리를 빼는 처리가 수행되는 단계; (b) 이하의 수학식을 이용하여, 상기 거리행렬 D의 동일한 열에 있는 모든 항목에서 각 열의 최소거리를 빼는 처리가 수행되는 단계; 및 (c) n을 최소한 한 개 이상의 0을 포함하는 행 또는 열 이라 할 때, n = N의 조건이 충족될 때까지 상기 (a) 및 상기 (b) 단계의 처리를 반복하여 상기 거리행렬 D의 0 값을 기반으로 각각의 싱크홀을 해당하는 트랙렛에 각각 할당하는 처리가 수행되는 단계를 포함하여 구성되는 것을 특징으로 하는 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법
|
| 2 |
2
제 1항에 있어서, 상기 후보 싱크홀 분할단계는, 이하의 수학식을 이용하여, 이중 임계(dual-thresholding) 방법을 적용하여 후보 싱크홀 위치를 결정하는 처리가 수행되도록 구성되는 것을 특징으로 하는 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법
|
| 3 |
3
제 1항에 있어서, 상기 후보 싱크홀 분할단계는, 분할된 영역의 가장자리 잡음을 제거하기 위해, 개방(opening), 폐쇄(closing), 팽창(dilate), 침식(erode)을 포함하는 형태학적 동작(morphological operation)을 적용하여 형태학적 잡음을 제거한 후, 휴리스틱 필터 알고리즘을 이용하여 연결 요소 분석(connected component analysis)을 적용하는 것에 의해 나무, 건물, 자동차를 포함하는 싱크홀과 유사한 형태들을 제거하는 단계를 더 포함하여 구성되는 것을 특징으로 하는 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법
|
| 4 |
4
제 1항에 있어서, 상기 싱크홀 분류단계는, CNN(Convolutional neural network) 전이학습(transfer learning) 방법을 이용하여 상기 후보 싱크홀 분할단계에서 선정된 후보 싱크홀들 중에서 실제 싱크홀을 분류하는 처리가 수행되도록 구성되는 것을 특징으로 하는 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법
|
| 5 |
5
제 4항에 있어서, 상기 싱크홀 분류단계는, ResNet-50을 포함하는 ResNet(Residual Network)을 이용하여 상기 CNN 전이학습을 수행하도록 구성되는 것을 특징으로 하는 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
제 1항에 있어서, 상기 탐지방법은, 이하의 수학식을 이용하여, 평균탐지정확도(Average detection Precision ; AP)와 평균재현(Average Recall ; AR) 및 중첩 임계값(overlapping threshold)에 근거하여 싱크홀 탐지결과에 대한 정확도를 평가하는 정확도 평가단계를 더 포함하여 구성되는 것을 특징으로 하는 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법
|
| 9 |
9
제 1항에 있어서, 상기 탐지방법은, 싱크홀이 발견되거나 미리 정해진 기준에 근거하여 싱크홀의 발생 가능성이 높을 것으로 판단되면 미리 설정된 수신처에 해당 사실을 전달하고 경보를 발생하는 경보발생단계를 더 포함하여 구성됨으로써, 싱크홀로 인한 각종 사고를 미연에 방지할 수 있도록 구성되는 것을 특징으로 하는 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법
|
| 10 |
10
싱크홀 탐지시스템에 있어서, 열화상 이미지를 촬영하기 위한 영상취득부; 및 상기 영상취득부에 의해 얻어진 열화상 이미지 또는 외부로부터 입력된 열 영상에 대하여 영상분석을 수행하여 싱크홀을 탐지하는 영상분석부를 포함하여 구성되고, 상기 영상분석부는, 청구항 1항 내지 청구항 5항, 청구항 8항 및 청구항 9항 중 어느 한 항에 기재된 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법을 이용하여 싱크홀의 탐지가 수행되도록 구성되는 것을 특징으로 하는 싱크홀 탐지시스템
|
