| 1 |
1
하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템에 있어서,대상 구조물에 연속파 라인 레이저를 조사하는 가진 장치;상기 대상 구조물에서 방사된 열파를 계측하여 열화상 이미지들을 생성하는 열화상 카메라, 및 상기 대상 구조물의 외관을 촬영하여 실화상 이미지들을 생성하는 비전 카메라를 포함하되, 상기 열화상 카메라 및 비전 카메라는 각각 상기 가진 장치와 동기화되어 기설정된 스캐닝 방향으로 이동하는 것인 센싱 장치; 및상기 열화상 이미지들 및 실화상 이미지들에 대해 왜곡 보정 처리 및 시공간 통합 좌표 변환 처리를 수행하여 시공간 통합된 열화상 이미지 및 실화상 이미지를 생성하고, 상기 시공간 통합된 열화상 이미지에 대해 각 픽셀을 평준화 시키는 위상 맵핑 처리를 수행하여 위상 이미지를 생성하고, 사전에 균열 평가용 실화상 이미지들이 학습된 인공신경망을 통해 상기 시공간 통합된 실화상 이미지에 대해 딥러닝 프로세스를 수행하여 균열을 검출하고, 상기 균열이 검출된 실화상 이미지에서 균열 영역을 특정하되 상기 위상 이미지에 상기 특정된 균열 영역과 동일한 위치 및 크기에 대응된 영역을 특정하고, 상기 위상 이미지에 특정된 영역 별 이미지를 상기 인공신경망을 통해 딥러닝 프로세스를 수행하여 균열 정보가 포함된 열화상 이미지를 생성하고, 상기 균열 정보가 포함된 열화상 이미지를 상기 균열이 검출된 실화상 이미지에 맵핑하여 균열만 시각화된 최종 이미지를 생성하는 제어 장치를 포함하며,상기 균열 평가용 실화상 이미지는, 균열 이미지, 무균열 이미지, 균열로 오인된 적어도 하나의 개체 정보가 포함된 이미지 중 적어도 하나를 포함하는 것인, 자동화 구조물 균열 평가 시스템
|
| 2 |
2
제 1 항에 있어서,상기 제어 장치는,상기 시공간 통합된 실화상 이미지에 대해 딥 컨볼루션 뉴럴 네트워크 프로세스(deep convolutional neural network process)를 수행하되,상기 시공간 통합된 실화상 이미지에 대해 기설정된 합성곱 마스크 크기(convolution mask size)를 적용하여 복수의 합성곱 마스크로 상기 딥 컨볼루션 뉴럴 네트워크 프로세스를 수행한 결과를 중첩하여 균열 검출 신뢰도 맵(probability map)을 획득하고,상기 신뢰도 맵에 기반하여 균열이 포함된 것으로 검출된 합성곱 마스크 영역에 중앙값 필터(median filter)를 적용하여 균열을 검출하고, 극단값 분포(extreme value distribution, EVS)에 기초한 임계처리(tthresholding process)를 수행하여 점 노이즈를 제거하는 것인, 자동화 구조물 균열 평가 시스템
|
| 3 |
3
제 1 항에 있어서,상기 제어 장치는,상기 딥러닝 프로세스로서 딥 컨볼루션 뉴럴 네트워크 프로세스(deep convolutional neural network process)를 수행하되,상기 시공간 통합된 실화상 이미지에서 검출된 균열 중 연속된 균열 별로 각각 하나의 합성곱 마스크로 지정하고,상기 위상 이미지에서, 상기 합성곱 마스크와 대응된 위치 및 크기의 마스크를 선택하고,상기 선택된 마스크를 상기 딥 컨볼루션 뉴럴 네트워크 프로세스용으로 기설정된 크기로 이미지 크기를 조절한 마스크 이미지를 생성하고,상기 마스크 이미지를 입력으로하여 상기 딥 컨볼루션 뉴럴 네트워크 프로세스를 수행하여 균열이 검출된 마스크 이미지들을 추출하고,상기 추출된 마스크 이미지의 크기를 원래의 크기로 재조절하여 상기 균열 정보가 포함된 열화상 이미지를 생성하고,상기 균열 정보가 포함된 열화상 이미지를 상기 균열이 검출된 실화상 이미지에 맵핑하여 가짜 균열을 제거하는 것인, 자동화 구조물 균열 평가 시스템
|
| 4 |
4
제 1 항에 있어서,상기 가진 장치 및 센싱 장치는 무인 항공기(Unmanned Aerial Vehicle) 또는 무인 클라이밍 로봇(climbing robot)에 탑재된 것인, 자동화 구조물 균열 평가 시스템
|
| 5 |
5
하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템의 자동화 구조물 균열 평가 장치에 있어서,대상 구조물에 연속파 라인 레이저를 조사하는 가진 장치와, 상기 대상 구조물에서 방사된 열파를 계측하여 원시 열화상 이미지들을 생성하는 열화상 카메라 및 상기 대상 구조물의 외관을 촬영하여 원시 실화상 이미지들을 생성하는 비전 카메라를 포함하되 상기 열화상 카메라 및 비전 카메라는 각각 상기 가진 장치와 동기화되어 기설정된 스캐닝 방향으로 이동하는 것인 센싱 장치를 포함하는 하이브리드 이미지 스캐닝 장치로부터 상기 대상 구조물에 대한 원시 열화상 이미지 및 원시 실화상 이미지를 수신하는 통신부;하이브리드 이미지 스캐닝에 기반한 구조물 균열 검출 프로그램이 저장된 메모리; 및상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,상기 프로세서는 상기 구조물 균열 검출 프로그램의 실행에 따라, 상기 원시 열화상 이미지들 및 원시 실화상 이미지들에 대해 왜곡 보정 처리 및 시공간 통합 좌표 변환 처리를 수행하여 시공간 통합된 열화상 이미지 및 실화상 이미지를 생성하고, 상기 시공간 통합된 열화상 이미지에 대해 각 픽셀을 평준화 시키는 위상 맵핑 처리를 수행하여 위상 이미지를 생성하고, 사전에 균열 평가용 실화상 이미지들이 학습된 인공신경망을 통해 상기 시공간 통합된 실화상 이미지에 대해 딥러닝 프로세스를 수행하여 균열을 검출하고, 상기 균열이 검출된 실화상 이미지에서 균열 영역을 특정하되 상기 위상 이미지에 상기 특정된 균열 영역과 동일한 위치 및 크기에 대응된 영역을 특정하고, 상기 위상 이미지에 특정된 영역 별 이미지를 상기 인공신경망을 통해 딥러닝 프로세스를 수행하여 균열 정보가 포함된 열화상 이미지를 생성하고, 상기 균열 정보가 포함된 열화상 이미지를 상기 균열이 검출된 실화상 이미지에 맵핑하여 균열만 시각화된 최종 이미지를 생성하고,상기 균열 평가용 실화상 이미지는, 균열 이미지, 무균열 이미지, 균열로 오인된 적어도 하나의 개체 정보가 포함된 이미지 중 적어도 하나를 포함하는 것인, 자동화 구조물 균열 평가 장치
|
| 6 |
6
제 5 항에 있어서,상기 프로세서는,상기 시공간 통합된 실화상 이미지에 대해 딥 컨볼루션 뉴럴 네트워크 프로세스(deep convolutional neural network process)를 수행하되,상기 시공간 통합된 실화상 이미지에 대해 기설정된 합성곱 마스크 크기(convolution mask size)를 적용하여 복수의 합성곱 마스크로 상기 딥 컨볼루션 뉴럴 네트워크 프로세스를 수행한 결과를 중첩하여 균열 검출 신뢰도 맵(probability map)을 획득하고,상기 신뢰도 맵에 기반하여 균열이 포함된 것으로 검출된 합성곱 마스크 영역에 중앙값 필터(median filter)를 적용하여 균열을 검출하고, 극단값 분포(extreme value distribution, EVS)에 기초한 임계처리(tthresholding process)를 수행하여 점 노이즈를 제거하는 것인, 자동화 구조물 균열 평가 장치
|
| 7 |
7
제 5 항에 있어서,상기 프로세서는,상기 딥러닝 프로세스로서 딥 컨볼루션 뉴럴 네트워크 프로세스(deep convolutional neural network process)를 수행하되,상기 시공간 통합된 실화상 이미지에서 검출된 균열 중 연속된 균열 별로 각각 하나의 합성곱 마스크로 지정하고,상기 위상 이미지에서, 상기 합성곱 마스크와 대응된 위치 및 크기의 마스크를 선택하고,상기 선택된 마스크를 상기 딥 컨볼루션 뉴럴 네트워크 프로세스용으로 기설정된 크기로 이미지 크기를 조절한 마스크 이미지를 생성하고,상기 마스크 이미지를 입력으로하여 상기 딥 컨볼루션 뉴럴 네트워크 프로세스를 수행하여 균열이 검출된 마스크 이미지들을 추출하고,상기 추출된 마스크 이미지의 크기를 원래의 크기로 재조절하여 상기 균열 정보가 포함된 열화상 이미지를 생성하고,상기 균열 정보가 포함된 열화상 이미지를 상기 균열이 검출된 실화상 이미지에 맵핑하여 가짜 균열을 제거하는 것인, 자동화 구조물 균열 평가 장치
|
| 8 |
8
제 5 항에 있어서,상기 프로세서는,상기 원시 열화상 이미지들 및 원시 실화상 이미지들과, 교정 마커(calibration marker) 간의 이차원 호모그래피(homography) 행렬을 추정하고, 상기 이차원 호모그래피 행렬을 기초로 카메라 내부 파라미터 및 외부 파라미터를 산출하며, 상기 내부 파라미터 및 외부 파라미터를 기설정된 3차원 실제 세계 및 2차원 이미지 평면 간의 상관 관계 모델에 적용하여 상기 원시 열화상 이미지들 및 원시 실화상 이미지들을 각각 왜곡 보정된 이미지로 변환하는 것인, 자동화 구조물 균열 평가 장치
|
| 9 |
9
제 5 항에 있어서,상기 프로세서는,상기 대상 구조물에 조사된 연속파 라인 레이저의 열파 분포가 따르는 가우시안 분포에 대해 기설정된 신뢰 구간을 경계로 갖는 분석 영역을 설정하고,상기 왜곡 보정 처리에 따른 열화상 이미지들 및 실화상 이미지들 각각에 대해 상기 분석 영역을 적용한 후 시공간 통합 좌표 변환을 수행하여, 상기 분석 영역에 대한 시공간 통합된 열화상 이미지 및 실화상 이미지로 변환하는 것인, 자동화 구조물 균열 평가 장치
|
| 10 |
10
제 5 항에 있어서,상기 프로세서는,상기 시공간 통합된 열화상 이미지의 시간축에 대해 힐버트 (hilbert) 변환을 수행하여 픽셀 별 실수 및 복소수 값을 획득하고,상기 픽셀 별 실수부와 허수부에 대해 순간 위상각(instantaneous phase angle)을 산출하고,상기 산출된 순간 위상각을 상기 시간축에 대해 더하여 위상 이미지를 생성하는 것인, 자동화 구조물 균열 평가 장치
|
| 11 |
11
제 10 항에 있어서,상기 프로세서는,상기 위상 이미지에 대해 상기 스캐닝 방향으로 공간 미분하여 노이즈를 제거하는 것인, 자동화 구조물 균열 평가 장치
|
| 12 |
12
자동화 구조물 균열 평가 시스템을 통한 하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 방법에 있어서,가진 장치를 통해 대상 구조물에 연속파 라인 레이저를 조사하는 단계;상기 가진 장치와 동기화되어 기설정된 스캐닝 방향으로 이동하는 열화상 카메라 및 비전 카메라를 통해, 상기 대상 구조물에서 방사된 열파를 계측하여 원시 열화상 이미지들 및 상기 대상 구조물의 외관을 촬영한 원시 실화상 이미지들을 생성하는 단계;상기 원시 열화상 이미지들 및 원시 실화상 이미지들에 대해 왜곡 보정 처리 및 시공간 통합 좌표 변환 처리를 수행하여 시공간 통합된 열화상 이미지 및 실화상 이미지를 생성하는 단계;상기 시공간 통합된 열화상 이미지에 대해 각 픽셀을 평준화 시키는 위상 맵핑 처리를 수행하여 위상 이미지를 생성하는 단계;사전에 균열 평가용 실화상 이미지들이 학습된 인공신경망을 통해 상기 시공간 통합된 실화상 이미지에 대해 딥러닝 프로세스를 수행하여 균열을 검출하는 단계;상기 균열이 검출된 실화상 이미지에서 균열 영역을 특정하되, 상기 위상 이미지에 상기 특정된 균열 영역과 동일한 위치 및 크기에 대응된 영역을 특정하고, 상기 위상 이미지에 특정된 영역 별 이미지를 상기 인공신경망을 통해 딥러닝 프로세스를 수행하여 균열 정보가 포함된 열화상 이미지를 생성하는 단계; 및상기 균열 정보가 포함된 열화상 이미지를 상기 균열이 검출된 실화상 이미지에 맵핑하여 균열만 시각화된 최종 이미지를 생성하는 단계를 포함하며,상기 균열 평가용 실화상 이미지는, 균열 이미지, 무균열 이미지, 균열로 오인된 적어도 하나의 개체 정보가 포함된 이미지 중 적어도 하나를 포함하는 것인, 자동화 구조물 균열 평가 방법
|
| 13 |
13
제 12 항에 있어서,상기 딥러닝 프로세스를 수행하여 균열 정보가 포함된 실화상 이미지를 생성하는 단계는,상기 시공간 통합된 실화상 이미지에 대해 딥 컨볼루션 뉴럴 네트워크 프로세스(deep convolutional neural network process)를 수행하되,상기 시공간 통합된 실화상 이미지에 대해 기설정된 합성곱 마스크 크기(convolution mask size)를 적용하여 복수의 합성곱 마스크로 상기 딥 컨볼루션 뉴럴 네트워크 프로세스를 수행한 결과를 중첩하여 균열 검출 신뢰도 맵(probability map)을 획득하고,상기 신뢰도 맵에 기반하여 균열이 포함된 것으로 검출된 합성곱 마스크 영역에 중앙값 필터(median filter)를 적용하여 균열을 검출하고, 극단값 분포(extreme value distribution, EVS)에 기초한 임계처리(tthresholding process)를 수행하여 점 노이즈를 제거하는 것인, 자동화 구조물 균열 평가 방법
|
| 14 |
14
제 12 항에 있어서,상기 인공신경망을 통해 상기 딥러닝 프로세스를 수행하여 균열 정보가 포함된 열화상 이미지를 생성하는 단계는,상기 딥러닝 프로세스로서 딥 컨볼루션 뉴럴 네트워크 프로세스(deep convolutional neural network process)를 수행하되,상기 균열이 검출된 실화상 이미지에서 검출된 균열 중 연속된 균열 별로 각각 하나의 합성곱 마스크로 지정하고,상기 위상 이미지에서, 상기 합성곱 마스크와 대응된 위치 및 크기의 마스크를 선택하고,상기 선택된 마스크를 상기 딥 컨볼루션 뉴럴 네트워크 프로세스용으로 기설정된 크기로 이미지 크기를 조절한 마스크 이미지를 생성하고,상기 마스크 이미지를 입력으로하여 상기 딥 컨볼루션 뉴럴 네트워크 프로세스를 수행하여 균열이 검출된 마스크 이미지들을 추출하고,상기 추출된 마스크 이미지의 크기를 원래의 크기로 재조절하여 상기 균열 정보가 포함된 열화상 이미지를 생성하고,상기 균열 정보가 포함된 열화상 이미지를 상기 균열이 검출된 실화상 이미지에 맵핑하여 가짜 균열을 제거하는 것인, 자동화 구조물 균열 평가 방법
|
| 15 |
15
제 12 항 내지 제14항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체
|
