맞춤기술찾기

이전대상기술

딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치

  • 기술번호 : KST2023005731
  • 담당센터 : 부산기술혁신센터
  • 전화번호 : 051-606-6561
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은, 대상 시설물에 대한 영상 정보 및/또는 3차원 형상 정보를 입력받아 이들을 분석하여 옹벽과 같은 사회 시설물에 대하여 1회 또는 수회 이동하면서 안전진단 및 모니터링을 수행함으로써, 빠르고 간단하게 안전 진단을 수행할 수 있도록 하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법 및 장치에 관한 것이다. 본 발명은, 안전진단을 수행하고자 하는 검사 대상(예를 들어, 옹벽)에서 균열, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근노출, 세굴, 물고임, 및 배부름 중의 적어도 어느 하나의 결함을 검출하여 상기 검사 대상에 대한 안전진단을 수행하는 것으로, 카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받는 모니터링 데이터 입력부; 상기 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 상기 객체의 상태를 계산하여 객체 결함 데이터를 생성하는 영상 분석부: 상기 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 형상 결함 데이터를 생성하는 3차원 형상 분석부; 상기 객체 결함 데이터로부터 상기 검사 대상영역의 객체 결함을 평가하고, 상기 형상 결함 데이터로부터 상기 검사 대상영역의 형상 결함을 평가하고, 상기 객체 결함과 상기 형상 결함으로부터 안전진단 결과를 생성하는 안전진단 결과 산출부; 및 상기 안전진단 결과를 외부 또는 관제소로 내보내는 안전진단 결과 출력부;를 포함할 수 있다.
Int. CL G06Q 50/10 (2012.01.01) G06N 3/08 (2023.01.01) G06Q 10/06 (2012.01.01) G08B 21/18 (2006.01.01) G01N 21/88 (2006.01.01) G06T 7/00 (2017.01.01) G06T 7/62 (2017.01.01) G06T 7/10 (2021.01.01) G01S 17/894 (2020.01.01)
CPC G06Q 50/10(2013.01) G06N 3/08(2013.01) G06Q 10/0635(2013.01) G08B 21/18(2013.01) G01N 21/8851(2013.01) G06T 7/0004(2013.01) G06T 7/62(2013.01) G06T 7/10(2013.01) G01S 17/894(2013.01)
출원번호/일자 1020220130689 (2022.10.12)
출원인 부경대학교 산학협력단
등록번호/일자 10-2565689-0000 (2023.08.07)
공개번호/일자
공고번호/일자 (20230809) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2022.10.12)
심사청구항수 15

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 부경대학교 산학협력단 대한민국 부산광역시 남구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김윤태 대한민국 부산광역시 남구
2 하용수 대한민국 부산광역시 남구
3 팜 밍 부옹 부산광역시 남구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 네이트특허법인 대한민국 서울특별시 강남구 역삼로 ***, ***호(역삼동, 하나빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 부경대학교 산학협력단 부산광역시 남구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2022.10.12 수리 (Accepted) 1-1-2022-1073223-40
2 [우선심사신청]심사청구서·우선심사신청서
2023.01.26 수리 (Accepted) 1-1-2023-0092204-84
3 선행기술조사의뢰서
Request for Prior Art Search
2023.02.20 수리 (Accepted) 9-1-9999-9999999-89
4 특허고객번호 정보변경(경정)신고서·정정신고서
2023.02.23 수리 (Accepted) 4-1-2023-5045343-17
5 선행기술조사보고서
Report of Prior Art Search
2023.03.13 발송처리완료 (Completion of Transmission) 9-6-2023-0053944-18
6 의견제출통지서
Notification of reason for refusal
2023.04.28 발송처리완료 (Completion of Transmission) 9-5-2023-0396502-73
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2023.05.09 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2023-0510393-88
8 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2023.05.09 수리 (Accepted) 1-1-2023-0510395-79
9 특허고객번호 정보변경(경정)신고서·정정신고서
2023.06.14 수리 (Accepted) 4-1-2023-5154318-09
10 거절결정서
Decision to Refuse a Patent
2023.06.20 발송처리완료 (Completion of Transmission) 9-5-2023-0559174-13
11 [명세서등 보정]보정서(재심사)
Amendment to Description, etc(Reexamination)
2023.07.17 보정승인 (Acceptance of amendment) 1-1-2023-0785054-97
12 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2023.07.17 수리 (Accepted) 1-1-2023-0785080-74
13 등록결정서
Decision to Grant Registration
2023.08.03 발송처리완료 (Completion of Transmission) 9-5-2023-0709655-03
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
안전진단을 수행하고자 하는 검사 대상(예를 들어, 옹벽)에서 균열, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근노출, 세굴, 물고임, 및 배부름 중의 적어도 어느 하나의 결함을 검출하여 상기 검사 대상에 대한 안전진단을 수행하는 것으로, 카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받는 모니터링 데이터 입력부; 상기 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 상기 객체의 상태를 계산하여 객체 결함 데이터를 생성하는 영상 분석부: 상기 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 형상 결함 데이터를 생성하는 3차원 형상 분석부; 상기 객체 결함 데이터로부터 상기 검사 대상영역의 객체 결함을 평가하고, 상기 형상 결함 데이터로부터 상기 검사 대상영역의 형상 결함을 평가하고, 상기 객체 결함과 상기 형상 결함으로부터 안전진단 결과를 생성하는 안전진단 결과 산출부; 및 상기 안전진단 결과를 외부 또는 관제소로 내보내는 안전진단 결과 출력부;를 구비하고, 상기 카메라 및 라이다(LiDAR)가 이동 가능하게 설치되어 이동하면서 상기 영상정보 및 상기 3차원 형상정보를 입력받으며, 상기 객체는 검사 대상영역에서 검출된 균열이고, 상기 영상분석부는, 미리 학습용 이미지 데이터에 의하여 mask R-CNN 및 YOLO 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 영상에서 균열이 감지되어 분할된 균열 감지 이미지를 생성하며, 상기 균열 감지 이미지는, 상기 입력 영상을 1개 채널의 회색 이미지로 변환하고, 상기 회색 이미지의 각각의 픽셀이 균열을 포함할 확률이 설정값(예를 들어, 0
2 2
삭제
3 3
삭제
4 4
제1항에 있어서, 상기 균열 감지 이미지를 이미지 처리하여 식별된 균열 형상으로부터 균열의 길이와 너비를 상기 객체의 상태로 계산하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
5 5
제1항에 있어서, 상기 균열 감지 이미지를 이미지 처리하여 식별된 균열 형상을 설정된 수평 또는 수직 픽셀 수의 단위로 복수의 세그먼트로 분할하고, 기준선과 균열의 경계의 두 교차점의 중심을 각각의 세그먼트의 중심점으로 하고, 해당 세그먼트의 중심점과 이전 세그먼트의 중심점 사이의 거리를 해당 세그먼트의 중심선으로 하고, 모든 세그먼트의 중심선의 합이 상기 균열의 길이로 계산되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
6 6
제5항에 있어서, 상기 균열의 시작점과 끝점을 잇는 선과 수평선 사이의 각도가 0~45도이면 균열 감지 이미지에서 수직선이 상기 기준선이 되고, 상기 균열의 시작점과 끝점을 잇는 선과 수평선 사이의 각도가 45~90도이면 균열 감지 이미지에서 수평선이 상기 기준선이 되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
7 7
제5항에 있어서, 상기 세그먼트에서 상기 중심선에 수직인 선과 균열 경계의 교차하는 두 지점들 사이의 거리가 상기 세그먼트의 너비가 되고, 전체 균열의 너비는 각각의 상기 세그먼트 너비들의 평균인 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
8 8
제4항에 있어서, 픽셀 단위로 계산된 상기 균열의 길이와 너비에 mm 단위 변환 계수를 곱하여 mm 단위의 상기 균열의 길이와 너비를 계산하며, 상기 mm 단위 변환 계수는 mm 단위의 설정된 면적에 포함되는 가로 픽셀수 X 세로 픽셀수의 값으로 나눈 값의 제곱근인 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
9 9
제1항에 있어서, 상기 3차원 형상정보는 입력되는 검사 대상의 3차원 형상을 포인트 클라우드로 구성되어 3차원 형상으로 생성되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
10 10
제9항에 있어서, 상기 3차원 형상 분석부는, 미리 학습용 3차원 형상의 포인트 클라우드 데이터에 의하여 PointNet 또는 VoxelNet 모델을 이용하여 학습되어 생성되는 균열 감지 모델을 이용하여 입력되는 입력 3차원 형상에서 균열이 감지되어 분할된 3차원 균열 감지 형상을 생성하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
11 11
제10항에 있어서, 상기 3차원 형상 분석부는 상기 형상의 상태를 계산하여 형상 결함 데이터를 생성하고, 상기 균열 감지 형상을 이미지 처리하여 식별된 3차원 균열 형상으로부터 균열의 깊이를 상기 형상의 상태로 계산하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
12 12
삭제
13 13
안전진단을 수행하고자 하는 검사 대상(예를 들어, 옹벽)에서 균열, 침하, 활동, 전도, 경사, 파손, 박리, 층분리, 박락, 백태, 철근노출, 세굴, 물고임, 및 배부름 중의 적어도 어느 하나의 결함을 검출하여 상기 검사 대상에 대한 안전진단을 수행하는 것으로, 카메라를 통하여 검사 대상영역의 영상정보를 입력받고, 라이다(LiDAR)를 통하여 상기 검사 대상영역의 3차원 형상정보를 입력받는 모니터링 데이터 입력부; 상기 영상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 객체를 인식하고, 상기 객체의 상태를 계산하여 객체 결함 데이터를 생성하는 영상 분석부: 상기 3차원 형상정보에서 미리 지정된 결함 중의 어느 하나에 해당하는 형상을 인식하고, 형상 결함 데이터를 생성하는 3차원 형상 분석부; 상기 객체 결함 데이터로부터 상기 검사 대상영역의 객체 결함을 평가하고, 상기 형상 결함 데이터로부터 상기 검사 대상영역의 형상 결함을 평가하고, 상기 객체 결함과 상기 형상 결함으로부터 안전진단 결과를 생성하는 안전진단 결과 산출부; 및 상기 안전진단 결과를 외부 또는 관제소로 내보내는 안전진단 결과 출력부;를 구비하고, 상기 카메라 및 라이다(LiDAR)가 이동 가능하게 설치되어 이동하면서 상기 영상정보 및 상기 3차원 형상정보를 입력받으며, 상기 카메라 및 라이다가 차량에 서로 상대 위치가 고정되도록 설치되어 이동하거나, 상기 카메라 및 라이다가 이동 대차 또는 개인 휴대장치에 서로 상대 위치가 고정되도록 설치되어 이동하며, 상기 카메라 및 라이다의 설치 위치(예를 들어, 설치 높이) 또는 측정 위치(예를 들어, 설치 높이)에 따라 보정 계수 또는 보정 정보가 생성되고, 상기 카메라와 상기 라이다의 상대적 설치 위치(예를 들어, 설치 높이)에 따라 입력되는 영상정보 및 3차원 형상정보가 보정되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
14 14
제13항에 있어서, 미리 상기 카메라와 상기 라이다의 상대적 설치 위치 관계에 따른 보정 계수 또는 보정 정보가 생성되고, 상기 카메라와 상기 라이다의 상대적 설치 위치에 따라 입력되는 영상정보 또는 3차원 형상정보가 보정되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
15 15
제1항에 있어서, 상기 안전진단 결과 산출부는, 상기 객체 결함 및 상기 형상 결함을 각각 점수를 수치화하여 결함지수를 산출하고, 각각의 정보를 시계열로 나타내고, 설정된 기준 이내 분포 여부 및 특이점 발생 현황을 고려하여 안전진단 결과를 생성하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
16 16
제1항에 있어서, 상기 검사 대상영역을 세부 영역으로 분할하고, 상기 세부 영역 단위로 안전진단 결과를 생성하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
17 17
제15항에 있어서, 상기 안전진단 결과 출력부는 상기 결함지수가 설정된 기준값을 벗어나거나 특이점이 발생하면 경고 신호를 출력하는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치
18 18
제1항, 제4항 내지 제11항, 및 제13항 내지 제17항 중의 어느 하나의 항의 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 장치에 의하여 수행되는 딥러닝 기반 이동식 시설물 안전진단 및 모니터링 방법
19 19
삭제
20 20
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 국토교통부 한국토지주택공사 (이관)쇠퇴지역 재생역량 강화를 위한 기술개발(R&D) 쇠퇴지역의 도시공간 위험성 분석 및 도시회복력 향상을 위한 기술개발