| 1 |
1
상습 결빙 및 미끄러움 위험 지역 모니터링을 위한 방법에 있어서, 데이터처리부가 모니터링 영역을 라이다센서를 통해 스캔한 라이다 영상, 상기 모니터링 영역을 적외선필터카메라로 촬영한 적외선필터 영상, 상기 모니터링 영역을 열적외선 카메라로 촬영한 열적외선 영상을 임베딩하여 멀티채널영상벡터를 생성하는 단계; 검출부가 상기 멀티채널영상벡터를 검출모델에 입력하는 단계; 상기 검출모델이 상기 멀티채널영상벡터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 결빙 발생이 추정되는 영역을 특정하는 구획박스 및 상기 구획박스가 특정하는 영역에 결빙이 존재할 확률을 출력하는 단계; 및 상기 확률이 기 설정된 임계치 이상이면, 상기 검출부가 결빙이 발생한 것으로 인식하고, 결빙 발생을 알리는 메시지를 전송하는 단계;를 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 2 |
2
제1항에 있어서, 상기 멀티채널영상벡터를 생성하는 단계는 상기 데이터처리부가 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상을 수평 및 수직 방향으로 소정의 단위 높이 및 단위 폭을 가지는 복수의 단위 영역으로 구분하는 단계; 상기 데이터처리부가 상기 복수의 단위 영역 각각에 대해 동일한 규격의 컨벌루션 필터를 이용하여 컨벌루션 연산을 수행하여 해당 단위 영역의 특징을 표현하는 특징값을 추출하는 단계; 상기 데이터처리부가 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상 각각의 복수의 단위 영역에 대해 도출된 특징값을 원소로 하는 라이다영상벡터, 적외선필터영상벡터 및 열적외선영상벡터를 생성하는 단계; 상기 데이터처리부가 상기 라이다영상벡터, 상기 적외선필터영상벡터 및 상기 열적외선영상벡터를 병합하여 상기 멀티채널영상벡터를 생성하는 단계;를 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 3 |
3
제2항에 있어서, 상기 컨벌루션 필터는 상기 단위 영역과 동일한 규격이고, 상기 단위 영역의 픽셀의 수에 대응하는 원소를 가지며, 상기 컨벌루션 필터의 모든 원소는 0 혹은 1의 값을 가지되, 상기 컨벌루션 필터의 서로 이웃하는 원소는 다른 값을 가지는 것을 특징으로 하는 모니터링을 위한 방법
|
| 4 |
4
제2항에 있어서, 상기 복수의 단위 영역으로 구분하는 단계 전, 상기 데이터처리부가 상기 적외선필터 영상에 대해 이미지 프로세싱을 통해 관심영역을 검출하고, 검출된 관심영역을 제외한 나머지 영역의 픽셀값을 소거하거나, 0으로 채우는 단계;를 더 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 5 |
5
제2항에 있어서, 상기 복수의 단위 영역으로 구분하는 단계 전, 상기 데이터처리부가 상기 열적외선 영상 중 픽셀의 온도가 소정 수치 이상인 픽셀의 픽셀값을 소거하거나, 0으로 채우는 단계; 를 더 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 6 |
6
제1항에 있어서, 상기 멀티채널영상벡터를 생성하는 단계 전, 모델생성부가 데이터처리부를 통해 결빙 여부가 알려진 영역이 적어도 일부가 포함되는 학습 영역을 라이다센서로 스캔한 라이다 영상, 상기 학습 영역을 적외선 필터 카메라로 촬영한 적외선필터 영상 및 상기 학습 영역을 열적외선카메라로 촬영한 열적외선 영상으로부터 학습용 멀티채널영상벡터를 생성하는 단계; 상기 모델생성부가 결빙 상태 및 미결빙 상태를 구분하여 학습용 멀티채널영상벡터에 대한 레이블을 설정하는 단계; 상기 모델생성부가 손실함수에 대한 독립 하이퍼파라미터 및 종속 하이퍼파라미터를 포함하는 하이퍼파라미터를 설정하는 단계; 상기 모델생성부가 상기 학습용 멀티채널영상벡터를 검출모델에 입력하는 단계; 상기 검출모델이 입력된 학습용 멀티채널영상벡터에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하는 단계; 상기 모델생성부가 상기 손실 함수를 통해 상기 출력값과 상기 레이블의 차이인 손실이 최소가 되도록 검출모델의 가중치를 수정하는 최적화를 수행하는 단계; 상기 검출모델을 평가 지표를 통해 검증하여 상기 검출모델이 기 설정된 정확도에 도달할 때까지 상기 학습용 멀티채널영상벡터를 생성하는 단계와, 상기 레이블을 설정하는 단계와, 상기 검출모델에 입력하는 단계와, 상기 출력값을 산출하는 단계와, 상기 최적화를 수행하는 단계를 반복하는 단계;를 더 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 7 |
7
제6항에 있어서, 상기 손실함수는 이고, 상기 S는 셀의 수이고, 상기 C는 신뢰 점수이고, 상기 B는 한 셀 내의 구획상자의 수이고, 상기 pi(c)는 i 번째 셀의 객체가 클래스 c에 속할 확률이고, 상기 i는 결빙 상태 객체가 존재하는 셀을 나타내는 파라미터이고, 상기 j는 예측된 구획상자를 나타내는 파라미터이고, 상기 bx, by는 구획상자의 중심좌표이고, 상기 bw 및 bh는 각각 구획상자의 폭과 높이이고, 상기 는 독립 하이퍼파라미터이고, 상기 는 종속 하이퍼파라미터인 것을 특징으로 하는 모니터링을 위한 방법
|
| 8 |
8
제7항에 있어서, 상기 하이퍼파라미터를 설정하는 단계는 상기 반복 시 마다, 상기 독립 하이퍼파라미터인 상기 를 0
|
| 9 |
9
상습 결빙 및 미끄러움 위험 지역 모니터링을 위한 방법에 있어서, 모델생성부가 데이터처리부를 통해 결빙 여부가 알려진 영역이 적어도 일부가 포함되는 학습 영역을 라이다센서로 스캔한 라이다 영상, 상기 학습 영역을 적외선 필터 카메라로 촬영한 적외선필터 영상 및 상기 학습 영역을 열적외선카메라로 촬영한 열적외선 영상으로부터 학습용 멀티채널영상벡터를 생성하는 단계; 상기 모델생성부가 결빙 상태 및 미결빙 상태를 구분하여 학습용 멀티채널영상벡터에 대한 레이블을 설정하는 단계; 상기 모델생성부가 손실함수에 대한 독립 하이퍼파라미터 및 종속 하이퍼파라미터를 포함하는 하이퍼파라미터를 설정하는 단계; 상기 모델생성부가 상기 학습용 멀티채널영상벡터를 검출모델에 입력하는 단계; 상기 검출모델이 입력된 학습용 멀티채널영상벡터에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하는 단계; 상기 모델생성부가 상기 손실 함수를 통해 상기 출력값과 상기 레이블의 차이인 손실이 최소가 되도록 검출모델의 가중치를 수정하는 최적화를 수행하는 단계; 및 상기 검출모델을 평가 지표를 통해 검증하여 상기 검출모델이 기 설정된 정확도에 도달할 때까지, 상기 학습용 멀티채널영상벡터를 생성하는 단계와, 상기 레이블을 설정하는 단계와, 상기 검출모델에 입력하는 단계와, 상기 출력값을 산출하는 단계와, 상기 최적화를 수행하는 단계를 반복하는 단계;를 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 10 |
10
제9항에 있어서, 데이터처리부가 모니터링 영역을 라이다센서를 통해 스캔한 라이다 영상, 상기 모니터링 영역을 적외선필터카메라로 촬영한 적외선필터 영상, 상기 모니터링 영역을 열적외선 카메라로 촬영한 열적외선 영상을 임베딩하여 멀티채널영상벡터를 생성하는 단계; 검출부가 상기 멀티채널영상벡터를 상기 검출모델에 입력하는 단계; 상기 검출모델이 상기 멀티채널영상벡터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 결빙 발생이 추정되는 영역을 특정하는 구획박스 및 상기 구획박스가 특정하는 영역에 결빙이 존재할 확률을 출력하는 단계; 및 상기 확률이 기 설정된 임계치 이상이면, 상기 검출부가 결빙이 발생한 것으로 인식하고, 결빙 발생을 알리는 메시지를 전송하는 단계;를 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 11 |
11
제10항에 있어서, 상기 멀티채널영상벡터를 생성하는 단계는 상기 데이터처리부가 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상을 수평 및 수직 방향으로 소정의 단위 높이 및 단위 폭을 가지는 복수의 단위 영역으로 구분하는 단계; 상기 데이터처리부가 상기 복수의 단위 영역 각각에 대해 동일한 규격의 컨벌루션 필터를 이용하여 컨벌루션 연산을 수행하여 해당 단위 영역의 특징을 표현하는 특징값을 추출하는 단계; 상기 데이터처리부가 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상 각각의 복수의 단위 영역에 대해 도출된 특징값을 원소로 하는 라이다영상벡터, 적외선필터영상벡터 및 열적외선영상벡터를 생성하는 단계; 상기 데이터처리부가 상기 라이다영상벡터, 상기 적외선필터영상벡터 및 상기 열적외선영상벡터를 병합하여 상기 멀티채널영상벡터를 생성하는 단계;를 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 12 |
12
제11항에 있어서, 상기 컨벌루션 필터는 상기 단위 영역과 동일한 규격이고, 상기 단위 영역의 픽셀의 수에 대응하는 원소를 가지며, 상기 컨벌루션 필터의 모든 원소는 0 혹은 1의 값을 가지되, 상기 컨벌루션 필터의 서로 이웃하는 원소는 다른 값을 가지는 것을 특징으로 하는 모니터링을 위한 방법
|
| 13 |
13
제11항에 있어서, 상기 복수의 단위 영역으로 구분하는 단계 전, 상기 데이터처리부가 상기 적외선필터 영상에 대해 이미지 프로세싱을 통해 관심영역을 검출하고, 검출된 관심영역을 제외한 나머지 영역의 픽셀값을 소거하거나, 0으로 채우는 단계;를 더 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 14 |
14
제11항에 있어서, 상기 복수의 단위 영역으로 구분하는 단계 전, 상기 데이터처리부가 상기 열적외선 영상 중 픽셀의 온도가 소정 수치 이상인 픽셀의 픽셀값을 소거하거나, 0으로 채우는 단계; 를 더 포함하는 것을 특징으로 하는 모니터링을 위한 방법
|
| 15 |
15
제9항에 있어서, 상기 손실함수는 이고, 상기 S는 셀의 수이고, 상기 C는 신뢰 점수이고, 상기 B는 한 셀 내의 구획상자의 수이고, 상기 pi(c)는 i 번째 셀의 객체가 클래스 c에 속할 확률이고, 상기 i는 결빙 상태 객체가 존재하는 셀을 나타내는 파라미터이고, 상기 j는 예측된 구획상자를 나타내는 파라미터이고, 상기 bx, by는 구획상자의 중심좌표이고, 상기 bw 및 bh는 각각 구획상자의 폭과 높이이고, 상기 는 독립 하이퍼파라미터이고, 상기 는 종속 하이퍼파라미터인 것을 특징으로 하는 모니터링을 위한 방법
|
| 16 |
16
제15항에 있어서, 상기 하이퍼파라미터를 설정하는 단계는 상기 반복 시 마다, 상기 독립 하이퍼파라미터인 상기 를 0
|
| 17 |
17
상습 결빙 및 미끄러움 위험 지역 모니터링을 위한 장치에 있어서, 모니터링 영역을 라이다센서를 통해 스캔한 라이다 영상, 상기 모니터링 영역을 적외선필터카메라로 촬영한 적외선필터 영상, 상기 모니터링 영역을 열적외선 카메라로 촬영한 열적외선 영상을 임베딩하여 멀티채널영상벡터를 생성하는 데이터처리부; 및 상기 멀티채널영상벡터를 검출모델에 입력하여 상기 검출모델이 상기 멀티채널영상벡터에 대해 복수의 계층 간 학습된 가중치가 적용되는 복수의 연산을 수행하여 결빙 발생이 추정되는 영역을 특정하는 구획박스 및 상기 구획박스가 특정하는 영역에 결빙이 존재할 확률을 출력하면, 상기 확률에 따라 결빙 발생 여부를 인식하는 검출부;를 포함하는 것을 특징으로 하는 모니터링을 위한 장치
|
| 18 |
18
제17항에 있어서, 상기 데이터처리부는 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상을 수평 및 수직 방향으로 소정의 단위 높이 및 단위 폭을 가지는 복수의 단위 영역으로 구분하고, 상기 복수의 단위 영역 각각에 대해 동일한 규격의 컨벌루션 필터를 이용하여 컨벌루션 연산을 수행하여 해당 단위 영역의 특징을 표현하는 특징값을 추출하고, 상기 라이다 영상, 상기 적외선필터 영상 및 상기 열적외선 영상 각각의 복수의 단위 영역에 대해 도출된 특징값을 원소로 하는 라이다영상벡터, 적외선필터영상벡터 및 열적외선영상벡터를 생성하고, 상기 라이다영상벡터, 상기 적외선필터영상벡터 및 상기 열적외선영상벡터를 병합하여 상기 멀티채널영상벡터를 생성하는 것을 특징으로 하는 모니터링을 위한 장치
|
| 19 |
19
제18항에 있어서, 상기 컨벌루션 필터는 상기 단위 영역과 동일한 규격이고, 상기 단위 영역의 픽셀의 수에 대응하는 원소를 가지며, 상기 컨벌루션 필터의 모든 원소는 0 혹은 1의 값을 가지되, 상기 컨벌루션 필터의 서로 이웃하는 원소는 다른 값을 가지는 것을 특징으로 하는 모니터링을 위한 장치
|
| 20 |
20
제18항에 있어서, 상기 데이터처리부가 상기 복수의 단위 영역으로 구분하기 전, 상기 적외선필터 영상에 대해 이미지 프로세싱을 통해 관심영역을 검출하고, 검출된 관심영역을 제외한 나머지 영역의 픽셀값을 소거하거나, 0으로 채우는 것을 특징으로 하는 모니터링을 위한 장치
|
| 21 |
21
제18항에 있어서, 상기 데이터처리부가 상기 복수의 단위 영역으로 구분하기 전, 상기 열적외선 영상 중 픽셀의 온도가 소정 수치 이상인 픽셀의 픽셀값을 소거하거나, 0으로 채우는 것을 특징으로 하는 모니터링을 위한 장치
|
| 22 |
22
제17항에 있어서, 상기 데이터처리부를 통해 결빙 여부가 알려진 영역이 적어도 일부가 포함되는 학습 영역을 라이다센서로 스캔한 라이다 영상, 상기 학습 영역을 적외선 필터 카메라로 촬영한 적외선필터 영상 및 상기 학습 영역을 열적외선카메라로 촬영한 열적외선 영상으로부터 학습용 멀티채널영상벡터를 생성하고, 결빙 상태 및 미결빙 상태를 구분하여 상기 학습용 멀티채널영상벡터에 대한 레이블을 설정하고, 상기 학습용 멀티채널영상벡터에 대해 손실함수에 대한 독립 하이퍼파라미터 및 종속 하이퍼파라미터를 포함하는 하이퍼파라미터를 설정하고, 상기 학습용 멀티채널영상벡터를 검출모델에 입력하여 상기 검출모델이 입력된 학습용 멀티채널영상벡터에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 출력값을 산출하면, 상기 손실 함수를 통해 상기 출력값과 상기 레이블의 차이인 손실이 최소가 되도록 검출모델의 가중치를 수정하는 최적화를 수행하는 모델생성부;를 더 포함하는 것을 특징으로 하는 모니터링을 위한 장치
|
| 23 |
23
제22항에 있어서, 상기 손실함수는 이고, 상기 S는 셀의 수이고, 상기 C는 신뢰 점수이고, 상기 B는 한 셀 내의 구획상자의 수이고, 상기 pi(c)는 i 번째 셀의 객체가 클래스 c에 속할 확률이고, 상기 i는 결빙 상태 객체가 존재하는 셀을 나타내는 파라미터이고, 상기 j는 예측된 구획상자를 나타내는 파라미터이고, 상기 bx, by는 구획상자의 중심좌표이고, 상기 bw 및 bh는 각각 구획상자의 폭과 높이이고, 상기 는 독립 하이퍼파라미터이고, 상기 는 종속 하이퍼파라미터인 것을 특징으로 하는 모니터링을 위한 장치
|
| 24 |
24
제23항에 있어서, 상기 모델생성부는 상기 독립 하이퍼파라미터인 상기 를 0
|
