| 1 |
1
라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법에 있어서,영상 감시 영역의 감시영상이 입력될 경우에, 감시영상을 누적해서 배경 파트를 생성하는 제 1 단계;상기 배경 파트를 기준으로 미리 설정된 차이값보다 초과하는 화소를 산출하는 제 2 단계;상기 차이값이 임계치 이상인 화소영역을 전경 파트로 획득하는 제 3 단계;상기 전경 파트의 노이즈를 모폴로지 필터를 통해 삭제하는 제 4 단계;상기 노이즈가 제거된 전경 파트에서 다수의 상이한 객체별로 부분 윤곽을 영상분포도에 의해서 추출하는 제 5 단계;상기 추출된 객체의 부분 윤곽에서, 미리 설정된 최소 크기 이하의 영역을 인접한 영역과 결합하여 객체의 서브 바디를 생성하는 제 6 단계;상기 생성된 객체의 서브 바디를 미리 설정된 감시객체의 서브 바디패턴과 비교해서, 현재 감시객체에 해당하는 객체의 서브 바디를 전부 일괄추출하는 제 7 단계;상기 감시객체에 해당하는 객체의 서브 바디가 추출된 경우에, 각각의 객체 서브 바디로부터 객체의 전체 크기와 위치를 상이한 객체의 서브 바디별로 추정하는 미리 설정된 포맷에 의해서 현재 객체의 전체 크기와 위치를 추정하는 제 8 단계;상기 추정된 객체 전체를 통해 나타난 객체의 행동이 미리 설정된 특이행동인 경우, 해당하는 객체를 표적으로 라이다 센서의 동작을 개시하고, 상기 특이행동이 아닌 경우 상기 라이다 센서의 동작을 개시하지 않는 제 9 단계; 및상기 개시된 라이다 센서에 의한 객체의 반사 정보와 도플러 주파수 편이 정보에 따라 다수의 상이한 객체별로 멀티 표적을 추적하는 제 10 단계; 를 포함하는 것을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법
|
| 2 |
2
제1항에 있어서, 상기 제 8 단계와 상기 제 9 단계의 사이에,상기 추정된 객체의 영상구조특징과, 영상깊이 정보를 추출하고, 상기 영상감시영역으로부터의 수중의 환경정보를 수집하는 단계와; 상기 추출된 객체의 영상구조특징과, 영상깊이, 상기 수집된 영상감시영역의 수중의 환경정보에 의해서 아래의 객체 3차원 학습모델에 따라 객체를 3차원 객체화하는 단계;상기 객체 3차원 학습모델은,a) 객체를 인식할 경우에, 다수의 상이한 객체별로 주변 수중환경 유형에 따라 객체를 영상구조특징 및 영상깊이로 분류하여 3차원 객체화하고,다수의 상이한 3차원 객체별로 대응하여 영상평면 상에 타원의 방정식을 생성해서 학습 모델을 정의하고,상기 3차원 객체화가 될 경우에는, 다수의 상이한 객체별로 주변 수중환경 유형에 따라서 윤곽선 패턴을 학습한 결과로부터 객체의 영상구조특징 및 영상깊이를 분류하며,b) 다수의 상이한 객체와, 주변환경 유형별로 영상구조특징 및 영상깊이 데이터셋을 추출하고,c) 상기 추출된 데이터셋을 다수의 상이한 영상감시 장소와, 시간대, 주변환경 유형을 반영하여 속성화하며,d) 상기 속성화된 결과를 기초로 한 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이의 속성을 결정하고,e) 상기 결정된 결과를 정규화해서,f) 상기 정규화된 결과를 기초로 해서 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이를 설정하여, 다수의 상이한 3차원 객체별로 객체화하는 독립 및 종속 변수를 설정하고,g) 상기 설정된 결과를 학습 및 훈련 데이터로 생성하여,h) 상기 생성된 결과로부터 딥러닝 기반의 객체 3차원 학습모델을 생성하고,상기 획득된 3차원 객체에 의해 객체를 추출하여 인식하는 단계;를 포함하는 것을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법
|
| 3 |
3
제2항에 있어서, 상기 제 8 단계는,상기 영상 분포도에 의해 객체의 전체 크기와 위치가 추정될 경우에, 미리 설정된 이상 객체 영상분포도로부터 현재 객체의 영상분포도를 비교해서, 미리 설정된 차이값보다 이상인 경우에 알람하고 미만인 경우에는 알람하지 않는 것; 을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법
|
| 4 |
4
제2항에 있어서, 상기 영상감시영역으로부터의 수중 환경정보를 수집하는 단계는,상기 주변 수중 환경정보가 수집될 경우에, 다수의 상이한 영상감시 시스템 유형별로 고유한 통신데이터 특성을 오픈된 공통플랫폼 하에서 통합적으로 구성한 통신기능용 라이브러리를 미리 등록하는 제 2-1 단계;상기 다수의 상이한 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 통신기능용 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성하는 제 2-2 단계; 및상기 생성된 어플리케이션과 컴포넌트에 의해 상기 영상감시 주변의 환경정보를 수집하는 제 2-3 단계; 를 포함하는 것을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법
|
| 5 |
5
제4항에 있어서,상기 영상감시영역으로부터의 주변의 수중환경정보를 수집하는 단계는,상기 주변 수중환경정보가 수집될 경우에, 영상감시 시스템 유형별로 고유한 데이터 특성과, 어플리케이션, 제어 동작환경, 서비스를 오픈된 공통플랫폼 하에서 통합적으로 구성한 개발가이드 라이브러리를 미리 등록하는 제 2-1‘ 단계; 및상기 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 개발가이드 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성하는 제 2-2’단계; 를 더 포함하고,상기 제 2-3 단계는, 상기 제 2-2‘ 단계에 의해 생성된 어플리케이션과 컴포넌트를 추가적으로 사용해서 상기 영상감시영역의 수중환경정보를 수집하는 것; 을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법
|
| 6 |
6
제5항에 있어서,상기 영상감시영역으로부터의 주변의 수중환경정보를 수집하는 단계는,상기 주변 환경정보가 수집될 경우에, 해당하는 영상감시 장치를 센서노드로서 관리할 oneM2M 표준에 따른 프로토콜과, 상기 프로토콜 관리파일을 구성한 프로토콜 라이브러리를 미리 등록하고,상기 프로토콜 라이브러리는 오픈된 공통플랫폼 하에서 영상감시 시스템 유형별로 고유한 통신데이터 특성별로 통합적으로 구성하는 제 2-1’‘ 단계; 및상기 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 프로토콜 라이브러리에 의해서 어플리케이션과 컴포넌트를 생성하는 제 2-2’‘ 단계; 를 더 포함하고,상기 제 2-3 단계는,상기 제 2-2’‘ 단계에 의해 생성된 어플리케이션과 컴포넌트로도 상기 영상감시 영역의 주변 환경정보를 수집하는 것;을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법
|
| 7 |
7
제6항에 있어서, 상기 영상감시영역으로부터의 수중 주변환경정보를 수집하는 단계는,상기 수중 주변환경정보가 수집될 경우에, 영상감시 시스템별로 고유한 실시간 모니터링과 제어용 어플리케이션 제작특성과, 다른 관리자와의 공유용 편집기, 상기 편집기를 통해 제어할 영상감시 시스템을 연결하는 도구를 미리 등록하고,상기 연결된 영상감시 시스템으로부터 수집된 정보를 관리자 앱 서비스로 표현하는 컴포넌트와, 상기 컴포넌트를 제작 및 오픈 API로 등록하여 사용하는 기능도 미리 등록하는 제 2-1’‘’ 단계; 및상기 등록된 결과를 오픈플랫폼 하에서 해당하는 서비스 앱으로 구성해서 실행파일로 생성하는 제 2-2‘’‘ 단계; 를 더 포함하고,상기 제 2-3 단계는,상기 생성된 실행파일에 의해서 영상감시 시스템을 실시간 모니터링과 제어하므로, 상기 영상감시 영역의 주변 환경정보를 수집하는 것; 을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법
|
| 8 |
8
제4항 내지 제7항 중의 어느 한 항에 잇어서,상기 영상감시영역으로부터의 수중 주변환경정보를 수집하는 단계는,A) 상기 주변환경정보가 수집될 경우에, 영상감시 시스템의 데이터전송사양을 미리 설정된 기준 데이터전송사양과 비교해서,B) 상기 비교 결과, 영상감시 시스템의 데이터전송 사양이 상기 기준 데이터전송 사양보다 이상인 경우에 현재 상태를 유지하고, 반면에 미만인 경우에는 암호화를 위한 버퍼를 할당하여 초기화하고,C) 미리 설정된 마스터 키를 통해 암호화 키를 생성하며,D) 상기 영상감시 영역의 주변 환경정보를 읽고,E) 상기 주변 환경정보의 길이와, 다수의 상이한 영상감시 시스템별로 대응하여 미리 설정된 암호화 데이터 길이 중에서 해당 암호와 데이터 길이를 비교하고,F) 상기 비교 결과, 상기 주변환경정보의 길이가 해당하는 암호화 데이터 길이보다 작은 경우 암호화 하지 않고 전송하며, 큰 경우에는 프레임을 검출하고,G) 확장 헤더는 확장 비트를 읽어 유무를 확인하고,H) 상기 확인 결과, 확장 비트가 있는 경우에 페이로드 시작점 오프셋을 확장 길이만큼 이동시키고,I) 상기 프레임과, 암호용 키, 페이로드 오프셋 정보를 파라미터로 전달받아 프레임의 페이로드 시작부분을 미리 설정된 암호화 포맷으로 부분 암호화해서 저성능 영상감시 시스템을 위한 경량 프로토콜로서 제공하는 것; 을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법
|
| 9 |
9
제8항에 있어서,상기 영상감시영역으로부터의 수중 주변환경정보를 수집하는 단계는,a) 상기 주변환경정보를 수집하기 위해서, 미리 상이한 어플리케이션별로 해시트리를 기준으로 하위 해시값을 부여하고, 상기 해시트리의 상위 해시값을 등록해서,현재 주변환경정보가 수집되는데 사용하는 어플리케이션별로 해시값을 연결해서 해시노드를 형성한 경우에 보안이 된 것으로 확인하는 포맷을 등록하고,b) 상기 주변 환경정보가 수집될 경우에, 상기 포맷에 의해서 관련된 어플리케이션별로 해시값을 연결하여 해시노드를 형성한 경우에 한해서 보안이 된 것으로 확인하고,c) 상기 주변 환경정보가 수집될 경우에 추가적으로 어플리케이션 사용을 감지해서 상기 감지 결과, 어플리케이션 사용이 된 경우에 화이트 리스트 및 블랙 리스트에 기반한 사용자 선택 모드에 따라 해당 어플리케이션의 시그니처 정보를 검색하고,d) 상기 검색 결과, 해당하는 어플리케이션 시그니처 정보가 있는 경우 자신의 어플리케이션 사용을 허용하고, 반면에 해당 어플리케이션 시그니처 정보가 없는 경우에는 자신의 어플리케이션 사용을 차단하는 것;을 특징으로 하는 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법
|
