| 1 |
1
다중영상 기반 선박 근접 주변 상황인식 지원 시스템에 있어서,주변 영상 및 항법센서를 이용하여 주변을 모니터링하여 주변 물체를 탐지 및 추적하는 무인수상정(USV: Unmanned Surface Vehicle); 및상기 주변 물체의 탐지에 따라 상기 무인수상정의 주변상황 인식을 지원하는 원격운항관제 장치를 포함하되,상기 무인수상정은,상기 원격운항관제 장치로부터 수신되는 제어명령 및 제어정보에 따라 상기 무인수상정의 운항을 제어하는 운항제어부;영상분석을 통한 상기 무인수상정 주변의 물체를 감지하기 위하여, 상기 무인수상정 주변의 다중영상을 획득하는 영상획득부;상기 무인수상정의 현재 운항 정보 및 상기 무인수상정 주변의 장애물 정보를 실시간으로 획득하는 항법센서부; 및상기 다중영상, 상기 현재 운항 정보 및 상기 장애물 정보를 이용하여 상기 무인수상정 주변을 모니터링하고, 상기 모니터링 결과 상기 무인수상정 주변에 미리 설정된 거리 이내로 근접한 물체가 탐지되면, 상기 탐지된 물체를 추적하는 탐지부를 포함하고,상기 운항제어부는, 목적지 정보를 입력받아 목적지까지의 최적의 항해경로를 생성하고, 상기 생성된 최적의 항해경로에 따라 상기 무인수상정이 항해하도록 제어하는 자율운항 기능을 구비하되, 상기 영상획득부 및 상기 항법센서부로부터 획득되는 상기 다중영상, 상기 현재 운항 정보 및 상기 장애물 정보를 이용하여 상기 무인수상정이 주변의 선박이나 장애물을 회피하도록 상기 무인수상정의 속력 및 방향을 제어하고,상기 영상획득부는, 상기 무인수상정의 주변을 촬영하도록 설치되는 열화상 카메라, 파노라마 카메라 및 360도 카메라를 포함하고, 상기 무인수상정의 주변에 대한 어라운드뷰 형태의 열화상 영상, 파노라마 영상 및 360도 영상을 포함하는 상기 다중영상을 획득하고,상기 항법센서부는, GPS(Global Positioning System), 자이로 센서(gyro sensor), 자동선박식별장치(AIS: Automatic Identification System) 및 레이더(RADAR)를 포함하되, 상기 GPS 및 상기 자이로 센서는 상기 무인수상정의 위치, 속도, 방위 및 자세를 포함하는 상기 현재 운항 정보를 획득하고, 상기 자동선박식별장치(AIS) 및 상기 레이더(RADAR)는 상기 장애물 정보를 획득하고,상기 원격운항관제 장치는,상기 다중영상, 상기 현재 운항 정보 및 상기 장애물 정보를 이용하여, 상기 탐지된 물체와 상기 무인수상정의 충돌 위험도를 산출하는 추정부; 및상기 주변상황 인식을 지원하기 위하여, 상기 산출된 충돌 위험도를 상기 탐지된 물체 별로 전자해도 상에 상기 탐지된 물체와 함께 표시하여 출력하는 상황인식부를 포함하고,상기 추정부는, 미리 설정된 퍼지 기반 선박충돌 알고리즘에 따라 상기 현재 운항 정보를 이용하여 상기 무인수상정의 예상 경로 상에 상기 탐지된 물체가 위치하는지 여부를 판단하고, 상기 판단 결과 상기 탐지된 물체가 상기 예상 경로 상에 위치하는 경우, 상기 탐지된 물체에 대하여 상기 현재 운항 정보 및 상기 장애물 정보를 이용한 퍼지 기반 충돌 위험도를 산출하고, 상기 탐지된 물체의 추적 결과, 상기 탐지된 물체가 이동하는 물체인 경우, 상기 탐지된 물체가 상기 무인수상정의 예상 경로를 통과하는 시점을 산출하고, 상기 산출된 예상 경로 통과 시점에 상기 탐지된 물체에 대하여 상기 퍼지 기반 충돌 위험도를 산출하고,상기 상황인식부는 상기 주변상황 인식을 지원하기 위하여, 상기 다중영상을 기반으로 한 증강현실(AR) 또는 가상현실(VR)에 상기 탐지된 물체에 대하여 상기 충돌 위험도를 표시하여 출력하는 것을 특징으로 하는 다중영상 기반 선박 근접 주변 상황인식 지원 시스템
|
| 7 |
7
무인수상정 및 원격운항관제 장치를 포함하는 시스템에서 수행되는 다중영상 기반 선박 근접 주변 상황인식 지원 방법에 있어서,상기 무인수상정이 영상분석을 통한 주변의 물체를 감지하기 위하여, 주변의 다중영상을 획득하는 단계;상기 무인수상정이 현재 운항 정보 및 주변의 장애물 정보를 실시간으로 획득하는 단계;상기 무인수상정이 상기 원격운항관제 장치로부터 수신되는 제어명령 및 제어정보에 따라 상기 무인수상정의 운항을 제어하는 단계;상기 무인수상정이 상기 다중영상, 상기 현재 운항 정보 및 상기 장애물 정보를 이용하여, 주변을 모니터링하고, 상기 모니터링 결과 미리 설정된 거리 이내로 근접한 물체가 탐지되면, 상기 탐지된 물체를 추적하는 단계;상기 원격운항관제 장치가 상기 물체의 탐지에 따라 상기 무인수상정의 주변상황 인식을 지원하는 단계를 포함하되,상기 주변의 다중영상을 획득하는 단계는,상기 무인수상정의 주변을 촬영하도록 설치되는 열화상 카메라, 파노라마 카메라 및 360도 카메라를 이용하여 상기 무인수상정의 주변에 대한 어라운드뷰 형태의 열화상 영상, 파노라마 영상 및 360도 영상을 포함하는 상기 다중영상을 획득하고,상기 현재 운항 정보 및 주변의 장애물 정보를 실시간으로 획득하는 단계는,GPS(Global Positioning System) 및 자이로 센서(gyro sensor)를 이용하여 상기 무인수상정의 위치, 속도, 방위 및 자세를 포함하는 상기 현재 운항 정보를 획득하고, 자동선박식별장치(AIS: Automatic Identification System) 및 레이더(RADAR)를 이용하여 상기 장애물 정보를 획득하고,상기 무인수상정의 운항을 제어하는 단계는,상기 무인수상정이 목적지 정보를 입력받아 목적지까지의 최적의 항해경로를 생성하고, 상기 생성된 최적의 항해경로에 따라 상기 무인수상정이 항해하도록 제어하는 자율운항 기능을 구비하되, 영상획득부 및 항법센서부로부터 획득되는 상기 다중영상, 상기 현재 운항 정보 및 상기 장애물 정보를 이용하여 상기 무인수상정이 주변의 선박이나 장애물을 회피하도록 상기 무인수상정의 속력 및 방향을 제어하고,상기 무인수상정의 주변상황 인식을 지원하는 단계는,상기 원격운항관제 장치가 상기 다중영상, 상기 현재 운항 정보 및 상기 장애물 정보를 이용하여, 상기 탐지된 물체와 상기 무인수상정의 충돌 위험도를 산출하는 단계; 및상기 원격운항관제 장치가 상기 주변상황 인식을 지원하기 위하여, 상기 산출된 충돌 위험도를 상기 탐지된 물체 별로 전자해도 상에 상기 탐지된 물체와 함께 표시하여 출력하는 단계를 포함하되,상기 무인수상정의 충돌 위험도를 산출하는 단계는,상기 원격운항관제 장치가 미리 설정된 퍼지 기반 선박충돌 알고리즘에 따라 상기 현재 운항 정보를 이용하여 상기 무인수상정의 예상 경로 상에 상기 탐지된 물체가 위치하는지 여부를 판단하고, 상기 판단 결과 상기 탐지된 물체가 상기 예상 경로 상에 위치하는 경우, 상기 탐지된 물체에 대하여 상기 현재 운항 정보 및 상기 장애물 정보를 이용한 퍼지 기반 충돌 위험도를 산출하고, 상기 탐지된 물체의 추적 결과, 상기 탐지된 물체가 이동하는 물체인 경우, 상기 탐지된 물체가 상기 무인수상정의 예상 경로를 통과하는 시점을 산출하고, 상기 산출된 예상 경로 통과 시점에 상기 탐지된 물체에 대하여 상기 퍼지 기반 충돌 위험도를 산출하고,상기 출력하는 단계는,상기 원격운항관제 장치가 상기 주변상황 인식을 지원하기 위하여, 상기 다중영상을 기반으로 한 증강현실(AR) 또는 가상현실(VR)에 상기 탐지된 물체에 대하여 상기 충돌 위험도를 표시하여 출력하는 것을 특징으로 하는 다중영상 기반 선박 근접 주변 상황인식 지원 방법
|
