| 1 |
1
선박의 데이터 및 해상객체의 영상, 선명, 침로, 위치, 선속을 포함하는 해상객체 데이터 및 운항정를 수집하는 수집장치; 상기 수집장치로부터 수집된 수집데이터를 이용하여 상기 해상객체의 위치를 인지하여 위치정보를 생성하고 상기 수집장치에 의해 수집된 정보에 대응하는 객체정보를 매칭시키는 추적서버; 상기 추적서버에 의해 생성된 객체정보를 이미지화시킨 이미지정보를 생성하며 가상현실 영상을 재현하여 증강현실 기반의 가시화 데이터를 생성하는 가시화서버; 및상기 가시화서버에 의해 이미지화된 이미지정보를 표시하는 증강현실표시부; 해상객체의 자동추적 시스템은, 해상객체의 자동추적 시스템을 구성하기 위하여 학습데이터를 생성하여 시뮬레이터로부터 획득한 카메 영상 및 레이다 영상을, 상기 시뮬레이터 및 생성된 학습데이터를 활용하여 학습 및 테스트를 수행하는 딥러닝학습시스템을 더 포함하며,상기 수집장치는, 선박의 일측에 설치되어 해상객체의 영상을 취득하는 카메라; 해상에 주변의 해상객체의 존재 및 위치를 감지하는 레이다; 및상기 해상객체의 선명, 침로, 위치, 선속을 포함하는 해상객체 데이터를 수집하고 상기 해상의 상태를 수집하는 센서장치;를 포함하는 해상객체의 자동추적 시스템
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서, 상기 센서장치는, 해상의 파고를 감지하는 파고계; 해상객체의 선명, 침로, 위치 및 선속의 항행정보를 수신하여 자동으로 표시해주는 AIS(Automatic Identification System); 및 해당 선박의 위치를 상기 추적서버로 전송하여 알려주고 상기 해당 선박의 위치를 중심으로 상기 해상객체를 인지하도록 하는 GPS(Global Positioning System);상기 시뮬레이터 및 딥러닝학습시스템은, 학습 및 테스트를 수행하기 위하여 선박에 이식되기 전의 제1 신경망 및 제2 신경망을 구성하기 위하여 설치되고,상기 딥러닝학습시스템은, 선박에서 획득하거나 시뮬레이터로부터 생성한 다양한 해상교통 상황에 대한 카메라영상과 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보 등을 입력으로 딥러닝 학습 방법인 영역 기반 CNN(Region-based Convolutional Neural Network) 방법 등을 적용하여, 새로운 해상교통 상황에 대한 카메라영상이 주어졌을 때, 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보를 자동으로 추정하도록 학습되는 제1 신경망; 및실제 선박에서 획득하거나 시뮬레이터로부터 생성한 다양한 해상교통 상황에 대한 레이다영상과 이에 포함된 객체들의 위치(x, y) 정보를 입력으로 딥러닝 학습 방법인 영역 기반 CNN(Region-based Convolutional Neural Network) 방법 등을 적용하여, 새로운 해상교통 상황에 대한 레이다영상이 주어졌을 때, 이에 포함된 객체들의 위치(x, y) 정보를 자동으로 추정하도록 학습되는 제2 신경망;을 포함하는 해상객체의 자동추적 시스템
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
제1항에 있어서, 상기 추적서버는,상기 수집장치로부터 실시간으로 들어오는 카메라영상을 자동으로 해석하여 이에 포함된 객체들의 종류, 위치(x, y, z), 바운딩박스 정보 등을 출력하는 학습된 제1 신경망;상기 수집장치로부터 실시간으로 들어오는 레이다영상을 자동으로 해석하여 이에 포함된 객체들의 위치(x, y) 정보 등을 출력하는 학습된 제2 신경망;상기 추적서버는, 해상객체의 자동추적 시스템을 활용하려는 선박에 대한 정보를 획득 가능한 곳에 설치하는 것인 해상객체의 자동추적 시스템
|
| 8 |
8
삭제
|
| 9 |
9
딥러닝 학습 시스템을 이용하여 시뮬레이터 및 카메라, 레이다영상, 센서장치, 추적서버, 가시화서버로부터 해상객체를 검출할 수 있는 신경망을 학습하는 학습단계; 선박 항해 환경에서 실시간으로 들어오는 수집장치로부터 수신되는 데이터 및 학습된 신경망을 활용하여 해상객체를 검출 및 추적하는 활용 단계;상기 학습단계는, 다양한 해상교통 상황에 대한 카메라영상 및 레이다영상 그리고 이와 관련된 레이블링 정보를 실제 선박 및 상기 시뮬레이터로부터 획득 및 생성하는 단계; 획득 및 생성된 데이터를 딥러닝 학습 방법에 적합한 학습데이터로 가공하는 단계; 및 딥러닝학습시스템을 이용하여 상기 학습데이터를 입력으로 신경망을 학습하는 단계;상기 신경망을 학습하는 단계는, 선박 및 시뮬레이터로부터 획득 및 생성한 카메라영상 및 관련 레이블링 정보를 이용하여 정보융합 및 추적모듈, 상기 딥러닝 학습 시스템에 의해 제1 신경망이 선박에 이식되어 학습하는 단계; 및 선박 및 시뮬레이터로부터 획득 및 생성한 레이다영상 및 관련 레이블링 정보를 이용하여 상기 정보융합 및 추적모듈, 상기 딥러닝 학습 시스템에 의해 제2 신경망이 선박에 이식되어 학습하는 단계;를 포함하는 해상객체의 자동추적 방법
|
| 10 |
10
삭제
|
| 11 |
11
삭제
|
| 12 |
12
제9항에 있어서, 상기 활용단계는, 카메라영상, 레이다영상 및 센서정보를 획득하는 단계; 카메라영상, 레이다영상으로 부터 획득된 정보를 상기 신경망에 입력시키는 단계; 바운딩박스를 인지하는 단계; 상기 신경망을 이용하여 상기 인지된 바운딩박스 내의 객체의 종류, 위치를 인지하는 단계; 및상기 센서정보와 상기 신경망을 이용하여 획득된 객체정보를 융합시키는 단계;상기 융합시키는 단계는, 상기 센서정보와 상기 객체정보로부터 실제 값으로 추정되는 데이터를 유추하는 단계; 및 학습된 제1 신경망 및 제2 신경망의 출력 데이터와 센서 데이터를 융합시키는 단계; 및 융합된 정보를 바탕으로 사용자에게 전달할 영상 정보를 구성하는 단계;를 포함하여 구성되는 해상객체의 자동추적 방법
|
| 13 |
13
삭제
|
