맞춤기술찾기

이전대상기술

심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템

  • 기술번호 : KST2020000395
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 안개 환경 등과 같이 제약된 환경에서 운항중인 선박에 위험이 될 수 있는 주변의 물체를 인식하여 물체와 충돌 사고가 발생하지 않도록 방지하는, 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템에 관한 것이다. 본 발명에 의하면, 해상에서의 기상 악화에 따른 안개와 같은 환경에서 해상 위에 존재하는 물체와 충돌 사고를 방지하기 위해, 일정 반경 내의 모든 물체 움직임을 감지 및 인식하고, 객체 감지 시 위험 알림을 선장에게 알림으로써 충돌 사고를 크게 감소시킬 수 있도록 하며, 또한 CCTV 카메라만 설치하여 주변 환경을 탐지하므로 막대한 비용이 소요되지 않으면서 사람의 부주의를 예방할 수 있으며, 시스템 구축의 간이성을 통해 매우 큰 충돌방지효과를 가져온다.
Int. CL G06K 9/00 (2006.01.01) G06K 9/46 (2006.01.01) G08B 21/18 (2006.01.01) G06N 3/08 (2006.01.01) B63B 43/18 (2006.01.01) B63B 49/00 (2006.01.01)
CPC G06K 9/00624(2013.01) G06K 9/00624(2013.01) G06K 9/00624(2013.01) G06K 9/00624(2013.01) G06K 9/00624(2013.01) G06K 9/00624(2013.01) G06K 9/00624(2013.01) G06K 9/00624(2013.01)
출원번호/일자 1020190055916 (2019.05.13)
출원인 호서대학교 산학협력단
등록번호/일자 10-2060567-0000 (2019.12.23)
공개번호/일자
공고번호/일자 (20191230) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.05.13)
심사청구항수 3

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 호서대학교 산학협력단 대한민국 충청남도 아산시

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 임태호 서울시 용산구
2 이효찬 충청남도 천안시 서북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 장수현 대한민국 서울특별시 서초구 바우뫼로 ***, *층(양재동, 영진빌딩)(두리암특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 주식회사 산엔지니어링 경기도 성남시 분당구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.05.13 수리 (Accepted) 1-1-2019-0488112-86
2 [우선심사신청]심사청구(우선심사신청)서
[Request for Preferential Examination] Request for Examination (Request for Preferential Examination)
2019.05.20 수리 (Accepted) 1-1-2019-0510818-63
3 [우선심사신청]선행기술조사의뢰서
[Request for Preferential Examination] Request for Prior Art Search
2019.05.20 수리 (Accepted) 9-1-9999-9999999-89
4 [우선심사신청]선행기술조사보고서
[Request for Preferential Examination] Report of Prior Art Search
2019.05.27 수리 (Accepted) 9-1-2019-0024796-88
5 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2019.08.23 수리 (Accepted) 1-1-2019-0867256-86
6 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.30 수리 (Accepted) 4-1-2019-0045360-16
7 의견제출통지서
Notification of reason for refusal
2019.09.26 발송처리완료 (Completion of Transmission) 9-5-2019-0694121-65
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.10.04 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-1016781-31
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2019.10.04 수리 (Accepted) 1-1-2019-1016772-20
10 등록결정서
Decision to grant
2019.12.19 발송처리완료 (Completion of Transmission) 9-5-2019-0919167-10
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
심층신경망을 이용하여 선박 주변의 객체를 인식하는 방법으로서,(a) 선박에 장착된 카메라로부터, 촬영중인 영상을 수신하는 단계;(b) 수신한 영상의 전처리를 수행하는 단계;(c) 전처리된 영상 데이터를, 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로서 입력하고, 상기 심층신경망 모델에서 상기 영상에서 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계;(d) 상기 심층신경망 모델에서 출력한 물체 인식 정보로부터, 해당 물체로 인한 위험 레벨을 분석하는 단계; 및,(e) 분석된 위험 레벨에 따른 조치를 수행하는 단계를 포함하고,상기 단계(b)는,(b1) 수신한 영상 내의 특정 물체에 대하여 코너 점(corner point) 검출 알고리즘을 수행하여 코너 점을 검출하는 단계;(b2) 상기 검출된 코너 점의 군집이 형성된 지점을 객체로 판단하고, 검출된 코너 점의 좌표로부터 코너 점 군집의 중간 지점을 추정하는 단계; 및,(b3) YOLO 알고리즘의 영상 검출율을 강화하기 위해서, 상기 중간 지점의 좌표로부터 객체로 판단된 부분의 영상을 확대하는 단계를 포함하며,상기 심층신경망 모델은,해상 및 선박 주변에 존재할 수 있는 객체 정보가 학습된 CNN(convolutional neural network) 및 YOLO(You Only Look Once)를 포함하고,상기 단계(c)는,(c1) 촬영 영상을 전처리한 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력하는 단계;(c2) 상기 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내는 단계;(c3) 추출된 물체 영역 이미지를, 물체의 정보를 정확하게 인식해 낼 수 있는 CNN 모델에 입력하는 단계; 및,(c4) CNN 모델은 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계를 포함하며,상기 물체 인식 정보는,물체의 크기, 종류 및 선박과 물체와의 거리를 포함하고,상기 단계(d)는,상기 단계(c)에서 출력된 물체 인식 정보에 대하여 데이터베이스 상에 테이블로 구성해 놓은 위험 레벨 테이블 데이터로부터 위험 레벨을 분석하며,상기 단계(e)의 조치는,상기 단계(d)에서 분석된 위험 레벨로부터, 위험도가 높은 레벨인 경우,위험 회피를 위해 선박 자동제어 장치를 통해 선박을 제어시키고, 동시에,경보음, 모니터링 화면에의 표시 등을 통해 위험 알림을 수행하는,심층신경망을 이용한 선박 주변 객체 인식 방법
2 2
삭제
3 3
삭제
4 4
삭제
5 5
삭제
6 6
삭제
7 7
삭제
8 8
삭제
9 9
삭제
10 10
심층신경망을 이용하여 선박 주변의 객체를 인식하는 시스템으로서,적어도 하나의 프로세서; 및컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 선박에 장착된 카메라로부터, 촬영중인 영상을 수신하는 단계;(b) 수신한 영상의 전처리를 수행하는 단계;(c) 전처리된 영상 데이터를, 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로서 입력하고, 상기 심층신경망 모델에서 상기 영상에서 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계;(d) 상기 심층신경망 모델에서 출력한 물체 인식 정보로부터, 해당 물체로 인한 위험 레벨을 분석하는 단계; 및,(e) 분석된 위험 레벨에 따른 조치를 수행하는 단계가 실행되도록 하고,상기 단계(b)는,(b1) 수신한 영상 내의 특정 물체에 대하여 코너 점(corner point) 검출 알고리즘을 수행하여 코너 점을 검출하는 단계;(b2) 상기 검출된 코너 점의 군집이 형성된 지점을 객체로 판단하고, 검출된 코너 점의 좌표로부터 코너 점 군집의 중간 지점을 추정하는 단계; 및,(b3) YOLO 알고리즘의 영상 검출율을 강화하기 위해서, 상기 중간 지점의 좌표로부터 객체로 판단된 부분의 영상을 확대하는 단계를 포함하며,상기 심층신경망 모델은,해상 및 선박 주변에 존재할 수 있는 객체 정보가 학습된 CNN(convolutional neural network) 및 YOLO(You Only Look Once)를 포함하고,상기 단계(c)는,(c1) 촬영 영상을 전처리한 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력하는 단계;(c2) 상기 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내는 단계;(c3) 추출된 물체 영역 이미지를, 물체의 정보를 정확하게 인식해 낼 수 있는 CNN 모델에 입력하는 단계; 및,(c4) CNN 모델은 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계를 포함하며,상기 물체 인식 정보는,물체의 크기, 종류 및 선박과 물체와의 거리를 포함하고,상기 단계(d)는,상기 단계(c)에서 출력된 물체 인식 정보에 대하여 데이터베이스 상에 테이블로 구성해 놓은 위험 레벨 테이블 데이터로부터 위험 레벨을 분석하며,상기 단계(e)의 조치는,상기 단계(d)에서 분석된 위험 레벨로부터, 위험도가 높은 레벨인 경우,위험 회피를 위해 선박 자동제어 장치를 통해 선박을 제어시키고, 동시에,경보음, 모니터링 화면에의 표시 등을 통해 위험 알림을 수행하는,심층신경망을 이용한 선박 주변 객체 인식 시스템
11 11
심층신경망을 이용하여 선박 주변의 객체를 인식하기 위한, 비일시적 저장매체에 저장된 컴퓨터 프로그램으로서,비일시적 저장매체에 저장되며, 프로세서에 의하여,(a) 선박에 장착된 카메라로부터, 촬영중인 영상을 수신하는 단계;(b) 수신한 영상의 전처리를 수행하는 단계;(c) 전처리된 영상 데이터를, 딥러닝(deep learning) 기반 심층신경망 모델에 입력 데이터로서 입력하고, 상기 심층신경망 모델에서 상기 영상에서 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계;(d) 상기 심층신경망 모델에서 출력한 물체 인식 정보로부터, 해당 물체로 인한 위험 레벨을 분석하는 단계; 및,(e) 분석된 위험 레벨에 따른 조치를 수행하는 단계가 실행되도록 하는 명령을 포함하고,상기 단계(b)는,(b1) 수신한 영상 내의 특정 물체에 대하여 코너 점(corner point) 검출 알고리즘을 수행하여 코너 점을 검출하는 단계;(b2) 상기 검출된 코너 점의 군집이 형성된 지점을 객체로 판단하고, 검출된 코너 점의 좌표로부터 코너 점 군집의 중간 지점을 추정하는 단계; 및,(b3) YOLO 알고리즘의 영상 검출율을 강화하기 위해서, 상기 중간 지점의 좌표로부터 객체로 판단된 부분의 영상을 확대하는 단계를 포함하며,상기 심층신경망 모델은,해상 및 선박 주변에 존재할 수 있는 객체 정보가 학습된 CNN(convolutional neural network) 및 YOLO(You Only Look Once)를 포함하고,상기 단계(c)는,(c1) 촬영 영상을 전처리한 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력하는 단계;(c2) 상기 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내는 단계;(c3) 추출된 물체 영역 이미지를, 물체의 정보를 정확하게 인식해 낼 수 있는 CNN 모델에 입력하는 단계; 및,(c4) CNN 모델은 인식된 물체의 정보(이하 '물체 인식 정보'라 한다)를 출력하는 단계를 포함하며,상기 물체 인식 정보는,물체의 크기, 종류 및 선박과 물체와의 거리를 포함하고,상기 단계(d)는,상기 단계(c)에서 출력된 물체 인식 정보에 대하여 데이터베이스 상에 테이블로 구성해 놓은 위험 레벨 테이블 데이터로부터 위험 레벨을 분석하며,상기 단계(e)의 조치는,상기 단계(d)에서 분석된 위험 레벨로부터, 위험도가 높은 레벨인 경우,위험 회피를 위해 선박 자동제어 장치를 통해 선박을 제어시키고, 동시에,경보음, 모니터링 화면에의 표시 등을 통해 위험 알림을 수행하는,심층신경망을 이용하여 선박 주변의 객체를 인식하기 위한, 비일시적 저장매체에 저장된 컴퓨터 프로그램
12 12
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 호서대학교산학협력단 대학 ICT 연구센터 지원사업 5G 기반 산업별 빅데이터 활용 딥러닝 모형 개발 및 인력양성