맞춤기술찾기

이전대상기술

교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템

  • 기술번호 : KST2020005389
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법에 관한 것으로서, 보다 구체적으로는, 다수의 보행자 추적 방법으로서, (1) 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 단계; (2) 상기 단계 (1)에서 촬영된 영상에서 다수의 보행자를 탐지하는 단계; (3) 상기 단계 (2)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 단계; (4) 상기 단계 (3)에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 단계; 및 (5) 상기 단계 (4)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 단계를 포함하는 것을 그 구성상의 특징으로 한다. 또한, 본 발명은 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템(10)에 관한 것으로서, 보다 구체적으로는, 다수의 보행자 추적 시스템(10)으로서, 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 카메라부(100); 상기 카메라부(100)에서 촬영된 영상에서 다수의 보행자를 탐지하는 탐지부(200); 상기 탐지부(200)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 추출부(300); 상기 추출부(300)에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 학습부(400); 및 상기 학습부(400)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 추적부(500)를 포함하는 것을 그 구성상의 특징으로 한다. 본 발명에서 제안하고 있는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템에 따르면, 심층 네트워크의 한 종류인 tiny YOLO를 사용하여 보행자의 특징값을 추출하고, 추출된 특징값을 이용하여 랜덤 펀(Random Ferns)을 학습함으로써, 실시간 학습이 가능하여 보행자의 형태변화, 크기변화로 인한 오-추적을 최소화할 수 있다. 또한, 본 발명에서 제안하고 있는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템에 따르면, 펀(Ferns)의 개수를 줄여 실시간 추적이 가능하도록 하기 위해, 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 사용하여, 빠르고 정확하게 다수의 보행자를 실시간으로 추적할 수 있다.
Int. CL G06K 9/00 (2006.01.01) G06K 9/46 (2006.01.01) G06N 3/04 (2006.01.01) G06N 3/08 (2006.01.01) G06K 17/00 (2006.01.01)
CPC G06K 9/00362(2013.01) G06K 9/00362(2013.01) G06K 9/00362(2013.01) G06K 9/00362(2013.01)
출원번호/일자 1020180129172 (2018.10.26)
출원인 계명대학교 산학협력단
등록번호/일자
공개번호/일자 10-2020-0052429 (2020.05.15) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.10.26)
심사청구항수 10

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 계명대학교 산학협력단 대한민국 대구광역시 달서구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 고병철 대구광역시 수성구
2 남재열 대구광역시 수성구
3 김상준 대구광역시 서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김건우 대한민국 서울특별시 금천구 가산디지털*로 ***, 에이동 ***호 특허그룹덕원 (가산동, 우림 라이온스밸리)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 계명대학교 산학협력단 대구광역시 달서구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.10.26 수리 (Accepted) 1-1-2018-1062052-54
2 선행기술조사의뢰서
Request for Prior Art Search
2019.05.14 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2019.06.27 발송처리완료 (Completion of Transmission) 9-6-2019-0069022-28
4 의견제출통지서
Notification of reason for refusal
2020.03.02 발송처리완료 (Completion of Transmission) 9-5-2020-0156790-28
5 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.04.29 수리 (Accepted) 1-1-2020-0445925-50
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.04.29 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0445838-86
7 등록결정서
Decision to grant
2020.09.22 발송처리완료 (Completion of Transmission) 9-5-2020-0656124-35
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
다수의 보행자 추적 방법으로서,(1) 움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 단계;(2) 상기 단계 (1)에서 촬영된 영상에서 다수의 보행자를 탐지하는 단계;(3) 상기 단계 (2)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 단계;(4) 상기 단계 (3)에서 추출된 특징값을 이용하여 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 학습하는 단계; 및(5) 상기 단계 (4)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 단계를 포함하며,상기 단계 (3)에서는,상기 단계 (2)에서 탐지된 다수의 보행자별로 특징값을 추출하고,상기 단계 (4)는,(4-1) 상기 단계 (3)에서 추출된 특징값을 이용하여 복수개의 펀(Fern)을 가진 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 단계; 및(4-2) 상기 단계 (4-1)에서 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여, 상기 교사 랜덤 펀(Teacher Random Ferns)보다 펀(Fern)의 개수가 적은 학생 랜덤 펀(Student Random Ferns)을 학습하는 단계를 포함하며,상기 단계 (4-2)에서는,상기 단계 (4-1)을 통해 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여, 보행자가 처음 또는 두 번 이상 등장하였는지 경우를 나누어서 학습하며,보행자가 두 번 이상 등장한 경우에는, 현재 프레임에서 탐지된 보행자와 이전 프레임의 학생 랜덤 펀(Student Random Ferns)이 학습한 보행자가 일치한다면, 두 프레임 사이에 데이터 연결이 수행되어, 학생 랜덤 펀(Student Random Ferns)을 새롭게 업데이트되어 학습하며,상기 학생 랜덤 펀(Student Random Ferns)을 사용하여 교사 랜덤 펀(Teacher Random Ferns)의 추적 성능은 유지하면서 펀(Ferns)의 개수를 줄여 이전보다 빠르고 정확하게 보행자를 추적할 수 있으며,상기 단계 (5)에서는,상기 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 펀(Fern)의 개수를 줄여 다수의 보행자를 추적하는 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법
2 2
제1항에 있어서, 상기 단계 (2)는,(2-1) 상기 단계 (1)에서 촬영된 영상에서 보행자와 비-보행자를 구분하는 단계; 및(2-2) 상기 단계 (2-1)에서 구분된 보행자를 상기 다수의 보행자로 탐지하는 단계를 포함하는 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법
3 3
제1항에 있어서, 상기 단계 (3)에서의 심층 네트워크는,합성 곱 신경망인 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법
4 4
제3항에 있어서, 상기 합성 곱 신경망은,tiny YOLO인 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법
5 5
제4항에 있어서, 상기 tiny YOLO는,9개의 콘볼루션 레이어(Convolution layers), 6개의 맥스 풀링 레이어(Max pooling layers) 및 1개의 완전 연결 레이어(fully connected layers)로 구성된 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법
6 6
삭제
7 7
삭제
8 8
삭제
9 9
삭제
10 10
삭제
11 11
다수의 보행자 추적 시스템(10)으로서,움직이는 자동차에 설치된 카메라에서 다수의 보행자가 포함된 영상을 촬영하는 카메라부(100);상기 카메라부(100)에서 촬영된 영상에서 다수의 보행자를 탐지하는 탐지부(200);상기 탐지부(200)에서 탐지된 다수의 보행자가 포함된 영상을 심층 네트워크에 입력하여 특징값을 추출하는 추출부(300);상기 학습부(400)에서 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 다수의 보행자를 추적하는 추적부(500)를 포함하며,상기 추출부(300)는,상기 탐지부(200)에서 탐지된 다수의 보행자별로 특징값을 추출하고,상기 학습부(400)는,상기 추출부(300)에서 추출된 특징값을 이용하여 복수개의 펀(Fern)을 가진 교사 랜덤 펀(Teacher Random Ferns)을 학습하는 제1 학습 모듈(410); 및상기 제1 학습 모듈(410)에서 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여, 상기 교사 랜덤 펀(Teacher Random Ferns)보다 펀(Fern)의 개수가 적은 학생 랜덤 펀(Student Random Ferns)을 학습하는 제2 학습 모듈(420)을 포함하며,상기 제2 학습 모듈(420)은,상기 제1 학습 모듈(410)을 통해 학습된 교사 랜덤 펀(Teacher Random Ferns)을 이용하여, 보행자가 처음 등장한 경우와 두 번 이상 등장한 경우를 나누어서 학습하되,보행자가 두 번 이상 등장한 경우에는, 현재 프레임에서 탐지된 보행자와 이전 프레임의 학생 랜덤 펀(Student Random Ferns)이 학습한 보행자가 일치한다면, 두 프레임 사이에 데이터 연결이 수행되어, 학생 랜덤 펀(Student Random Ferns)을 새롭게 업데이트되어 학습하며,상기 학생 랜덤 펀(Student Random Ferns)을 사용하여 교사 랜덤 펀(Teacher Random Ferns)의 추적 성능은 유지하면서 펀(Ferns)의 개수를 줄여 이전보다 빠르고 정확하게 보행자를 추적할 수 있으며,상기 추적부(500)는,상기 학습된 교사-학생 랜덤 펀(Teacher-Student Random Ferns)을 이용하여 펀(Fern)의 개수를 줄여 다수의 보행자를 추적하는 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템
12 12
제11항에 있어서, 상기 탐지부(200)는,상기 카메라부(100)에서 촬영된 영상에서 보행자와 비-보행자를 구분하는 구분 모듈(210); 및상기 구분 모듈(210)에서 구분된 보행자를 상기 다수의 보행자로 탐지하는 탐지 모듈(220)을 포함하는 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템
13 13
제11항에 있어서, 상기 심층 네트워크는,합성 곱 신경망인 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템
14 14
제13항에 있어서, 상기 합성 곱 신경망은,tiny YOLO인 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템
15 15
제14항에 있어서, 상기 tiny YOLO는,9개의 콘볼루션 레이어(Convolution layers), 6개의 맥스 풀링 레이어(Max pooling layers) 및 1개의 완전 연결 레이어(fully connected layers)로 구성된 것을 특징으로 하는, 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 시스템
16 16
삭제
17 17
삭제
18 18
삭제
19 19
삭제
20 20
삭제
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
패밀리 정보가 없습니다

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2020085653 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육부 계명대학교 산학협력단 기본연구지원사업(후속연구지원) 자동차용 CCD 카메라를 이용한 주행중 보행자 경로 예측 및 사전 행동 예측 기술 개발