맞춤기술찾기

이전대상기술

교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법 및 시스템

  • 기술번호 : KST2020014724
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법에 관한 것으로서, 보다 구체적으로는 보행자 포즈 방향 추정 방법으로서, (1) 데이터 세트 A를 이용하여, 교사 심층 네트워크 및 교사 랜덤 포레스트로 구성되는 교사 모델을 학습시키는 단계; (2) 데이터 세트 B를 상기 단계 (1)에서 학습된 교사 모델에 입력하고, 출력된 소프트 출력을 이용하여 소프트 타겟 데이터 세트 B*를 생성하는 단계; (3) 상기 단계 (2)에서 생성된 데이터 세트 B*를 이용하여, 학생 네트워크 및 학생 랜덤 포레스트로 구성되는 학생 모델을 학습시키는 단계; 및 (4) 상기 단계 (3)에서 학습된 학생 모델로 보행자 포즈 방향을 추정하는 단계를 포함하며, 상기 단계 (4)에서는, 최대 확률 클래스의 확률 및 상기 최대 확률 클래스와 인접한 클래스의 확률의 조합을 이용한 소프트 가중 방법을 이용해 상기 보행자 방향을 추정하는 것을 그 구성상의 특징으로 한다. 또한, 본 발명은 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템에 관한 것으로서, 보다 구체적으로는 보행자 포즈 방향 추정 시스템으로서, 데이터 세트 A를 이용하여, 교사 심층 네트워크 및 교사 랜덤 포레스트로 구성되는 교사 모델을 학습시키는 교사 학습 모듈; 데이터 세트 B를 상기 교사 학습 모듈에서 학습된 교사 모델에 입력하고, 출력된 소프트 출력을 이용하여 소프트 타겟 데이터 세트 B*를 생성하는 소프트 타겟 데이터 생성 모듈; 상기 소프트 타겟 데이터 생성 모듈에서 생성된 데이터 세트 B*를 이용하여, 학생 네트워크 및 학생 랜덤 포레스트로 구성되는 학생 모델을 학습시키는 학생 학습 모듈; 및 상기 학생 학습 모듈에서 학습된 학생 모델로 보행자 포즈 방향을 추정하는 방향 추정 모듈을 포함하며, 상기 방향 추정 모듈에서는, 최대 확률 클래스의 확률 및 상기 최대 확률 클래스와 인접한 클래스의 확률의 조합을 이용한 소프트 가중 방법을 이용해 상기 보행자 방향을 추정하는 것을 또 다른 구성상의 특징으로 한다. 본 발명에서 제안하고 있는 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법 및 시스템에 따르면, 교사 모델의 출력인 소프트 타겟 데이터 세트 B*를 입력으로 하여 학생 모델을 학습시킴으로써, 교사-학생 프레임워크를 통해 모델을 경량화하면서도 더 유연한 분류 결과를 출력하도록 할 수 있고, 클래스 레이블이 포함되는 데이터 세트 A와 클래스 레이블이 포함되지 않는 데이터 세트 B를 이용해 교사 모델의 오버 피팅(overfitting)을 방지할 수 있다. 또한, 본 발명에서 제안하고 있는 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법 및 시스템에 따르면, 최종 클래스 확률 및 인접한 클래스 확률의 조합을 이용한 소프트 가중 방법을 이용해 보행자 방향을 추정함으로써, 미리 구분된 클래스의 방향 중 어느 하나가 아닌, 실제 보행자의 방향에 가까운 값으로 보행자 포즈 방향을 추정할 수 있다.
Int. CL G06K 9/00 (2006.01.01) G06T 7/20 (2017.01.01) G06N 3/08 (2006.01.01)
CPC G06K 9/00362(2013.01) G06K 9/00362(2013.01) G06K 9/00362(2013.01) G06K 9/00362(2013.01)
출원번호/일자 1020190043970 (2019.04.15)
출원인 계명대학교 산학협력단
등록번호/일자
공개번호/일자 10-2020-0123507 (2020.10.30) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.04.15)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 계명대학교 산학협력단 대한민국 대구광역시 달서구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 고병철 대구광역시 수성구
2 남재열 대구광역시 수성구
3 허두영 대구광역시 달서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김건우 대한민국 서울특별시 금천구 가산디지털*로 ***, 에이동 ***호 특허그룹덕원 (가산동, 우림 라이온스밸리)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 계명대학교 산학협력단 대구광역시 달서구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.04.15 수리 (Accepted) 1-1-2019-0386531-33
2 선행기술조사의뢰서
Request for Prior Art Search
2020.01.13 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2020.03.13 발송처리완료 (Completion of Transmission) 9-6-2020-0033575-91
4 의견제출통지서
Notification of reason for refusal
2020.04.21 발송처리완료 (Completion of Transmission) 9-5-2020-0280500-36
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.06.17 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0621648-92
6 등록결정서
Decision to grant
2020.10.29 발송처리완료 (Completion of Transmission) 9-5-2020-0747421-03
7 [명세서등 보정]보정서(심사관 직권보정)
2020.11.11 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-5028868-69
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
보행자 포즈 방향 추정 방법으로서,(1) 데이터 세트 A를 이용하여, 교사 심층 네트워크 및 교사 랜덤 포레스트로 구성되는 교사 모델을 학습시키는 단계;(2) 데이터 세트 B를 상기 단계 (1)에서 학습된 교사 모델에 입력하고, 출력된 소프트 출력을 이용하여 소프트 타겟 데이터 세트 B*를 생성하는 단계;(3) 상기 단계 (2)에서 생성된 데이터 세트 B*를 이용하여, 학생 네트워크 및 학생 랜덤 포레스트로 구성되는 학생 모델을 학습시키는 단계; 및(4) 상기 단계 (3)에서 학습된 학생 모델로 보행자 포즈 방향을 추정하는 단계를 포함하며,상기 단계 (4)에서는, 최대 확률 클래스의 확률 및 상기 최대 확률 클래스와 인접한 클래스의 확률의 조합을 이용한 소프트 가중 방법을 이용해 보행자 방향을 추정하며,상기 단계 (4)는,(4-1) 상기 단계 (3)에서 학습된 학생 네트워크 및 학생 랜덤 포레스트의 출력값을 결합하여 최종 확률을 생성하는 단계;(4-2) 보행자의 방향 추정을 위해 미리 정해진 각도로 구분된 클래스에서, 가장 높은 확률을 갖는 최대 확률 클래스(ck) 및 상기 최대 확률 클래스에 인접한 두 클래스(ck-1, ck+1)를 특정하는 단계;(4-3) 상기 특정된 클래스(ck-1, ck, ck+1)의 가중치를 각각 산출하는 단계; 및(4-4) 상기 단계 (4-3)에서 산출된 각 클래스의 가중치로부터 최종 보행자 방향을 추정하는 단계를 포함하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법
2 2
제1항에 있어서, 상기 단계 (1)에서,상기 데이터 세트 A는 클래스 레이블이 포함되는 하드 타겟 데이터 세트인 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법
3 3
제1항에 있어서, 상기 단계 (2)에서,상기 데이터 세트 B는 클래스 레이블이 포함되지 않는 데이터 세트인 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법
4 4
제1항에 있어서, 상기 단계 (1)은,(1-1) 상기 데이터 세트 A를 이용하여 교사 심층 네트워크를 학습시키는 단계; 및(1-2) 상기 교사 심층 네트워크의 특징 맵(feature map)을 이용하여 교사 랜덤 포레스트를 학습시키는 단계를 포함하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법
5 5
제1항에 있어서,(0) 웨이블렛 변환을 적용하여 입력 이미지에 대한 전처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법
6 6
제5항에 있어서,상기 단계 (0)에서는, 하이 패스(high-pass) 필터된 2개의 서브이미지 및 로우 패스(low-pass) 필터된 하나의 서브이미지를 생성하며,상기 단계 (1)에서는, 상기 단계 (0)에서 생성된 3개의 서브이미지를 이용하여 상기 교사 모델을 학습시키는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법
7 7
제1항에 있어서, 상기 단계 (2)에서는,상기 데이터 세트 B를 상기 단계 (1)에서 학습된 교사 심층 네트워크 및 교사 랜덤 포레스트에 입력하고, 상기 교사 심층 네트워크의 출력 및 상기 교사 랜덤 포레스트의 출력을 하나의 소프트 타겟 벡터로 결합하여, 각각의 클래스의 확률값인 소프트 타겟 데이터 세트 B*를 생성하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법
8 8
삭제
9 9
제1항에 있어서, 상기 단계 (4-3)에서는,다음 수학식을 이용해 각 클래스의 가중치(w(ck))를 산출하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법
10 10
제1항에 있어서, 상기 단계 (4-4)에서는,다음 수학식을 이용해 최종 보행자 방향()을 추정하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법
11 11
보행자 포즈 방향 추정 시스템으로서,데이터 세트 A를 이용하여, 교사 심층 네트워크 및 교사 랜덤 포레스트로 구성되는 교사 모델을 학습시키는 교사 학습 모듈(100);데이터 세트 B를 상기 교사 학습 모듈(100)에서 학습된 교사 모델에 입력하고, 출력된 소프트 출력을 이용하여 소프트 타겟 데이터 세트 B*를 생성하는 소프트 타겟 데이터 생성 모듈(200);상기 소프트 타겟 데이터 생성 모듈(200)에서 생성된 데이터 세트 B*를 이용하여, 학생 네트워크 및 학생 랜덤 포레스트로 구성되는 학생 모델을 학습시키는 학생 학습 모듈(300); 및상기 학생 학습 모듈(300)에서 학습된 학생 모델로 보행자 포즈 방향을 추정하는 방향 추정 모듈(400)을 포함하며,상기 방향 추정 모듈(400)에서는,최대 확률 클래스의 확률 및 상기 최대 확률 클래스와 인접한 클래스의 확률의 조합을 이용한 소프트 가중 방법을 이용해 보행자 방향을 추정하며,상기 방향 추정 모듈(400)은,상기 학생 학습 모듈(300)에서 학습된 학생 네트워크 및 학생 랜덤 포레스트의 출력값을 결합하여 최종 확률을 생성하는 최종 확률 생성부(410);보행자의 방향 추정을 위해 미리 정해진 각도로 구분된 클래스에서, 가장 높은 확률을 갖는 최대 확률 클래스(ck) 및 상기 최대 확률 클래스에 인접한 두 클래스(ck-1, ck+1)를 특정하는 클래스 검색부(420);상기 특정된 클래스(ck-1, ck, ck+1)의 가중치를 각각 산출하는 가중치 산출부(430); 및상기 가중치 산출부(430)에서 산출된 각 클래스의 가중치로부터 최종 보행자 방향을 추정하는 최종 방향 추정부(440)를 포함하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템
12 12
제11항에 있어서, 상기 교사 학습 모듈(100)에서,상기 데이터 세트 A는 클래스 레이블이 포함되는 하드 타겟 데이터 세트인 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템
13 13
제11항에 있어서, 상기 소프트 타겟 데이터 생성 모듈(200)에서,상기 데이터 세트 B는 클래스 레이블이 포함되지 않는 데이터 세트인 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템
14 14
제11항에 있어서, 상기 교사 학습 모듈(100)은,상기 데이터 세트 A를 이용하여 교사 심층 네트워크를 학습시키는 제1 교사 학습부(110); 및상기 교사 심층 네트워크의 특징 맵(feature map)을 이용하여 교사 랜덤 포레스트를 학습시키는 제2 교사 학습부(120)를 포함하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템
15 15
제11항에 있어서,웨이블렛 변환을 적용하여 입력 이미지에 대한 전처리를 수행하는 전처리 모듈(500)을 더 포함하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템
16 16
제15항에 있어서,상기 전처리 모듈(500)에서는, 하이 패스(high-pass) 필터된 2개의 서브이미지 및 로우 패스(low-pass) 필터된 하나의 서브이미지를 생성하며,상기 교사 학습 모듈(100)에서는, 상기 전처리 모듈(500)에서 생성된 3개의 서브이미지를 이용하여 상기 교사 모델을 학습시키는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템
17 17
제11항에 있어서, 상기 소프트 타겟 데이터 생성 모듈(200)에서는,상기 데이터 세트 B를 상기 교사 학습 모듈(100)에서 학습된 교사 심층 네트워크 및 교사 랜덤 포레스트에 입력하고, 상기 교사 심층 네트워크의 출력 및 상기 교사 랜덤 포레스트의 출력을 하나의 소프트 타겟 벡터로 결합하여, 각각의 클래스의 확률값인 소프트 타겟 데이터 세트 B*를 생성하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템
18 18
삭제
19 19
제11항에 있어서, 상기 가중치 산출부(430)에서는,다음 수학식을 이용해 각 클래스의 가중치(w(ck))를 산출하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템
20 20
제11항에 있어서, 상기 최종 방향 추정부(440)에서는,다음 수학식을 이용해 최종 보행자 방향()을 추정하는 것을 특징으로 하는, 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 대구광역시 평화정공(주) 미래형자동차 선도기술 개발사업 전후방 ADAS 센서를 연계한 보행자 보호 및 오토 트렁크 시스템 개발