맞춤기술찾기

이전대상기술

결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템

  • 기술번호 : KST2019012438
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템에 관한 것으로, 인공지능 기법을 통해 감시카메라로부터 입력되는 영상을 학습하여, 보행자 얼굴을 포함하는 신체 각 부분에 대한 부분특징과 의복, 성별, 체형, 소지물건 등과 같은 보행자 속성을 추출하고, 상기 추출한 부분특징과 보행자 속성을 활용하여, 상기 영상에 포함된 보행자와 특정 보행자 간의 동일인 여부를 정확하게 파악함으로써, 상기 특정 보행자에 대한 이동경로를 효과적으로 추적할 수 있도록 하는 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템에 관한 것이다.
Int. CL G06K 9/00 (2006.01.01) G06K 9/62 (2006.01.01) G06K 17/00 (2006.01.01) G06N 3/08 (2006.01.01)
CPC G06K 9/00362(2013.01) G06K 9/00362(2013.01) G06K 9/00362(2013.01) G06K 9/00362(2013.01) G06K 9/00362(2013.01) G06K 9/00362(2013.01)
출원번호/일자 1020180099359 (2018.08.24)
출원인 전북대학교산학협력단
등록번호/일자 10-1941994-0000 (2019.01.18)
공개번호/일자
공고번호/일자 (20190124) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.08.24)
심사청구항수 8

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 전북대학교산학협력단 대한민국 전라북도 전주시 덕진구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이효종 전라북도 전주시 덕진구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김견수 대한민국 서울특별시 강남구 테헤란로*길 ** (역삼동, 한덕빌딩) ***호(다함특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 전북대학교산학협력단 전라북도 전주시 덕진구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.08.24 수리 (Accepted) 1-1-2018-0842172-85
2 [우선심사신청]심사청구(우선심사신청)서
[Request for Preferential Examination] Request for Examination (Request for Preferential Examination)
2018.08.24 수리 (Accepted) 1-1-2018-0842525-09
3 선행기술조사의뢰서
Request for Prior Art Search
2018.09.28 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search
2018.10.23 수리 (Accepted) 9-1-2018-0056512-99
5 의견제출통지서
Notification of reason for refusal
2018.10.25 발송처리완료 (Completion of Transmission) 9-5-2018-0726512-64
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2018.11.26 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-1176132-04
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2018.11.26 수리 (Accepted) 1-1-2018-1176123-93
8 등록결정서
Decision to grant
2019.01.17 발송처리완료 (Completion of Transmission) 9-5-2019-0042192-26
9 [대리인선임]대리인(대표자)에 관한 신고서
[Appointment of Agent] Report on Agent (Representative)
2019.01.25 수리 (Accepted) 1-1-2019-0090885-71
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.02.27 수리 (Accepted) 4-1-2019-5038917-11
11 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.07.23 수리 (Accepted) 4-1-2019-5146986-17
12 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.07.23 수리 (Accepted) 4-1-2019-5146985-61
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.10.22 수리 (Accepted) 4-1-2019-5219602-91
14 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.07.06 수리 (Accepted) 4-1-2020-5149086-79
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력부;상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성부;상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성부; 및상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성부;를 포함하며,상기 특징맵 추출 네트워크는,독립적으로 구성되는 복수의 컨볼루션 레이어를 포함하며, 각 컨볼루션 레이어를 통해 상기 영상데이터로부터 보행자의 각 신체부분을 개별적으로 분류하여, 상기 각 신체부분에 대한 특징맵을 각각 추출하도록 구성되며,상기 보행자 인식 네트워크는,상기 특징맵을 복수의 파티션으로 분할하고, 상기 분할한 각각의 파티션에 대한 차원을 최소화하여 상기 보행자의 부분특징값을 추출하도록 구성되고, 상기 부분특징값은, 상기 보행자의 얼굴, 몸체, 팔, 다리를 포함하는 보행자의 각 신체부분에 대한 특징값이며,상기 보행자 속성추출 네트워크는,서로 다른 스케일(scale)을 가지는 복수의 피라미드 레벨을 이용하여 상기 특징맵을 복수개의 하위영역으로 분리하고, 상기 각 하위영역에 대한 에버리지 풀링을 수행하여 적어도 하나 이상의 속성정보를 추출하도록 구성되며, 상기 속성정보는 보행자의 성별, 나이, 보행자가 입고 있는 의복의 종류, 상기 보행자가 소지한 소지물건, 상기 보행자가 착용하고 있는 착용물건 또는 이들의 조합을 포함하며,상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 각각 연결되어 분기됨으로써, 상기 추출한 부분특징값으로 영상 데이터에 포함된 적어도 하나 이상의 보행자를 인식하고, 미리 설정한 값 이상의 확률값을 가지는 상기 속성정보를 선택하여 상기 선택한 속성정보를 상기 인식한 보행자에 대한 유효한 속성정보로 판정하도록 결합하는 결합심층네트워크를 구성하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템
2 2
삭제
3 3
삭제
4 4
청구항 1에 있어서,상기 보행자 인식 및 속성추출 시스템은,특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 상기 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적부;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템
5 5
청구항 4에 있어서,상기 보행자 추적부는,상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산부; 및상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함한 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공부;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템
6 6
청구항 5에 있어서,상기 보행자 추적부는,상기 추출한 특정 보행자에 대한 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 상기 부분특징값 및 속성정보를 시공간적으로 결합하는 시공간적 특징자 결합부;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 시스템
7 7
보행자 인식 및 속성추출 시스템에서, 복수의 감시카메라로부터 영상데이터를 입력받는 영상데이터 입력 단계;상기 보행자 인식 및 속성추출 시스템에서, 상기 입력받은 영상데이터를 특징맵 추출 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 특징맵을 추출하기 위한 특징맵 추출용 학습모델을 생성하는 특징맵 추출용 학습모델 생성 단계;상기 보행자 인식 및 속성추출 시스템에서, 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 인식 네트워크를 통해 학습하여, 복수의 보행자의 각 신체부분에 대한 부분특징값을 시간의 흐름에 따라 추출하기 위한 보행자 인식용 학습모델을 생성하는 보행자 인식용 학습모델 생성 단계; 및상기 보행자 인식 및 속성추출 시스템에서, 상기 생성한 특징맵 추출용 학습모델을 통해서 추출한 특징맵을 보행자 속성추출 네트워크를 통해 학습하여, 상기 보행자의 속성정보를 시간의 흐름에 따라 추출하기 위한 보행자 속성추출용 학습모델을 생성하는 보행자 속성추출용 학습모델 생성 단계;를 포함하며,상기 특징맵 추출 네트워크는,독립적으로 구성되는 복수의 컨볼루션 레이어를 포함하며, 각 컨볼루션 레이어를 통해 상기 영상데이터로부터 보행자의 각 신체부분을 개별적으로 분류하여, 상기 각 신체부분에 대한 특징맵을 각각 추출하도록 구성되며,상기 보행자 인식 네트워크는,상기 특징맵을 복수의 파티션으로 분할하고, 상기 분할한 각각의 파티션에 대한 차원을 최소화하여 상기 보행자의 부분특징값을 추출하도록 구성되고, 상기 부분특징값은, 상기 보행자의 얼굴, 몸체, 팔, 다리를 포함하는 보행자의 각 신체부분에 대한 특징값이며,상기 보행자 속성추출 네트워크는,서로 다른 스케일(scale)을 가지는 복수의 피라미드 레벨을 이용하여 상기 특징맵을 복수개의 하위영역으로 분리하고, 상기 각 하위영역에 대한 에버리지 풀링을 수행하여 적어도 하나 이상의 속성정보를 추출하도록 구성되며, 상기 속성정보는 보행자의 성별, 나이, 보행자가 입고 있는 의복의 종류, 상기 보행자가 소지한 소지물건, 상기 보행자가 착용하고 있는 착용물건 또는 이들의 조합을 포함하며,상기 보행자 인식 네트워크와 상기 보행자 속성추출 네트워크는 상기 특징맵 추출 네트워크에 각각 연결되어 분기됨으로써, 상기 추출한 부분특징값으로 영상 데이터에 포함된 적어도 하나 이상의 보행자를 인식하고, 미리 설정한 값 이상의 확률값을 가지는 상기 속성정보를 선택하여 상기 선택한 속성정보를 상기 인식한 보행자에 대한 유효한 속성정보로 판정하도록 결합하는 결합심층네트워크를 구성하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법
8 8
삭제
9 9
삭제
10 10
청구항 7에 있어서,상기 보행자 인식 및 속성추출 방법은,상기 보행자 인식 및 속성추출 시스템에서, 특정 보행자에 대한 질의 이미지가 입력되는 경우, 상기 생성한 특징맵 추출용 학습모델, 상기 보행자 인식용 학습모델 및 상기 보행자 속성추출용 학습모델을 이용하여 상기 질의 이미지에 대한 특정 보행자의 부분특징값 및 속성정보를 추출하는 보행자 추적 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법
11 11
청구항 10에 있어서,상기 보행자 추적 단계는,상기 추출한 특정 보행자의 부분특징값 및 속성정보와 기 저장한 영상데이터의 부분특징값과 속성정보 간의 유사도를 계산하는 유사도 계산 단계; 및상기 유사도를 계산한 결과에 따라 유사도가 높은 적어도 하나 이상의 영상데이터를 포함한 상기 특정 보행자에 대한 추적결과를 출력하는 추적결과 제공 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법
12 12
청구항 11에 있어서,상기 보행자 추적 단계는,상기 추출한 특정 보행자에 대한 부분특징값 및 속성정보로부터 시공간적 특징을 추출하고, 상기 추출한 상기 시공간적 특징을 분석하여 상기 부분특징값 및 속성정보를 시공간적으로 결합하는 시공간적 특징자 결합 단계;를 더 포함하는 것을 특징으로 하는 보행자 인식 및 속성추출 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
패밀리 정보가 없습니다

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2020040391 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 전북대학교 산학협력단 대학ICT연구센터육성지원사업 사물인터넷/빅데이터기반 차세대공공안전서비스 기술개발
2 교육부 전북대학교 산학협력단 개인기초연구(교육부) 딥네트워크 기반의 몽타주 얼굴인식 알고리즘 개발