맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법

  • 기술번호 : KST2018009401
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치 및 방법으로, 지연 결정을 기반으로 MHT(multiple hypothesis tracking) 프레임 워크를 채택하였으며, 다중 카메라에 대한 MHT의 연산 부하를 줄이기 위해 2 차원(2D) 이미지 좌표에서 트랙렛(추정된 목표 궤적의 부분 파편)을 사용하기 위한 것으로서, 다중 카메라의 각 카메라별로 프레임을 통해 탐지되는 탐지 결과를 트랙렛(tracklet)으로 변환하는 트랙렛 생성부와, 상기 트랙렛 생성부에서 변환된 트랙렛들을 가지고 가능한 모든 시간적·공간적 결합을 통해 3차원 공간 상 추적 결과가 될 수 있는 후보트랙을 생성하는 후보트랙 생성부와, 상기 후보트랙 생성부에서 생성된 후보트랙 중 확률 상으로 표적의 경로(trajectory)일 확률이 높은 후보트랙을 최적 트랙으로 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별하는 트랙 선별부와, 상기 후보트랙 생성부에서 생성된 후보들 및 상기 트랙 선별부에서 선별된 최적 트랙을 기반으로 트랙의 길이 및 탐지된 개체의 예상 높이 등을 이용하여 근사 글로벌 확률(AGTP) 또는 N 스캔 백 방식을 이용하여 트랙 여부를 확인하여 확인되지 않은 트랙을 제거하고, 그 결과를 상기 후보트랙 생성부로 전달하는 트랙 제거부를 포함하여 구성되는데 있다.
Int. CL G06T 7/292 (2017.01.01) H04N 5/225 (2006.01.01) H04N 7/18 (2006.01.01)
CPC G06T 7/292(2013.01) G06T 7/292(2013.01) G06T 7/292(2013.01)
출원번호/일자 1020160182665 (2016.12.29)
출원인 단국대학교 산학협력단, 서울대학교산학협력단
등록번호/일자
공개번호/일자 10-2018-0077865 (2018.07.09) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2016.12.29)
심사청구항수 9

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 단국대학교 산학협력단 대한민국 경기도 용인시 수지구
2 서울대학교산학협력단 대한민국 서울특별시 관악구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 유한주 대한민국 서울특별시 강남구
2 김승훈 대한민국 경기도 성남시 분당구
3 최상일 대한민국 서울특별시 구로구
4 최진영 대한민국 서울특별시 서초구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 정기택 대한민국 서울특별시 서초구 강남대로**길 **, *층 (반포동, 새로나빌딩)(스카이특허법률사무소)
2 오위환 대한민국 서울특별시 서초구 강남대로**길 **, *층 (반포동, 새로나빌딩)(스카이특허법률사무소)
3 나성곤 대한민국 서울특별시 서초구 강남대로**길 **, *층 (반포동, 새로나빌딩)(스카이특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 단국대학교 산학협력단 경기도 용인시 수지구
2 서울대학교 산학협력단 서울특별시 관악구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2016.12.29 수리 (Accepted) 1-1-2016-1292201-75
2 보정요구서
Request for Amendment		 2017.01.05 발송처리완료 (Completion of Transmission) 1-5-2017-0002614-43
3 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment		 2017.01.16 수리 (Accepted) 1-1-2017-0051009-85
4 [출원인지분변경]권리관계변경신고서
[Applicant Share Change] Report on Change of Proprietary Status		 2017.01.18 수리 (Accepted) 1-1-2017-0061856-19
5 의견제출통지서
Notification of reason for refusal		 2018.01.16 발송처리완료 (Completion of Transmission) 9-5-2018-0038315-72
6 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)		 2018.03.13 수리 (Accepted) 1-1-2018-0251200-70
7 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)		 2018.04.16 수리 (Accepted) 1-1-2018-0375709-71
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2018.05.15 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0477327-03
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2018.05.15 수리 (Accepted) 1-1-2018-0477295-29
10 등록결정서
Decision to grant		 2018.06.21 발송처리완료 (Completion of Transmission) 9-5-2018-0421480-71
11 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.05.13 수리 (Accepted) 4-1-2019-5093546-10
12 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.05.23 수리 (Accepted) 4-1-2019-5101798-31
13 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.08.02 수리 (Accepted) 4-1-2019-5154561-59
14 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.10.26 수리 (Accepted) 4-1-2020-5239146-54
15 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.11.25 수리 (Accepted) 4-1-2020-5265458-48
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
다중 카메라의 각 카메라별로 프레임을 통해 탐지되는 탐지 결과를 트랙 렛(tracklet)으로 변환하는 트랙 렛 생성부와,상기 트랙 렛 생성부에서 변환된 트랙 렛들을 가지고 3차원 상 경로의 조합을 생성하여 추적 결과가 될 수 있는 후보들을 결합하여 후보트랙을 생성하는 후보트랙 생성부와,상기 후보트랙 생성부에서 생성된 후보트랙들 중 탐지된 개체의 탐지 위치, 이동 가능 속도 및 거리에 기반한 확률 모델에 근거하여 최적 트랙을 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별하는 트랙 선별부와,상기 후보트랙 생성부에서 생성된 후보트랙들 및 상기 트랙 선별부에서 선별된 최적 트랙에서의 트랙의 길이 및 탐지된 개체의 예상 높이를 기반으로 한 근사 글로벌 확률(AGTP)을 기준으로 N 스캔 백 방식을 적용하여 추적 결과가 될 수 있는 가능성을 진단하여 그 가능성이 설정된 임계치보다 낮은 트랙을 제거하고, 그 결과를 상기 후보트랙 생성부로 전달하는 트랙 제거부를 포함하되, 상기 트랙렛 생성부는각 탐지 결과 및 기존에 이미 생성된 트랙렛들 사이의 유사도를 산출하는 매칭 스코어 산출부와,상기 매칭 스코어 산출부에서 산출된 유사도를 기반으로 물리적으로 같은 트랙렛 여부를 확인하여 매치되는 트랙렛을 검출하는 매치 확인부와,상기 매치 확인부에서 검출되는 트랙렛을 관리하는 트랙렛 관리부를 포함하여 구성되며,상기 후보트랙 생성부는트랙렛 생성부에서 변환된 트랙렛들 중 새로운 트랙렛으로 생성하거나 일치하는 결과가 있는 기존 트랙렛을 업데이트하는 트랙 업데이트부와,상기 트랙 업데이트부의 결과를 이용하여 트랙렛 생성부에서 변환된 트랙렛들 중 같은 사람에게서 생성된 트랙렛들끼리 적어도 하나 이상의 묶음으로 결합하는 트랙렛 결합부와,상기 트랙렛 결합부에서 결합된 묶음별로 3차원 공간상에 3차원 좌표를 갖는 트랙을 생성하고, 생성된 트랙에 스코어를 부여하는 트랙 생성부와,상기 트랙 업데이트부의 결과 및 트랙 생성부에서 생성된 트랙 스코어를 적용하여 추적 결과가 될 수 있는 후보들을 확립하는 후보트랙 확립부를 포함하여 구성되며,상기 후보트랙 확립부는 상기 생성된 트랙에 스코어를 부여하는 다섯 가지 요소를 고려하면서 각 트랙에 대해 스코어를 부여하며,첫 번째 것은 트랙의 위치가 탐지와 동일한지를 나타내는 재구성 스코어 , 두 번째는 트랙의 연속 위치의 기하학적 적합성을 고려한 연결 스코어 , 세 번째와 네 번째는 트랙의 시작과 종료의 위치적 적합성을 고려한 시작 스코어 와 종료 스코어 , 마지막 하나는 트랙과 관련된 탐지 간의 시각적 유사도를 나타내는 시각적 스코어 인 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치
2 2
제 1 항에 있어서, 상기 트랙렛은 연속적인 프레임들로부터의 검출들 간의 시간적 결합을 통해 생성되며, 상기 후보트랙 생성부는 생성되는 트랙렛의 모션 및 모양 정보와 연결하여 후보 트랙을 생성하는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치
3 3
삭제
4 4
삭제
5 5
제 1 항에 있어서, 상기 트랙 선별부는피드백되는 최적 트랙 정보를 이용하여 일치하는 그룹을 갖는 트랙들을 서브-그룹으로 분류하는 MWCP 구조부와,상기 MWCP 구조부에서 분류된 서브-그룹별 실제 표적의 경로일 정의된 임계치를 갖는 확률보다 높은 트랙을 선별하고, 선별된 트랙을 상기 MWCP 구조부로 피드백하는 글로벌 가설 형성부를 포함하여 구성되는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치
6 6
제 1 항에 있어서, 상기 트랙 제거부는트랙 선별부에서 선별된 최적 트랙들을 제거하기 위한 글로벌 가설을 설정하는 AGTP(Approximation of Global Track Probability)부와,상기 AGTP부에서 설정된 글로벌 가설을 기준으로 검출된 트랙들 중 근사 글로벌 확률(AGTP)이 없는 트랙을 제거하는 미확인 트랙 제거부와, 상기 AGTP부에서 설정된 글로벌 가설을 기준으로 N 프레임을 스캔하여 상기 글로벌 가설에 따라 대상의 위치를 수정하고, 고정된 위치의 대상과 호환되지 않는 모든 트랙을 제거하는 N 스캔 백 제거부를 포함하여 구성되는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 장치
7 7
(A) 다중 카메라의 각 카메라에서 이미지를 받아온 매 프레임에서 보행자를 탐지하고, 이러한 탐지 결과를 시간별로 짝을 지어 한 사람에 대한 트랙렛(tracklet)으로 변환하는 단계와,(B) 후보트랙 생성부를 통해, 상기 변환된 트랙렛들을 가지고 가능한 모든 시간적·공간적 결합을 통해 3차원 상 추적 결과가 될 수 있는 후보트랙을 생성하는 단계와,(C) 트랙 선별부를 통해, 생성된 후보트랙 들 중 탐지된 개체의 탐지 위치, 이동 가능 속도 및 거리에 기반한 확률 모델에 근거하여 최적 트랙을 선별하고, 선별된 최적 트랙을 피드백하면서 연속하여 최적 트랙을 선별하는 단계와,(D) 트랙 제거부를 통해, 상기 후보트랙 생성부에서 생성된 후보트랙들 및 상기 트랙 선별부에서 선별된 최적 트랙에서의 트랙의 길이 및 탐지된 개체의 예상 높이를 기반으로 한 근사 글로벌 확률(AGTP)을 기준으로 N 스캔 백 방식을 적용하여 추적 결과가 될 수 있는 가능성을 진단하여 그 가능성이 설정된 임계치보다 낮은 트랙을 제거하고, 그 결과를 상기 후보트랙 생성부로 피드백하는 단계를 포함하되,상기 (A) 단계는매칭 스코어 산출부를 통해, 각 탐지 결과 및 기존에 이미 생성된 트랙렛들 사이의 유사도를 산출하는 단계와,매치 확인부를 통해, 상기 산출된 유사도를 기반으로 물리적으로 같은 트랙렛 여부를 확인하여 매치되는 트랙렛을 검출하는 단계로 이루어지고,상기 트랙렛을 검출하는 단계는트랙렛 관리부를 통해, 유효한 일치 항목으로 트랙렛을 업데이트하고, 트랙렛에 대해 일치하는 탐지가 없으면 오탐지로 간주하여 추적 트랙렛이 종료하며, 현재 탐지와 일치하는 트랙렛이 없을 때는 새로운 트랙렛으로 생성하는 단계를 더 포함하는 것을 특징으로 하고,상기 (B) 단계는트랙렛 결합부를 통해, 상기 업데이트 결과를 이용하여 트랙렛 생성부에서 변환된 트랙렛들 중 같은 사람에게서 생성된 트랙렛들끼리 적어도 하나 이상의 묶음으로 결합하는 단계와,트랙 생성부를 통해, 결합된 묶음별로 3차원 공간상에 3차원 좌표를 갖는 트랙을 생성하는 단계와,상기 생성된 트랙에 스코어를 부여한 후, 후보트랙 확립부를 통해, 업데이트 결과 및 생성된 트랙 스코어를 적용하여 추적 결과가 될 수 있는 후보들을 확립하는 단계를 포함하여 이루어지되, 상기 생성된 트랙에 스코어를 부여하는 다섯 가지 요소를 고려하면서 각 트랙에 대해 스코어를 부여하며,첫 번째 것은 트랙의 위치가 탐지와 동일한지를 나타내는 재구성 스코어 , 두 번째는 트랙의 연속 위치의 기하학적 적합성을 고려한 연결 스코어 , 세 번째와 네 번째는 트랙의 시작과 종료의 위치적 적합성을 고려한 시작 스코어 와 종료 스코어 , 마지막 하나는 트랙과 관련된 탐지 간의 시각적 유사도를 나타내는 시각적 스코어 인 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법
8 8
삭제
9 9
삭제
10 10
삭제
11 11
제 7 항에 있어서,상기 결합 단계에서 결합은 공간적 결합(Spatial Association), 시간적 결합(temporal association), 그리고 상기 공간적 결합 및 시간적 결합의 병합(merge) 중 어느 하나로 이루어지며,상기 공간적 결합은 시간적으로 겹치는 트랙 렛 사이의 결합성에 의해 정의되며, 상기 시간적 결합은 시간적 결합성이 동일한 카메라의 연속적인 트랙 렛 사이의 결합성에 의해 정의되는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법
12 12
삭제
13 13
제 7 항에 있어서, 상기 (C) 단계는MWCP 구조부를 통해, 피드백되는 최적 트랙 정보를 이용하여 일치하는 그룹을 갖는 트랙들을 서브-그룹으로 분류하는 단계와,글로벌 가설 형성부를 통해, 상기 분류된 서브-그룹별 실제 표적의 경로로 정의된 임계치보다 높은 확률의 후보트랙을 최적 트랙으로 선별하는 단계와,상기 선별된 최적 트랙을 상기 MWCP 구조부로 피드백하는 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법
14 14
제 7 항에 있어서, 상기 (D) 단계는AGTP(Approximation of Global Track Probability)부를 통해, 선별된 후보 트랙들을 제거하기 위한 글로벌 가설을 설정하는 단계와,미확인 트랙 제거부를 통해, 설정된 글로벌 가설을 기준으로 상기 선별된 트랙들 중 근사 글로벌 확률(AGTP)이 없는 트랙을 제거하는 단계와,N 스캔 백 제거부를 통해, 설정된 글로벌 가설을 기준으로 N 프레임을 스캔하여 상기 글로벌 가설에 따라 대상의 위치를 수정하고, 고정된 위치의 대상과 호환되지 않는 모든 트랙을 제거하는 단계를 포함하여 이루어지는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법
15 15
제 14 항에 있어서,상기 글로벌 가설은 트랙렛의 파티션에 의해 생성된 트랙 집합으로, 호환 가능한 트랙 세트로 정의되어 트랙들 간의 호환성에 따라 생성되며,이전 섹션에서 정의한 트랙 점수에 따라 글로벌 가설 중에서 트랙 점수가 가장 높은 글로벌 가설 을 검출하는 것을 특징으로 하는 다중 가설 트래킹에 기반한 다중 카메라 다중 표적 트래킹을 위한 온라인 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 문화체육관광부 단국대학교 산학협력단 기술기반 융합형 콘텐츠 창업인력양성 R＆D 지원 공연자 위치 기반 공연장치 자동 제어시스템 개발
2 미래창조과학부 단국대학교 산학협력단 대학ICT연구센터육성지원사업 세이프 웰빙을 위한 IoT 기반 스마트 웨어러블 SW 기술개발
3 산업통상자원부 단국대학교 산학협력단 에너지인력양성사업 에너지 빅데이터 기반 M ＆V 기술 고급트랙