| 1 |
1
추적 객체(tracker)와 검출 객체(detection)의 외형 특징(appearance feature) 및 포즈 특징(pose feature)을 추출하고, 상기 추출한 외형 특징을 초기 노드 특징으로, 추출한 포즈 특징을 초기 에지 특징으로 각각 사용하는 특징 추출 모듈(100);복수의 레이어로 구성되는 그래프 합성곱 신경망(Graph Convolution Neural Network, GCN) 구조를 이용하여 상기 검출 객체와 추적 객체 사이의 데이터 연관성을 검사하되, 상기 특징 추출 모듈(100)에서 추출한 초기 노드 특징과 초기 에지 특징을 입력으로 하고, 에지 특징과 노드 특징을 업데이트하는 특징 업데이트 메커니즘을 포함하며, 상기 추적 객체와 검출 객체 간의 쌍별 유사성을 예측해 연관성 행렬(affinity matrix)을 출력하는 업데이트 모듈(200); 및상기 업데이트 모듈(200)에서 출력되는 연관성 행렬을 사용해 최종 검출-추적 객체 쌍을 설정하는 MOT 추적 모듈(300)을 포함하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치
|
| 2 |
2
제1항에 있어서, 상기 특징 추출 모듈(100)은,Mask-RCNN을 사용해 추적 객체 및 검출 객체의 초기 노드 특징을 추출하는 노드 특징 추출부(110); 및상기 추적 객체와 검출 객체의 키포인트 사이의 거리를 이용해 상기 초기 에지 특징을 추출하는 에지 특징 추출부(120)를 포함하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치
|
| 3 |
3
제1항에 있어서, 상기 업데이트 모듈(200)은,상기 그래프 합성곱 신경망 구조를 구성하는 각 레이어는 상기 에지 특징 및 노드 특징을 업데이트하되, 각 레이어에 대해 업데이트된 노드 특징 및 에지 특징이 집계되어 다음 레이어의 검출 객체의 노드 특징으로 사용되는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치
|
| 4 |
4
제1항에 있어서, 상기 업데이트 모듈(200)은,각 레이어에서 업데이트된 에지 특징을 에지 분류기 네트워크(edge classifier network)에 입력해 추적 노드와 검출 노드 간의 유사성을 측정하며, 상기 에지 분류기를 통한 노드 간의 유사성에 의해 상기 연관성 행렬을 구성하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치
|
| 5 |
5
제1항에 있어서, 상기 업데이트 모듈(200)은,레이어 l-1에서 추적 노드 특징 및 에지 특징이 주어지면, 초기 에지 특징, 추적 노드 특징 및 해당 추적 노드와 연결된 검출 노드 특징 사이의 유클리디안 유사도(Euclidean similarity), 및 에지 특징을 결합하여, 다음 레이어 l의 에지 특징을 업데이트하는 에지 업데이트부(210);상기 에지 업데이트부(210)에서 업데이트된 에지 특징을 반영해 노드 특징을 업데이트하는 노드 업데이트부(220); 및이전 시간의 추적 객체와 현재 시간의 검출 객체 간의 쌍별 에지 유사성을 예측해 상기 연관성 행렬(affinity matrix)을 생성하는 에지 쌍 유사도 산출부(230)를 포함하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치
|
| 6 |
6
제5항에 있어서,상기 에지 업데이트부(210)는, 단일 레이어의 학습 가능한 네트워크를 사용해 에지 특징을 업데이트하고,상기 노드 업데이트부(220)는, 2-레이어의 학습 가능한 MLP 네트워크를 사용해 노드 특징을 업데이트하며,상기 에지 쌍 유사도 산출부(230)는, 2-레이어의 MLP 에지 분류기 네트워크를 사용해 연관성 행렬을 예측하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치
|
| 7 |
7
제6항에 있어서,이진 교차 엔트로피를 사용해 상기 업데이트 모듈(200)에서 사용하는 네트워크를 학습하여 연관성 행렬을 위한 GCN을 학습하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치
|
| 8 |
8
제1항에 있어서, 상기 MOT 추적 모듈(300)은,상기 연관성 행렬에 헝가리안 알고리즘을 적용해 최종 검출-추적 객체 쌍을 설정하여, 초기 추적 객체부터 설정된 검출-추적 객체 쌍의 검출 객체를 연결하여 객체를 추적하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치
|
| 9 |
9
(1) 추적 객체(tracker)와 검출 객체(detection)의 외형 특징(appearance feature) 및 포즈 특징(pose feature)을 추출하고, 상기 추출한 외형 특징을 초기 노드 특징으로, 추출한 포즈 특징을 초기 에지 특징으로 각각 사용하는 단계;(2) 복수의 레이어로 구성되는 그래프 합성곱 신경망(Graph Convolution Neural Network, GCN) 구조를 이용하여 상기 검출 객체와 추적 객체 사이의 데이터 연관성을 검사하되, 상기 단계 (1)에서 추출한 초기 노드 특징과 초기 에지 특징을 입력으로 하고, 에지 특징과 노드 특징을 업데이트하며, 추적 객체와 검출 객체 간의 쌍별 유사성을 예측해 연관성 행렬(affinity matrix)을 출력하는 단계; 및(3) 상기 단계 (2)에서 출력되는 연관성 행렬을 사용해 최종 검출-추적 객체 쌍을 설정하는 단계를 포함하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 방법
|
| 10 |
10
제9항에 있어서, 상기 단계 (1)은,(1-1) Mask-RCNN을 사용해 추적 객체 및 검출 객체의 초기 노드 특징을 추출하는 단계; 및(1-2) 상기 추적 객체와 검출 객체의 키포인트 사이의 거리를 이용해 상기 초기 에지 특징을 추출하는 단계를 포함하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 방법
|
| 11 |
11
제9항에 있어서, 상기 단계 (2)에서는,상기 그래프 합성곱 신경망 구조를 구성하는 각 레이어는 상기 에지 특징 및 노드 특징을 업데이트하되, 각 레이어에 대해 업데이트된 노드 특징 및 에지 특징이 집계되어 다음 레이어의 검출 객체의 노드 특징으로 사용되는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 방법
|
| 12 |
12
제9항에 있어서, 상기 단계 (2)에서는,각 레이어에서 업데이트된 에지 특징을 에지 분류기 네트워크(edge classifier network)에 입력해 추적 노드와 검출 노드 간의 유사성을 측정하며, 상기 에지 분류기를 통한 노드 간의 유사성에 의해 상기 연관성 행렬을 구성하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 방법
|
| 13 |
13
제9항에 있어서, 상기 단계 (2)는,(2-1) 레이어 l-1에서 추적 노드 특징 및 에지 특징이 주어지면, 초기 에지 특징, 추적 노드 특징 및 해당 추적 노드와 연결된 검출 노드 특징 사이의 유클리디안 유사도(Euclidean similarity), 및 에지 특징을 결합하여, 다음 레이어 l의 에지 특징을 업데이트하는 단계;(2-2) 상기 단계 (2-1)에서 업데이트된 에지 특징을 반영해 노드 특징을 업데이트하는 단계; 및(2-3) 이전 시간의 추적 객체와 현재 시간의 검출 객체 간의 쌍별 에지 유사성을 예측해 상기 연관성 행렬(affinity matrix)을 생성하는 단계를 포함하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 방법
|
| 14 |
14
제13항에 있어서,상기 단계 (2-1)에서는, 단일 레이어의 학습 가능한 네트워크를 사용해 에지 특징을 업데이트하고,상기 단계 (2-2)에서는, 2-레이어의 학습 가능한 MLP 네트워크를 사용해 노드 특징을 업데이트하며,상기 단계 (2-3)에서는, 2-레이어의 MLP 에지 분류기 네트워크를 사용해 연관성 행렬을 예측하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 방법
|
| 15 |
15
제14항에 있어서,이진 교차 엔트로피를 사용해 상기 단계 (2)에서 사용하는 네트워크를 학습하여 연관성 행렬을 위한 GCN을 학습하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 방법
|
| 16 |
16
제9항에 있어서, 상기 단계 (3)에서는,상기 연관성 행렬에 헝가리안 알고리즘을 적용해 최종 검출-추적 객체 쌍을 설정하여, 초기 추적 객체부터 설정된 검출-추적 객체 쌍의 검출 객체를 연결하여 객체를 추적하는 것을 특징으로 하는, 그래프 합성곱 신경망을 이용한 다중 객체 추적 방법
|
