| 1 |
1
다중 객체 추적 방법에 있어서,(a) 이전 2D 영상 프레임의 타겟 객체와 현재 2D 영상 프레임의 타겟 후보 객체로 구성된 2D 영상 데이터세트와, 이전 깊이 프레임의 타겟 객체와 현재 2D 영상 프레임의 타겟 후보 객체로 구성된 깊이 데이터세트를 생성하는 단계와;(b) 상기 2D 영상 데이터세트와 상기 깊이 데이터세트가 상호 독립된 제1 매칭 네트워크 및 제2 매칭 네트워크에 각각 적용되고, 상기 제1 매칭 네트워크로부터 상기 2D 영상 데이터세트에 대한 2D 영상 추적 결과가 출력되고 상기 제2 매칭 네트워크로부터 상기 깊이 데이터세트에 대한 깊이 추적 결과가 출력되는 단계와;(c) 기본 신념 할당(Basic belief assignment)을 이용하여 상기 2D 영상 추적 결과와 상기 깊이 추적 결과가 융합되어 최종 추적 결과가 결정되는 단계를 포함하는 것을 특징으로 하는 다중 객체 추적 방법
|
| 2 |
2
제1항에 있어서,상기 (a) 단계에서는 기 훈련된 컨벌루션 신경망(Pre-trained convolution neural network)을 이용하여 상기 2D 영상 프레임의 상기 타겟 객체와 상기 타겟 후보 객체를 포함하는 인스턴스가 표현되며;상기 (a) 단계는(a1) 상기 기 훈련된 컨벌루션 신경망(Pre-trained convolution neural network)으로부터 상기 2D 영상 프레임의 컨벌루션 레이어(Convolution layer)의 출력이 추출되어 상기 2D 영상 프레임의 출력 특성 지도가 생성되는 되는 단계와;(a2) 각각의 상기 인스턴스의 표현이 ROI 풀링을 이용하여 각각의 상기 인스턴스의 스케일에 따라 상기 출력 특성 지도로부터 풀링되는 단계와;(a3) 상기 인스턴스의 표현이 정규화되는 단계를 포함하는 것을 특징으로 하는 다중 객체 추적 방법
|
| 3 |
3
제2항에 있어서,상기 (a1) 단계에서는상기 제1 매칭 네트워크의 입력보다 큰 스케일의 인스턴스에는 서브 샘플링을 위해 최대값 풀링(Max pooling)이 적용되고,상기 제1 매칭 네트워크의 입력보다 작은 스케일의 인스턴스에는 업샘플링을 위해 디컨벌루션(Deconvolution) 연산이 적용되는 것을 특징으로 하는 다중 객체 추적 방법
|
| 4 |
4
제1항에 있어서,상기 (a) 단계에서는 슈퍼비전 트랜스퍼(Supervision transfer)가 적용되어 상기 깊이 프레임의 상기 타겟 객체와 상기 타겟 후보 객체를 포함하는 인스턴스가 표현되는 것을 특징으로 하는 다중 객체 추적 방법
|
| 5 |
5
제1항에 있어서,상기 (b) 단계에서 상기 제1 매칭 네트워크 및 제2 매칭 네트워크에는 가중치를 공유하는 두 개의 서브 네트워크와 두 개의 상기 서브 네트워크가 연결되어 매칭 여부를 판단하는 소프트맥스 레이어로 구성된 컨벌루션 신경망(Convolution neural network)이 적용되며;상기 타겟 객체 및 상기 타겟 후보 객체는 상기 컨벌루션 신경망(Convolution neural network)의 상기 서브 네트워크에 각각 분리되어 입력되는 것을 특징으로 하는 다중 객체 추적 방법
|
| 6 |
6
제1항에 있어서,기 설정된 개수의 상기 2D 영상 프레임 및 상기 깊이 프레임에 대해 상기 (a) 단계 내지 상기 (c) 단계가 수행된 후, 상기 최종 추적 결과의 매칭 점수에 기초하여 상기 제1 매칭 네트워크 및 상기 제2 매칭 네트워크가 파인 튜닝(Fine tuning)되어 상기 제1 매칭 네트워크 및 상기 제2 매칭 네트워크의 타겟 형태 모델(Target appearance model)이 업데이트되는 단계를 더 포함하는 것을 특징으로 하는 다중 객체 추적 방법
|
