| 1 |
1
프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는 딥러닝 기반의 실시간 대상 추적 방법으로서,이미지로부터 추적 대상을 검출하기 위한 대상 추적 모델을 미리 입력된 학습 데이터를 이용하여 사전 학습하는 단계;복수의 프레임들로 이루어진 이미지를 수신하는 단계; 및 상기 이미지에 상기 대상 추적 모델을 적용하여 상기 복수의 프레임들 각각에 대하여 추적 대상을 검출하는 단계를 포함하는, 딥러닝 기반의 실시간 대상 추적 방법
|
| 2 |
2
제1항에 있어서,상기 대상 추적 모델은, 적어도 하나의 콘볼루션 레이어(convolutional layer)를 포함하며, 상기 이미지로부터 특징맵(feature map)을 획득하기 위한 특징맵 획득 레이어;상기 특징맵 상의 관심영역들에 대하여 쌍선형보간법(bilinear interpolation)을 이용하여 대상의 특징을 추출하기 위한 특징 추출 레이어; 및적어도 하나의 완전-연결된 레이어(fully-connected layer)를 포함하며, 추출된 상기 특징으로부터 분류 점수를 계산하여 대상의 위치를 검출하기 위한 분류 레이어로 구성되는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 방법
|
| 3 |
3
제2항에 있어서,상기 특징맵 획득 레이어는 3개의 콘볼루션 레이어를 포함하고,제1 콘볼루션 레이어 및 제2 콘볼루션 레이어 사이에는 최대 풀링 레이어(max pooling layer)가 포함되며,상기 제2 콘볼루션 레이어 및 제3 콘볼루션 레이어 사이에는 최대 풀링 레이어를 제외함으로써 조밀한 특징맵을 획득할 수 있도록 구성되며,상기 제3 콘볼루션 레이어의 확장값(dilation)은 상기 제1 콘볼루션 레이어 및 상기 제2 콘볼루션 레이어의 확장값보다 크게 설정되어 수용영역(receptive field)을 넓게 유지하는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 방법
|
| 4 |
4
제3항에 있어서,상기 제1 콘볼루션 레이어의 커널크기는 7x7x3x96, 보폭값(stride)은 2, 확장값(dilation)은 1로 설정되고,상기 최대 풀링 레이어의 커널크기는 3x3, 보폭값은 2로 설정되고,상기 제2 콘볼루션 레이어의 커널크기는 5x5x96x256, 보폭값은 2, 확장값은 1로 설정되고,상기 제3 콘볼루션 레이어의 커널크기는 3x3x256x512, 보폭값은 1, 확장값은 3로 설정되는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 방법
|
| 5 |
5
제4항에 있어서,상기 분류 레이어는 3개의 완전-연결된 레이어를 포함하며,제1 완전-연결된 레이어의 커널크기는 3x3x512x512로 설정되고,제2 완전-연결된 레이어의 커널크기는 1x1x512x512로 설정되고,제3 완전-연결된 레이어의 커널크기는 1x1x512x2로 설정되는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 방법
|
| 6 |
6
제1항에 있어서, 상기 대상 추적 모델의 사전 학습은, 독립적인 대상이 존재하는 각 이미지마다 도메인을 나누어 학습하는 멀티-도메인(multi domain) 기반 학습인 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 방법
|
| 7 |
7
제6항에 있어서, 상기 대상 추적 모델을 사전 학습하는 단계는, 손실 함수(loss function)가 최소화되는 방향으로 상기 대상 추적 모델에 포함된 각 레이어의 파라미터를 업데이트하는 단계를 포함하고,상기 손실 함수는, 상기 대상 추적 모델이 상기 이미지로부터 추적 대상을 검출한 결과 값과 실제 값의 차이를 나타내는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 방법
|
| 8 |
8
제7항에 있어서, 상기 손실 함수는, 유사한 형태의 서로 다른 대상을 구별하기 위한 인스턴스 임베딩 손실(instance embedding loss)을 포함하는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 방법
|
| 9 |
9
제8항에 있어서,상기 인스턴스 임베딩 손실 Linst은 다음의 수학식으로 나타낼 수 있고,여기서, N은 학습 배치(batch)에 포함되는 데이터의 개수를 나타내고 D는 도메인의 개수를 나타내며,상기 대상 추적 모델은 상기 인스턴스 임베딩 손실과 이진 분류 손실(binary class loss)을 모두 고려하여 학습되는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 방법
|
| 10 |
10
제1항 내지 제9항 중 어느 한 항에 따른 딥러닝 기반의 실시간 대상 추적 방법을 구현하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
|
| 11 |
11
이미지로부터 추적 대상을 검출하기 위한 대상 추적 모델;미리 입력된 학습 데이터를 이용하여 상기 대상 추적 모델을 사전 학습시키도록 구성되는 학습부;복수의 프레임들로 이루어진 이미지를 수신하도록 구성되는 수신부; 및상기 이미지에 대상 추적 모델을 적용하여 상기 복수의 프레임들 각각에 대하여 추적 대상을 검출하도록 구성되는 검출부를 포함하는, 딥러닝 기반의 실시간 대상 추적 시스템
|
| 12 |
12
제11항에 있어서,상기 대상 추적 모델은,적어도 하나의 콘볼루션 레이어(convolutional layer)를 포함하며, 상기 이미지로부터 특징맵(feature map)을 획득하기 위한 특징맵 획득 레이어;상기 특징맵 상의 관심영역들에 대하여 쌍선형보간법(bilinear interpolation)을 이용하여 대상의 특징을 추출하기 위한 특징 추출 레이어; 및적어도 하나의 완전-연결된 레이어(fully-connected layer)를 포함하며, 추출된 상기 특징으로부터 분류 점수를 계산하여 대상의 위치를 검출하기 위한 분류 레이어로 구성되는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 시스템
|
| 13 |
13
제12항에 있어서,상기 특징맵 획득 레이어는 3개의 콘볼루션 레이어를 포함하고,제1 콘볼루션 레이어 및 제2 콘볼루션 레이어 사이에는 최대 풀링 레이어(max pooling layer)가 포함되며,상기 제2 콘볼루션 레이어 및 제3 콘볼루션 레이어 사이에는 최대 풀링 레이어를 제외함으로써 조밀한 특징맵을 획득할 수 있도록 구성되며,상기 제3 콘볼루션 레이어의 확장값(dilation)은 상기 제1 콘볼루션 레이어 및 상기 제2 콘볼루션 레이어의 확장값보다 크게 설정되어 수용영역(receptive field)을 넓게 유지하는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 시스템
|
| 14 |
14
제13항에 있어서,상기 제1 콘볼루션 레이어의 커널크기는 7x7x3x96, 보폭값(stride)은 2, 확장값(dilation)은 1로 설정되고,상기 최대 풀링 레이어의 커널크기는 3x3, 보폭값은 2로 설정되고,상기 제2 콘볼루션 레이어의 커널크기는 5x5x96x256, 보폭값은 2, 확장값은 1로 설정되고,상기 제3 콘볼루션 레이어의 커널크기는 3x3x256x512, 보폭값은 1, 확장값은 3로 설정되는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 시스템
|
| 15 |
15
제14항에 있어서,상기 분류 레이어는 3개의 완전-연결된 레이어를 포함하며,제1 완전-연결된 레이어의 커널크기는 3x3x512x512로 설정되고,제2 완전-연결된 레이어의 커널크기는 1x1x512x512로 설정되고,제3 완전-연결된 레이어의 커널크기는 1x1x512x2로 설정되는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 시스템
|
| 16 |
16
제11항에 있어서, 상기 대상 추적 모델의 사전 학습은, 독립적인 대상이 존재하는 각 이미지마다 도메인을 나누어 학습하는 멀티-도메인(multi domain) 기반 학습인 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 시스템
|
| 17 |
17
제16항에 있어서, 상기 학습부는, 손실 함수(loss function)가 최소화되는 방향으로 상기 대상 추적 모델에 포함된 각 레이어의 파라미터를 업데이트하도록 구성되고,상기 손실 함수는, 상기 대상 추적 모델이 상기 이미지로부터 추적 대상을 검출한 결과 값과 실제 값 사이의 차이를 나타내는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 시스템
|
| 18 |
18
제17항에 있어서, 상기 손실 함수는, 유사한 형태의 서로 다른 대상을 구별하기 위한 인스턴스 임베딩 손실(instance embedding loss)을 포함하는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 시스템
|
| 19 |
19
제18항에 있어서,상기 인스턴스 임베딩 손실 Linst은 다음의 수학식으로 나타낼 수 있고,여기서, N은 학습 배치(batch)에 포함되는 데이터의 개수를 나타내고 D는 도메인의 개수를 나타내며,상기 대상 추적 모델은 상기 인스턴스 임베딩 손실과 이진 분류 손실(binary class loss)을 모두 고려하여 학습되는 것을 특징으로 하는, 딥러닝 기반의 실시간 대상 추적 시스템
|
