| 1 |
1
입력 영상 데이터에 상응하는 복수의 입력 프레임들 중의 첫 번째 입력 프레임에서 목표 객체를 설정하고, 상기 목표 객체의 위치에 상응하는 최초 경계 박스(bounding box)를 생성하는 목표 객체 설정부;상기 복수의 입력 프레임들 중에서 상기 첫 번째 입력 프레임을 제외한 나머지 입력 프레임들 각각에 대해 GOTURN(General Object Tracking Using Regression Network) 추적 알고리즘을 사용하여 상기 목표 객체의 위치를 추적하고, 상기 추적된 위치에 상응하는 제1 경계 박스를 생성하는 GOTURN 추적기;상기 복수의 입력 프레임들 중에서 상기 나머지 입력 프레임들 각각에 대해 Mean-shift 추적 알고리즘을 사용하여 상기 목표 객체의 위치를 추적하고, 상기 추적된 위치에 상응하는 제2 경계 박스를 생성하는 Mean-shift 추적기;n(n은 2 이상의 정수)번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램과 상기 첫 번째 입력 프레임에서 상기 최초 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제1 유사도, 상기 n번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램과 상기 첫 번째 입력 프레임에서 상기 최초 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제2 유사도, 상기 n번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램과 (n-k)(k는 n 미만의 자연수)번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제3 유사도, 및 상기 n번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램과 상기 (n-k)번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제4 유사도를 결정하는 컬러 히스토그램 분석기;상기 제1 내지 제4 유사도들을 사용하여 상기 GOTURN 추적기 및 상기 Mean-shift 추적기 중의 하나를 나타내는 분류값을 출력하는 머신 러닝(Machine Learning) 기반의 분류기; 및상기 n번째 입력 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 및 상기 n번째 입력 프레임의 상기 제2 경계 박스와 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리 중의 적어도 하나와 상기 분류값에 기초하여 상기 n번째 입력 프레임의 상기 제1 경계 박스 및 상기 제2 경계 박스 중의 하나를 상기 n번째 입력 프레임의 추적 경계 박스로 결정하고, 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치로서 상기 추적 경계 박스에 상응하는 2차원 좌표를 출력하는 판단부를 포함하는 객체 추적 장치
|
| 2 |
2
제1 항에 있어서, 상기 분류값이 상기 Mean-shift 추적기를 나타내는 경우, 상기 판단부는,상기 n번째 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 레벨을 계산하고, 상기 평균 밝기 레벨이 제1 문턱 레벨보다 낮거나 상기 제1 문턱 레벨보다 높은 제2 문턱 레벨보다 높은 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 객체 추적 장치
|
| 3 |
3
제2 항에 있어서, 상기 판단부는,상기 평균 밝기 레벨이 상기 제1 문턱 레벨 이상이고 상기 제2 문턱 레벨 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 객체 추적 장치
|
| 4 |
4
제2 항에 있어서, 상기 판단부는,상기 평균 밝기 레벨이 상기 제1 문턱 레벨 이상이고 상기 제2 문턱 레벨 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스와 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리를 계산하고, 상기 이격 거리가 문턱 거리보다 먼 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 객체 추적 장치
|
| 5 |
5
제4 항에 있어서, 상기 판단부는,상기 이격 거리가 상기 문턱 거리 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 객체 추적 장치
|
| 6 |
6
제1 항에 있어서, 상기 분류값이 상기 Mean-shift 추적기를 나타내는 경우, 상기 판단부는,상기 n번째 입력 프레임의 상기 제2 경계 박스와 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리를 계산하고, 상기 이격 거리가 문턱 거리보다 먼 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 객체 추적 장치
|
| 7 |
7
제6 항에 있어서, 상기 판단부는,상기 이격 거리가 상기 문턱 거리 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 객체 추적 장치
|
| 8 |
8
제6 항에 있어서, 상기 판단부는,상기 이격 거리가 상기 문턱 거리 이하인 경우, 상기 n번째 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 레벨을 계산하고, 상기 평균 밝기 레벨이 제1 문턱 레벨보다 낮거나 상기 제1 문턱 레벨보다 높은 제2 문턱 레벨보다 높은 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 객체 추적 장치
|
| 9 |
9
제8 항에 있어서, 상기 판단부는,상기 평균 밝기 레벨이 상기 제1 문턱 레벨 이상이고 상기 제2 문턱 레벨 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 객체 추적 장치
|
| 10 |
10
제1 항에 있어서, 상기 분류값이 상기 GOTURN 추적기를 나타내는 경우, 상기 판단부는, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 객체 추적 장치
|
| 11 |
11
제1 항에 있어서, 상기 판단부는, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 경우, 상기 컬러 히스토그램 분석기로부터 수신되는 상기 제3 유사도와 기준값을 비교하고, 상기 제3 유사도가 상기 기준값보다 큰 경우, 상기 Mean-shift 추적기에 상기 n번째 입력 프레임의 상기 제1 경계 박스를 제공하고,상기 Mean-shift 추적기는 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치를 상기 판단부로부터 수신되는 상기 제1 경계 박스로 초기화한 후, 상기 n번째 입력 프레임 이후로 수신되는 입력 프레임들에 대해 상기 목표 객체의 위치를 추적하는 동작을 수행하는 객체 추적 장치
|
| 12 |
12
제1 항에 있어서, 상기 판단부는, 상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 경우, 상기 컬러 히스토그램 분석기로부터 수신되는 상기 제4 유사도와 기준값을 비교하고, 상기 제4 유사도가 상기 기준값보다 큰 경우, 상기 GOTURN 추적기에 상기 n번째 입력 프레임의 상기 제2 경계 박스를 제공하고,상기 GOTURN 추적기는 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치를 상기 판단부로부터 수신되는 상기 제2 경계 박스로 초기화한 후, 상기 n번째 입력 프레임 이후로 수신되는 입력 프레임들에 대해 상기 목표 객체의 위치를 추적하는 동작을 수행하는 객체 추적 장치
|
| 13 |
13
제1 항에 있어서, 상기 k는 3에 상응하는 객체 추적 장치
|
| 14 |
14
제1 항에 있어서, 학습 영상 데이터에 상응하는 복수의 학습 프레임들 각각에 대해, 현재 학습 프레임에서 상기 GOTURN 추적기를 사용하여 추적한 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램과 첫 번째 학습 프레임에서 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램 사이의 유사도, 상기 현재 학습 프레임에서 상기 Mean-shift 추적기를 사용하여 추적한 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램과 상기 첫 번째 학습 프레임에서 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램 사이의 유사도, 상기 현재 학습 프레임에서 상기 GOTURN 추적기를 사용하여 추적한 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램과 상기 현재 학습 프레임과 상기 첫 번째 학습 프레임 사이에 존재하는 비교 학습 프레임에서 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램 사이의 유사도, 및 상기 현재 학습 프레임에서 상기 Mean-shift 추적기를 사용하여 추적한 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램과 상기 비교 학습 프레임에서 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램 사이의 유사도를 입력값들로 하고, 상기 GOTURN 추적기와 상기 Mean-shift 추적기 중에서 상기 현재 학습 프레임에서 더 높은 추적 정확도를 갖는 추적기를 나타내는 값을 상기 입력값들에 대한 라벨로 하는 학습 데이터를 생성하는 학습 데이터 생성부를 더 포함하고,상기 분류기는 상기 학습 데이터를 사용하여 상기 입력값들을 상기 GOTURN 추적기와 상기 Mean-shift 추적기 중의 하나로 분류하는 학습을 수행하여 추적 알고리즘 선택 모델을 생성한 후, 상기 컬러 히스토그램 분석기로부터 수신되는 상기 제1 내지 제4 유사도들을 상기 추적 알고리즘 선택 모델에 입력하여 상기 GOTURN 추적기 및 상기 Mean-shift 추적기 중의 하나를 나타내는 상기 분류값을 출력하는 객체 추적 장치
|
| 15 |
15
입력 영상 데이터에 상응하는 복수의 입력 프레임들 중의 첫 번째 입력 프레임에서 목표 객체를 설정하고, 상기 목표 객체의 위치에 상응하는 최초 경계 박스를 생성하는 목표 객체 설정부;상기 복수의 입력 프레임들 중에서 상기 첫 번째 입력 프레임을 제외한 나머지 입력 프레임들 각각에 대해 GOTURN 추적 알고리즘을 사용하여 상기 목표 객체의 위치를 추적하고, 상기 추적된 위치에 상응하는 제1 경계 박스를 생성하는 GOTURN 추적기;상기 복수의 입력 프레임들 중에서 상기 나머지 입력 프레임들 각각에 대해 Mean-shift 추적 알고리즘을 사용하여 상기 목표 객체의 위치를 추적하고, 상기 추적된 위치에 상응하는 제2 경계 박스를 생성하는 Mean-shift 추적기;n(n은 2 이상의 정수)번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램과 상기 첫 번째 입력 프레임에서 상기 최초 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제1 유사도, 상기 n번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램과 상기 첫 번째 입력 프레임에서 상기 최초 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제2 유사도, 상기 n번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램과 (n-k)(k는 n 미만의 자연수)번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제3 유사도, 및 상기 n번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램과 상기 (n-k)번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제4 유사도를 결정하는 컬러 히스토그램 분석기;상기 제1 내지 제4 유사도들을 사용하여 상기 GOTURN 추적기 및 상기 Mean-shift 추적기 중의 하나를 나타내는 분류값을 출력하는 머신 러닝 기반의 분류기;상기 n번째 입력 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 및 상기 n번째 입력 프레임의 상기 제2 경계 박스와 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리 중의 적어도 하나와 상기 분류값에 기초하여 상기 n번째 입력 프레임의 상기 제1 경계 박스 및 상기 제2 경계 박스 중의 하나를 상기 n번째 입력 프레임의 추적 경계 박스로 결정하고, 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치로서 상기 추적 경계 박스에 상응하는 2차원 좌표를 출력하는 판단부;상기 판단부로부터 상기 복수의 입력 프레임들 각각에 대한 상기 2차원 좌표를 수신하고, 상기 복수의 입력 프레임들 각각에 대해 상기 2차원 좌표에 상응하는 객체의 깊이(depth)를 추정하여 상기 복수의 입력 프레임들 각각에서 상기 목표 객체의 추적된 위치에 상응하는 3차원 좌표를 출력하는 깊이 추정부; 및상기 목표 객체에 상응하는 오디오 데이터를 상기 복수의 입력 프레임들 각각의 상기 3차원 좌표와 연결하여 몰입형(immersive) 오디오-비디오 데이터를 생성하는 오디오 믹서를 포함하는 몰입형 오디오-비디오 데이터 생성 장치
|
| 16 |
16
학습 영상 데이터를 사용하여 머신 러닝을 수행하여 추적 알고리즘 선택 모델을 생성하는 단계;입력 영상 데이터에 상응하는 복수의 입력 프레임들 중의 첫 번째 입력 프레임에서 목표 객체를 설정하고, 상기 목표 객체의 위치에 상응하는 최초 경계 박스를 생성하는 단계;상기 복수의 입력 프레임들 중에서 상기 첫 번째 입력 프레임을 제외한 나머지 입력 프레임들 각각에 대해 GOTURN 추적 알고리즘을 사용하여 상기 목표 객체의 위치를 추적하고, 상기 추적된 위치에 상응하는 제1 경계 박스를 생성하는 단계;상기 복수의 입력 프레임들 중에서 상기 나머지 입력 프레임들 각각에 대해 Mean-shift 추적 알고리즘을 사용하여 상기 목표 객체의 위치를 추적하고, 상기 추적된 위치에 상응하는 제2 경계 박스를 생성하는 단계;n(n은 2 이상의 정수)번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램과 상기 첫 번째 입력 프레임에서 상기 최초 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제1 유사도, 상기 n번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램과 상기 첫 번째 입력 프레임에서 상기 최초 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제2 유사도, 상기 n번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램과 (n-k)(k는 n 미만의 자연수)번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제3 유사도, 및 상기 n번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램과 상기 (n-k)번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제4 유사도를 결정하는 단계;상기 제1 내지 제4 유사도들을 상기 추적 알고리즘 선택 모델에 입력하여 GOTURN 추적기 및 Mean-shift 추적기 중의 하나를 나타내는 분류값을 출력하는 단계; 및상기 n번째 입력 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 및 상기 n번째 입력 프레임의 상기 제2 경계 박스와 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리 중의 적어도 하나와 상기 분류값에 기초하여 상기 n번째 입력 프레임의 상기 제1 경계 박스 및 상기 제2 경계 박스 중의 하나를 상기 n번째 입력 프레임의 추적 경계 박스로 결정하고, 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치로서 상기 추적 경계 박스에 상응하는 2차원 좌표를 출력하는 단계를 포함하는 객체 추적 방법
|
| 17 |
17
제16 항에 있어서, 상기 n번째 입력 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 및 상기 n번째 입력 프레임의 상기 제2 경계 박스와 상기 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리 중의 적어도 하나와 상기 분류값에 기초하여 상기 n번째 입력 프레임의 상기 제1 경계 박스 및 상기 제2 경계 박스 중의 하나를 상기 n번째 입력 프레임의 상기 추적 경계 박스로 결정하고, 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치로서 상기 추적 경계 박스에 상응하는 상기 2차원 좌표를 출력하는 단계는,상기 Mean-shift 추적기 및 상기 GOTURN 추적기 중에서 상기 분류값이 나타내는 추적기를 판단하는 단계; 및상기 분류값이 상기 GOTURN 추적기를 나타내는 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계를 포함하는 객체 추적 방법
|
| 18 |
18
제17 항에 있어서, 상기 n번째 입력 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 및 상기 n번째 입력 프레임의 상기 제2 경계 박스와 상기 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리 중의 적어도 하나와 상기 분류값에 기초하여 상기 n번째 입력 프레임의 상기 제1 경계 박스 및 상기 제2 경계 박스 중의 하나를 상기 n번째 입력 프레임의 상기 추적 경계 박스로 결정하고, 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치로서 상기 추적 경계 박스에 상응하는 상기 2차원 좌표를 출력하는 단계는,상기 분류값이 상기 Mean-shift 추적기를 나타내는 경우, 상기 n번째 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 레벨을 계산하는 단계;상기 평균 밝기 레벨이 제1 문턱 레벨보다 낮거나 상기 제1 문턱 레벨보다 높은 제2 문턱 레벨보다 높은 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계; 및상기 평균 밝기 레벨이 상기 제1 문턱 레벨 이상이고 상기 제2 문턱 레벨 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계를 더 포함하는 객체 추적 방법
|
| 19 |
19
제17 항에 있어서, 상기 n번째 입력 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 및 상기 n번째 입력 프레임의 상기 제2 경계 박스와 상기 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리 중의 적어도 하나와 상기 분류값에 기초하여 상기 n번째 입력 프레임의 상기 제1 경계 박스 및 상기 제2 경계 박스 중의 하나를 상기 n번째 입력 프레임의 상기 추적 경계 박스로 결정하고, 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치로서 상기 추적 경계 박스에 상응하는 상기 2차원 좌표를 출력하는 단계는,상기 분류값이 상기 Mean-shift 추적기를 나타내는 경우, 상기 n번째 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 레벨을 계산하는 단계;상기 평균 밝기 레벨이 제1 문턱 레벨보다 낮거나 상기 제1 문턱 레벨보다 높은 제2 문턱 레벨보다 높은 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계;상기 평균 밝기 레벨이 상기 제1 문턱 레벨 이상이고 상기 제2 문턱 레벨 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스와 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리를 계산하는 단계;상기 이격 거리가 문턱 거리보다 먼 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계; 및상기 이격 거리가 상기 문턱 거리 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계를 더 포함하는 객체 추적 방법
|
| 20 |
20
제17 항에 있어서, 상기 n번째 입력 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 및 상기 n번째 입력 프레임의 상기 제2 경계 박스와 상기 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리 중의 적어도 하나와 상기 분류값에 기초하여 상기 n번째 입력 프레임의 상기 제1 경계 박스 및 상기 제2 경계 박스 중의 하나를 상기 n번째 입력 프레임의 상기 추적 경계 박스로 결정하고, 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치로서 상기 추적 경계 박스에 상응하는 상기 2차원 좌표를 출력하는 단계는,상기 분류값이 상기 Mean-shift 추적기를 나타내는 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스와 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리를 계산하는 단계;상기 이격 거리가 문턱 거리보다 먼 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계; 및상기 이격 거리가 상기 문턱 거리 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계를 더 포함하는 객체 추적 방법
|
| 21 |
21
제17 항에 있어서, 상기 n번째 입력 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 및 상기 n번째 입력 프레임의 상기 제2 경계 박스와 상기 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리 중의 적어도 하나와 상기 분류값에 기초하여 상기 n번째 입력 프레임의 상기 제1 경계 박스 및 상기 제2 경계 박스 중의 하나를 상기 n번째 입력 프레임의 상기 추적 경계 박스로 결정하고, 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치로서 상기 추적 경계 박스에 상응하는 상기 2차원 좌표를 출력하는 단계는,상기 분류값이 상기 Mean-shift 추적기를 나타내는 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스와 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리를 계산하는 단계;상기 이격 거리가 문턱 거리보다 먼 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계;상기 이격 거리가 상기 문턱 거리 이하인 경우, 상기 n번째 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 레벨을 계산하는 단계;상기 평균 밝기 레벨이 제1 문턱 레벨보다 낮거나 상기 제1 문턱 레벨보다 높은 제2 문턱 레벨보다 높은 경우, 상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계; 및상기 평균 밝기 레벨이 상기 제1 문턱 레벨 이상이고 상기 제2 문턱 레벨 이하인 경우, 상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 단계를 더 포함하는 객체 추적 방법
|
| 22 |
22
제16 항에 있어서,상기 n번째 입력 프레임의 상기 제1 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 경우, 상기 제3 유사도와 기준값을 비교하는 단계; 및상기 제3 유사도가 상기 기준값보다 큰 경우, 상기 n번째 입력 프레임에서 상기 Mean-shift 추적 알고리즘을 사용하여 추적된 상기 목표 객체의 위치를 상기 제1 경계 박스로 초기화하는 단계를 더 포함하는 객체 추적 방법
|
| 23 |
23
제16 항에 있어서,상기 n번째 입력 프레임의 상기 제2 경계 박스를 상기 n번째 프레임의 상기 추적 경계 박스로 결정하는 경우, 상기 제4 유사도와 기준값을 비교하는 단계; 및상기 제4 유사도가 상기 기준값보다 큰 경우, 상기 n번째 입력 프레임에서 상기 GOTURN 추적 알고리즘을 사용하여 추적된 상기 목표 객체의 위치를 상기 제2 경계 박스로 초기화하는 단계를 더 포함하는 객체 추적 방법
|
| 24 |
24
제16 항에 있어서, 상기 학습 영상 데이터를 사용하여 머신 러닝을 수행하여 상기 추적 알고리즘 선택 모델을 생성하는 단계는,상기 학습 영상 데이터에 상응하는 복수의 학습 프레임들 각각에 대해, 현재 학습 프레임에서 GOTURN 추적 알고리즘을 사용하여 추적한 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램과 첫 번째 학습 프레임에서 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램 사이의 유사도, 상기 현재 학습 프레임에서 Mean-shift 추적 알고리즘을 사용하여 추적한 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램과 상기 첫 번째 학습 프레임에서 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램 사이의 유사도, 상기 현재 학습 프레임에서 GOTURN 추적 알고리즘을 사용하여 추적한 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램과 상기 현재 학습 프레임과 상기 첫 번째 학습 프레임 사이에 존재하는 비교 학습 프레임에서 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램 사이의 유사도, 및 상기 현재 학습 프레임에서 Mean-shift 추적 알고리즘을 사용하여 추적한 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램과 상기 비교 학습 프레임에서 상기 학습 객체의 위치에 상응하는 경계 박스의 컬러 히스토그램 사이의 유사도를 입력값들로 하고, GOTURN 추적 알고리즘과 Mean-shift 추적 알고리즘 중에서 상기 현재 학습 프레임에서 더 높은 추적 정확도를 갖는 알고리즘을 나타내는 값을 상기 입력값들에 대한 라벨로 하는 학습 데이터를 생성하는 단계; 및상기 학습 데이터를 사용하여 상기 입력값들을 GOTURN 추적 알고리즘과 Mean-shift 추적 알고리즘 중의 하나로 분류하는 학습을 수행하여 상기 추적 알고리즘 선택 모델을 생성하는 단계를 포함하는 객체 추적 방법
|
| 25 |
25
학습 영상 데이터를 사용하여 머신 러닝을 수행하여 추적 알고리즘 선택 모델을 생성하는 단계;입력 영상 데이터에 상응하는 복수의 입력 프레임들 중의 첫 번째 입력 프레임에서 목표 객체를 설정하고, 상기 목표 객체의 위치에 상응하는 최초 경계 박스를 생성하는 단계;상기 복수의 입력 프레임들 중에서 상기 첫 번째 입력 프레임을 제외한 나머지 입력 프레임들 각각에 대해 GOTURN 추적 알고리즘을 사용하여 상기 목표 객체의 위치를 추적하고, 상기 추적된 위치에 상응하는 제1 경계 박스를 생성하는 단계;상기 복수의 입력 프레임들 중에서 상기 나머지 입력 프레임들 각각에 대해 Mean-shift 추적 알고리즘을 사용하여 상기 목표 객체의 위치를 추적하고, 상기 추적된 위치에 상응하는 제2 경계 박스를 생성하는 단계;n(n은 2 이상의 정수)번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램과 상기 첫 번째 입력 프레임에서 상기 최초 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제1 유사도, 상기 n번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램과 상기 첫 번째 입력 프레임에서 상기 최초 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제2 유사도, 상기 n번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램과 (n-k)(k는 n 미만의 자연수)번째 입력 프레임에서 상기 제1 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제3 유사도, 및 상기 n번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램과 상기 (n-k)번째 입력 프레임에서 상기 제2 경계 박스의 컬러 히스토그램 사이의 유사도에 상응하는 제4 유사도를 결정하는 단계;상기 제1 내지 제4 유사도들을 상기 추적 알고리즘 선택 모델에 입력하여 상기 GOTURN 추적기 및 상기 Mean-shift 추적기 중의 하나를 나타내는 분류값을 출력하는 단계;상기 n번째 입력 프레임에서 상기 제2 경계 박스에 상응하는 영역의 평균 밝기 및 상기 n번째 입력 프레임의 상기 제2 경계 박스와 (n-1)번째 입력 프레임의 상기 제2 경계 박스 사이의 이격 거리 중의 적어도 하나와 상기 분류값에 기초하여 상기 n번째 입력 프레임의 상기 제1 경계 박스 및 상기 제2 경계 박스 중의 하나를 상기 n번째 입력 프레임의 추적 경계 박스로 결정하고, 상기 n번째 입력 프레임에서 상기 목표 객체의 추적된 위치로서 상기 추적 경계 박스에 상응하는 2차원 좌표를 출력하는 단계;상기 복수의 입력 프레임들 각각에 대해 상기 2차원 좌표에 상응하는 객체의 깊이를 추정하여 상기 복수의 입력 프레임들 각각에서 상기 목표 객체의 추적된 위치에 상응하는 3차원 좌표를 출력하는 단계; 및상기 목표 객체에 상응하는 오디오 데이터를 상기 복수의 입력 프레임들 각각의 상기 3차원 좌표와 연결하여 몰입형 오디오-비디오 데이터를 생성하는 단계를 포함하는 몰입형 오디오-비디오 데이터 생성 방법
|
