| 1 |
1
분석장치가 시간상 연속된 2개의 프레임들 각각에 대한 특징 맵을 획득하는 단계;상기 분석장치가 상기 2개의 프레임들의 특징 맵들 사이의 상관관계를 나타내는 상관관계 텐서를 생성하는 단계;상기 분석장치가 상기 상관관계 텐서를 기준으로 커널 기반 변이를 추정하여 변이 텐서를 생성하는 단계; 및상기 분석장치가 상기 변이 텐서를 컨볼루션 계층에 입력하여 움직임 특징 맵을 생성하는 단계를 포함하는 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법
|
| 2 |
2
제1항에 있어서,상기 분석장치는 상기 2개의 프레임들의 특징맵들에서 동일 위치를 기준으로 변이에 대한 내적 연산(dot product)을 하여 상기 상관관계 텐서를 생성하는 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법
|
| 3 |
3
제1항에 있어서,상기 분석장치는 아래 수식을 이용하여 결정되는 상관관계 점수로 구성되는 상기 상관관계 텐서를 생성하는 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법
|
| 4 |
4
제3항에 있어서,상기 상관관계 점수 연산에서 변이의 최대 범위를 p ∈ [-k, k]2로 제한하는 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법
|
| 5 |
5
제1항에 있어서,상기 분석장치는 상기 상관관계 텐서에서 2D 가우시안 커널(Gaussian kernel)이 마스킹된 커널 기반 변이(kernel-soft-argmax)를 수행하여 상기 변이 텐서를 구성하는 변이 맵을 생성하는 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법
|
| 6 |
6
제1항에 있어서,상기 변이 텐서를 생성하는 단계는 상기 분석장치는 상기 상관관계 텐서에 커널 기반 변이 추정 기법(kernel-soft-argmax)을 적용하여 채널별 변이 맵을 생성하는 단계;상기 분석장치는 상기 상관관계 텐서에 풀링 연산을 하여 신뢰 맵을 생성하는 단계; 및상기 분석장치는 상기 변이 맵과 상기 신뢰 맵을 결합하여 상기 변이 텐서를 생성하는 단계를 포함하는 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법
|
| 7 |
7
제6항에 있어서,상기 분석장치는 아래 수식을 이용하여 상기 변이 맵을 생성하는 신경망 모델 기반 비디오의 움직임 특징 정보 추출 방법
|
| 8 |
8
분석장치가 연속된 2개의 비디오 프레임들 각각을 컨볼루션 계층에 입력하여 상기 비디오 프레임들에 대한 제1 특징 맵 및 제2 특징 맵을 생성하는 단계;상기 분석장치가 상기 제1 특징 맵과 상기 제2 특징 맵 사이의 변이(displacement) 나타내는 상관관계 텐서를 이용하여 변이 텐서를 생성하는 단계;상기 분석장치가 상기 변이 텐서를 컨볼루션 계층에 입력하여 움직임 특징 맵을 생성하는 단계; 상기 분석장치가 상기 움직임 특징 맵과 상기 제1 특징 맵을 결합하여 최종 움직임 특징 맵을 생성하는 단계; 및상기 분석장치가 상기 최종 움직임 특징 맵을 분류 계층에 입력하여 상기 비디오 프레임 내의 움직임을 추정하는 단계를 포함하는 신경망 모델 기반 비디오의 움직임 정보 추정 방법
|
| 9 |
9
제8항에 있어서,상기 분석장치는 상기 제1 특징 맵과 상기 제2 특징 맵에서 동일 위치를 기준으로 변이에 대한 내적 연산(dot product)을 하여 상기 상관관계 텐서를 생성하는 신경망 모델 기반 비디오의 움직임 정보 추정 방법
|
| 10 |
10
제8항에 있어서,상기 분석장치는 아래 수식을 이용하여 결정되는 상관관계 점수로 구성되는 상기 상관관계 텐서를 생성하는 신경망 모델 기반 비디오의 움직임 정보 추정 방법
|
| 11 |
11
제8항에 있어서,상기 상관관계 텐서에서 2D 가우시안 커널(Gaussian kernel)이 마스킹된 커널 기반 변이(kernel-soft-argmax)를 수행하여 상기 변이 텐서를 구성하는 변이 맵을 생성하는 신경망 모델 기반 비디오의 움직임 정보 추정 방법
|
| 12 |
12
제8항에 있어서,상기 변이 텐서를 생성하는 단계는 상기 분석장치는 상기 상관관계 텐서에 커널 기반 변이 추정 기법(kernel-soft-argmax)을 적용하여 채널별 변이 맵을 생성하는 단계;상기 분석장치는 상기 상관관계 텐서에 풀링 연산을 하여 신뢰 맵을 생성하는 단계; 및상기 분석장치는 상기 변이 맵과 상기 신뢰 맵을 결합하여 상기 변이 텐서를 생성하는 단계를 포함하는 신경망 모델 기반 비디오의 움직임 정보 추정 방법
|
| 13 |
13
제12항에 있어서,상기 분석장치는 아래 수식을 이용하여 상기 변이 맵을 생성하는 신경망 모델 기반 비디오의 움직임 정보 추정 방법
|
| 14 |
14
시간상 연속된 2개의 프레임들 각각에 대한 제1 특징 맵 및 제2 특징 맵을 입력받는 입력장치;비디오를 구성하는 연속된 프레임들에 대한 특징 맵을 이용하여 비디오의 움직음 특징 맵을 생성하는 신경망 모델을 저장하는 저장장치; 및상기 제1 특징 맵 및 상기 제2 특징 맵 사이의 상관관계를 나타내는 상관관계 텐서를 생성하고, 상기 상관관계 텐서를 기준으로 커널 기반 변이를 추정하여 변이 텐서를 생성하고, 상기 변이 텐서를 컨볼루션 계층에 입력하여 상기 2개의 프레임에 대한 움직임 특징 맵을 생성하는 연산장치를 포함하는 신경망 모델 기반 비디오의 움직임 특징 정보를 추출하는 분석 장치
|
| 15 |
15
제14항에 있어서,상기 연산장치는 상기 제1 특징 맵 및 상기 제2 특징 맵에서 동일 위치를 기준으로 변이에 대한 내적 연산(dot product)을 하여 상기 상관관계 텐서를 생성하는 신경망 모델 기반 비디오의 움직임 특징 정보를 추출하는 분석 장치
|
| 16 |
16
제14항에 있어서,상기 연산장치는 아래 수식을 이용하여 결정되는 상관관계 점수로 구성되는 상기 상관관계 텐서를 생성하는 신경망 모델 기반 비디오의 움직임 특징 정보를 추출하는 분석 장치
|
| 17 |
17
제14항에 있어서,상기 연산장치는 상기 상관관계 텐서에서 2D 가우시안 커널(Gaussian kernel)이 마스킹된 커널 기반 변이(kernel-soft-argmax)를 수행하여 상기 변이 텐서를 구성하는 변이 맵을 생성하는 신경망 모델 기반 비디오의 움직임 특징 정보를 추출하는 분석 장치
|
| 18 |
18
제14항에 있어서,상기 연산장치는 상기 상관관계 텐서에 커널 기반 변이 추정 기법(kernel-soft-argmax)을 적용하여 채널별 변이 맵을 생성하고, 상기 상관관계 텐서에 풀링 연산을 하여 신뢰 맵을 생성고, 상기 변이 맵과 상기 신뢰 맵을 결합하여 상기 변이 텐서를 생성하는 신경망 모델 기반 비디오의 움직임 특징 정보를 추출하는 분석 장치
|
| 19 |
19
제18항에 있어서,상기 연산장치는 아래 수식을 이용하여 상기 변이 맵을 생성하는 신경망 모델 기반 비디오의 움직임 특징 정보를 추출하는 분석 장치
|
