| 1 |
1
행동 인식 방법으로서,입력 비디오에 대한 비디오 특징 정보를 추출하는 단계;상기 특징 정보를 토대로, 상기 입력 비디오 내에서 행동 인식 대상이 될 수 있는 사람을 둘러싸는 바운딩 박스를 생성하는 단계;상기 바운딩 박스를 토대로, 상기 비디오 특징 정보를 풀링하는 단계;풀링된 비디오 특징 정보로부터 하나 이상의 공간적 특징 맵을 추출하는 단계;상기 풀링된 비디오 특징 정보로부터 하나 이상의 시간적 특징 맵을 추출하는 단계;상기 하나 이상의 공간적 특징 맵과 상기 하나 이상의 시간적 특징 맵을 결합하여, 결합된 특징 맵을 생성하는 단계; 및상기 결합된 특징 맵을 토대로 행동 인식을 수행하는 단계;를 구비하는 행동 인식 방법
|
| 2 |
2
청구항 1에 있어서, 상기 비디오 특징 정보를 풀링하는 단계는 RoIAlign 동작을 통해 수행되는 행동 인식 방법
|
| 3 |
3
제1항에 있어서, 상기 공간적 특징 맵을 추출하는 단계가공간적 빠른 행동에 대한 특징 맵을 생성하는 과정과, 공간적 느린 행동에 대한 특징 맵을 생성하는 과정을 포함하는 행동 인식 방법
|
| 4 |
4
청구항 3에 있어서, 상기 시간적 특징 맵을 추출하는 단계가시간적 빠른 행동에 대한 특징 맵을 생성하는 과정과, 시간적 느린 행동에 대한 특징 맵을 생성하는 과정을 포함하는 행동 인식 방법
|
| 5 |
5
청구항 4에 있어서, 상기 공간적 빠른 행동에 대한 특징 맵을 생성하는 과정과, 상기 공간적 느린 행동에 대한 특징 맵을 생성하는 과정의 각각이상기 풀링된 비디오 특징 정보를 두 개의 새로운 특징 공간들로 투영하는 단계;투영된 특징 정보들을 토대로, 각 성분이 지역들간의 영향을 나타내는 공간적 주의 맵을 산출하는 단계; 및상기 공간적 주의 맵을 입력 데이터와 행렬 곱셈하여 공간적 특징 벡터를 구하는 단계;를 포함하는 행동 인식 방법
|
| 6 |
6
청구항 5에 있어서, 상기 공간적 빠른 행동에 대한 특징 맵을 생성하는 과정과, 공간적 느린 행동에 대한 특징 맵을 생성하는 과정의 각각이상기 공간적 특징 벡터에 제1 스케일링 파라미터를 곱하고 상기 비디오 특징 정보를 더함으로써, 상기 공간적 특징 맵을 생성하는 단계;를 더 포함하는 행동 인식 방법
|
| 7 |
7
청구항 4에 있어서, 상기 시간적 빠른 행동에 대한 특징 맵을 생성하는 과정과, 상기 시간적 느린 행동에 대한 특징 맵을 생성하는 과정의 각각이상기 풀링된 비디오 특징 정보를 두 개의 새로운 특징 시간들로 투영하는 단계;투영된 특징 정보들을 토대로, 각 성분이 지역들간의 영향을 나타내는 시간적 주의 맵을 산출하는 단계; 및상기 시간적 주의 맵을 입력 데이터와 행렬 곱셈하여 시간적 특징 벡터를 구하는 단계;를 포함하는 행동 인식 방법
|
| 8 |
8
청구항 7에 있어서, 상기 시간적 빠른 행동에 대한 특징 맵을 생성하는 과정과, 시간적 느린 행동에 대한 특징 맵을 생성하는 과정의 각각이상기 시간적 특징 벡터에 제1 스케일링 파라미터를 곱하고 상기 비디오 특징 정보를 더함으로써, 상기 시간적 특징 맵을 생성하는 단계;를 더 포함하는 행동 인식 방법
|
| 9 |
9
입력 비디오에서 인간 행동을 인식하는 장치로서,프로세서와, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 저장하는 메모리를 포함하고, 상기 프로그램 명령어들은 상기 프로세서에 의해 실행되었을 때:입력 비디오에 대한 비디오 특징 정보를 추출하고;상기 특징 정보를 토대로, 상기 입력 비디오 내에서 행동 인식 대상이 될 수 있는 사람을 둘러싸는 바운딩 박스를 생성하고;상기 바운딩 박스를 토대로, 상기 비디오 특징 정보를 풀링하고;풀링된 비디오 특징 정보로부터 하나 이상의 공간적 특징 맵을 추출하고;상기 풀링된 비디오 특징 정보로부터 하나 이상의 시간적 특징 맵을 추출하고;상기 하나 이상의 공간적 특징 맵과 상기 하나 이상의 시간적 특징 맵을 결합하여, 결합된 특징 맵을 생성하고;상기 결합된 특징 맵을 토대로 행동 인식을 하는동작을 수행하도록 하는 행동 인식 장치
|
| 10 |
10
청구항 9에 있어서, 상기 비디오 특징 정보를 풀링하도록 하는 프로그램 명령어들은 RoIAlign 동작을 통해 상기 비디오 특징 정보를 풀링하도록 하는 명령어들을 포함하는 행동 인식 장치
|
| 11 |
11
청구항 9에 있어서, 상기 공간적 특징 맵을 추출하도록 하는 프로그램 명령어들이공간적 빠른 행동에 대한 특징 맵을 생성하고;공간적 느린 행동에 대한 특징 맵을 생성하는동작을 수행하도록 하는 명령어들을 포함하는 행동 인식 장치
|
| 12 |
12
청구항 11에 있어서, 상기 시간적 특징 맵을 추출하도록 하는 프로그램 명령어들이시간적 빠른 행동에 대한 특징 맵을 생성하고;시간적 느린 행동에 대한 특징 맵을 생성하는동작을 수행하도록 하는 명령어들을 포함하는 행동 인식 장치
|
| 13 |
13
청구항 12에 있어서, 상기 공간적 빠른 행동에 대한 특징 맵을 생성하게 하는 프로그램 명령어들과, 상기 공간적 느린 행동에 대한 특징 맵을 생성하게 하는 프로그램 명령어들 각각이상기 풀링된 비디오 특징 정보를 두 개의 새로운 특징 공간들로 투영하고;투영된 특징 정보들을 토대로, 각 성분이 지역들간의 영향을 나타내는 공간적 주의 맵을 산출하고;상기 공간적 주의 맵을 입력 데이터와 행렬 곱셈하여 공간적 특징 벡터를 구하는동작을 수행하게 하는 명령어들을 포함하는 행동 인식 장치
|
| 14 |
14
청구항 13에 있어서, 상기 공간적 빠른 행동에 대한 특징 맵을 생성하게 하는 프로그램 명령어들과, 상기 공간적 느린 행동에 대한 특징 맵을 생성하게 하는 프로그램 명령어들 각각이상기 공간적 특징 벡터에 제1 스케일링 파라미터를 곱하고 상기 비디오 특징 정보를 더함으로써, 상기 공간적 특징 맵을 생성하는 동작을 수행하게 하는 명령어들을 더 포함하는 행동 인식 장치
|
| 15 |
15
청구항 12에 있어서, 상기 시간적 빠른 행동에 대한 특징 맵을 생성하게 하는 프로그램 명령어들과, 상기 시간적 느린 행동에 대한 특징 맵을 생성하게 하는 프로그램 명령어들 각각이상기 풀링된 비디오 특징 정보를 두 개의 새로운 특징 시간들로 투영하고;투영된 특징 정보들을 토대로, 각 성분이 지역들간의 영향을 나타내는 시간적 주의 맵을 산출하고; 및상기 시간적 주의 맵을 입력 데이터와 행렬 곱셈하여 시간적 특징 벡터를 구하는동작을 수행하게 하는 명령어들을 포함하는 행동 인식 장치
|
| 16 |
16
청구항 15에 있어서, 상기 시간적 빠른 행동에 대한 특징 맵을 생성하게 하는 프로그램 명령어들과, 상기 시간적 느린 행동에 대한 특징 맵을 생성하게 하는 프로그램 명령어들 각각이상기 시간적 특징 벡터에 제1 스케일링 파라미터를 곱하고 상기 비디오 특징 정보를 더함으로써, 상기 시간적 특징 맵을 생성하는 동작을 수행하게 하는 명령어들을 더 포함하는 행동 인식 장치
|
