| 1 |
1
합성 채널 프레임 제공부가 복수의 채널들 중 각 채널에 상응하는 채널 프레임들을 비교하여 하이라이트 정보를 생성하고, 상기 채널 프레임들과 상기 하이라이트 정보를 합성하여 합성 채널 프레임을 제공하는 단계; 뉴럴 네트워크부가 상기 합성 채널 프레임 및 멀티프레임 컨볼루션 뉴럴네트워크에 기초하여 중간 프레임를 제공하는 단계; 및행동인식 결과 제공부가 상기 중간 프레임에 따라 생성되는 가중치 값 및 상기 중간 프레임에 기초하여 행동인식 결과를 제공하는 단계를 포함하는 동영상 기반 행동인식 장치의 동작방법
|
| 2 |
2
제1항에 있어서,상기 뉴럴 네트워크부는, 상기 복수의 채널들의 각각에 상응하는 상기 합성 채널 프레임을 합성하여 그레이 합성 프레임을 생성하는 그레이 합성 프레임 생성부; 및 상기 그레이 합성 프레임에 기초하여 상기 중간 프레임을 생성하는 멀티프레임 컨볼루션 뉴럴네트워크를 포함하는 것을 특징으로 하는 동영상 기반 행동인식 장치의 동작방법
|
| 3 |
3
제2항에 있어서,상기 복수의 채널들은 제1 채널, 제2 채널 및 제3 채널을 포함하고,상기 제1 채널은 레드(Red) 채널이고, 상기 제2 채널은 그린(Green)이고, 상기 제3 채널은 블루(Blue) 채널인 것을 특징으로 하는 동영상 기반 행동인식 장치의 동작방법
|
| 4 |
4
제3항에 있어서,상기 그레이 합성 프레임 생성부는,상기 레드 채널에 상응하는 레드 합성 채널 프레임, 상기 그린 채널에 상응하는 그린 합성 채널 프레임 및 상기 블루 채널에 상응하는 블루 합성 채널 프레임을 합성하여 상기 그레이 합성 프레임을 생성하는 것을 특징으로 하는 동영상 기반 행동인식 장치의 동작방법
|
| 5 |
5
제4항에 있어서,상기 그레이 합성 프레임 생성부는, 복수의 시간들의 각각에 상응하는 상기 레드 합성 채널 프레임, 상기 그린 합성 채널 프레임 및 상기 블루 합성 채널 프레임을 합성하여 상기 그레이 합성 프레임을 생성하고, 상기 복수의 시간들 중 연속되는 3개의 시간에 상응하는 상기 그레이 합성 프레임을 하나의 입력단위로 구성하여 상기 멀티프레임 컨볼루션 뉴럴네트워크에 제공하는 것을 특징으로 하는 동영상 기반 행동인식 장치의 동작방법
|
| 6 |
6
제5항에 있어서, 상기 행동인식 결과 제공부는, 상기 중간 프레임을 에버리지 풀링하여 풀링 데이터를 생성하고, 상기 풀링 데이터에 기초하여 상기 가중치 값을 생성하고, 상기 가중치 값에 기초하여 상기 행동인식 결과를 제공하는 것을 특징으로 하는 동영상 기반 행동인식 장치의 동작방법
|
| 7 |
7
제6항에 있어서, 상기 행동인식 결과 제공부는, 상기 중간 프레임을 각각 에버리지 풀링하여 중간 풀링 데이터를 생성하는 제1 풀링부; 및 상기 중간 풀링 데이터를 에버리지 풀링하여 풀링데이터를 제공하는 제2 풀링부를 포함하는 것을 특징으로 하는 동영상 기반 행동인식 장치의 동작방법
|
| 8 |
8
제7항에 있어서, 상기 행동인식 결과 제공부는, 상기 중간 풀링 데이터 및 상기 가중치 값에 기초하여 상기 행동인식 결과를 제공하는 것을 특징으로 하는 동영상 기반 행동인식 장치의 동작방법
|
| 9 |
9
복수의 채널들 중 각 채널에 상응하는 채널 프레임들을 비교하여 하이라이트 정보를 생성하고, 상기 채널 프레임들과 상기 하이라이트 정보를 합성하여 합성 채널 프레임을 제공하는 합성 채널 프레임 제공부;상기 합성 채널 프레임 및 멀티프레임 컨볼루션 뉴럴네트워크에 기초하여 중간 프레임를 제공하는 뉴럴 네트워크부; 및 상기 중간 프레임에 따라 생성되는 가중치 값 및 상기 중간 프레임에 기초하여 행동인식 결과를 제공하는 행동인식 결과 제공부를 포함하는 동영상 기반 행동인식 장치
|
| 10 |
10
제9항에 있어서, 상기 뉴럴 네트워크부는 상기 복수의 채널들의 각각에 상응하는 상기 합성 채널 프레임을 합성하여 그레이 합성 프레임을 생성하는 것을 특징으로 하는 동영상 기반 행동인식 장치
|
| 11 |
11
합성 채널 프레임 제공부가 복수의 채널들 중 각 채널에 상응하는 채널 프레임들을 비교하여 하이라이트 정보를 생성하고, 상기 채널 프레임들과 상기 하이라이트 정보를 합성하여 합성 채널 프레임을 제공하는 단계; 뉴럴 네트워크부가 상기 합성 채널 프레임 및 멀티프레임 컨볼루션 뉴럴네트워크에 기초하여 중간 프레임를 제공하는 단계; 행동인식 결과 제공부가 상기 중간 프레임에 따라 생성되는 가중치 값 및 상기 중간 프레임에 기초하여 행동인식 결과를 제공하는 단계; 및디스플레이부가 상기 행동인식 결과에 따라 생성되는 알림 정보를 디스플레이하는 단계를 포함하는 동영상 기반 행동인식 시스템의 동작방법
|
| 12 |
12
제11항에 있어서, 상기 뉴럴 네트워크부는, 상기 복수의 채널들의 각각에 상응하는 상기 합성 채널 프레임을 합성하여 그레이 합성 프레임을 생성하는 그레이 합성 프레임 생성부; 및 상기 그레이 합성 프레임에 기초하여 상기 중간 프레임을 생성하는 멀티프레임 컨볼루션 뉴럴네트워크를 포함하는 것을 특징으로 하는 동영상 기반 행동인식 시스템의 동작방법
|
| 13 |
13
복수의 채널들 중 각 채널에 상응하는 채널 프레임들을 비교하여 하이라이트 정보를 생성하고, 상기 채널 프레임들과 상기 하이라이트 정보를 합성하여 합성 채널 프레임을 제공하는 합성 채널 프레임 제공부;상기 합성 채널 프레임 및 멀티프레임 컨볼루션 뉴럴네트워크에 기초하여 중간 프레임를 제공하는 뉴럴 네트워크부; 상기 중간 프레임에 따라 생성되는 가중치 값 및 상기 중간 프레임에 기초하여 행동인식 결과를 제공하는 행동인식 결과 제공부; 및 상기 행동인식 결과에 따라 생성되는 알림 정보를 디스플레이하는 디스플레이부를 포함하는 동영상 기반 행동인식 시스템
|
| 14 |
14
제13항에 있어서, 상기 복수의 채널들은 제1 채널, 제2 채널 및 제3 채널을 포함하고,상기 제1 채널은 레드(Red) 채널이고, 상기 제2 채널은 그린(Green)이고, 상기 제3 채널은 블루(Blue) 채널인 것을 특징으로 하는 동영상 기반 행동인식 시스템
|
| 15 |
15
합성 채널 프레임 제공부가 복수의 채널들 중 각 채널에 상응하는 채널 프레임들에 기초하여 합성 채널 프레임을 제공하는 단계; 뉴럴 네트워크부가 상기 합성 채널 프레임 및 멀티프레임 컨볼루션 뉴럴네트워크에 기초하여 중간 프레임를 제공하는 단계; 및행동인식 결과 제공부가 상기 중간 프레임에 기초하여 행동인식 결과를 제공하는 단계를 포함하는 동영상 기반 행동인식 장치의 동작방법
|
| 16 |
16
프레임 제공부가 복수의 채널들 중 각 채널에 상응하는 채널 프레임들을 비교하여 하이라이트 정보를 생성하고, 상기 채널 프레임들과 상기 하이라이트 정보를 합성하여 프레임을 제공하는 단계;뉴럴 네트워크부가 상기 프레임에 기초하여 중간 프레임를 제공하는 단계; 및행동인식 결과 제공부가 상기 중간 프레임에 기초하여 행동인식 결과를 제공하는 단계를 포함하는 동영상 기반 행동인식 장치의 동작방법
|
| 17 |
17
입력 프레임 제공부가 3 채널 프레임을 제공하는 단계;뉴럴 네트워크부가 상기 3채널 프레임에 기초하여 중간 프레임을 제공하는 단계; 및행동인식 결과 제공부가 상기 중간 프레임에 따라 생성되는 가중치 값 및 상기 중간 프레임에 기초하여 행동인식 결과를 제공하는 단계를 포함하는 동영상 기반 행동인식 장치의 동작방법
|
