| 1 |
1
RGB 영상과 상기 RGB 영상 내 인체의 스켈레톤 데이터를 획득하는 단계;상기 RGB 영상을 3차원 컨볼루션 신경망에 입력하여 제1 분류 스코어를 획득하는 단계;상기 RGB 영상의 각 프레임 및 상기 스켈레톤 데이터를 서로 다른 2차원 컨볼루션 신경망에 입력하여 제2 및 제3 분류 스코어를 획득하는 단계; 및상기 제1 내지 제3 분류 스코어를 레이트 퓨전하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 2 |
2
제1항에 있어서,상기 RGB 영상과 상기 스켈레톤 데이터를 획득하는 단계는키넥트(Kinect) 센서로부터 상기 RGB 영상과 상기 스켈레톤 데이터를 수신하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 3 |
3
제1항에 있어서,상기 RGB 영상과 상기 스켈레톤 데이터를 획득하는 단계는칼라 센서로부터 수신된 RGB 영상에서 상기 스켈레톤 데이터를 추출하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 4 |
4
제1항에 있어서,상기 스켈레톤 데이터는 상기 RGB 영상의 연속되는 프레임에 대응하는 스켈레톤 시퀀스를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 5 |
5
제1항에 있어서,상기 RGB 영상을 상기 3차원 컨볼루션 신경망에 입력하는 단계는상기 RGB 영상을 구성하는 연속된 프레임 묶음을 상기 3차원 컨볼루션 신경망에 입력하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 6 |
6
제1항에 있어서,상기 제2 분류 스코어를 획득하는 단계는상기 RGB 영상의 각 프레임을 2차원 컨볼루션 신경망에 입력하는 단계와,상기 2차원 컨볼루션 신경망을 통해 추출된 특징의 시퀀스를 순환 신경망에 입력하여 상기 제2 분류 스코어를 획득하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 7 |
7
제6항에 있어서,상기 순환 신경망은 LSTM(Long Short-Term Memory) 모델인앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 8 |
8
제1항에 있어서,상기 제3 분류 스코어를 획득하는 단계는상기 스켈레톤 데이터를 RGB 이미지로 변환하는 단계와,상기 RGB 이미지를 상기 2차원 컨볼루션 신경망에 입력하여 상기 제3 분류 스코어를 획득하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 9 |
9
제8항에 있어서,상기 스켈레톤 데이터를 상기 RGB 이미지로 변환하는 단계는상기 스켈레톤 데이터의 3차원 좌표 값을 R, G, B 색상에 매핑하여 상기 RGB 이미지를 생성하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 10 |
10
제8항에 있어서,상기 스켈레톤 데이터를 상기 RGB 이미지로 변환하는 단계는상기 스켈레톤 데이터를, 상기 스켈레톤 데이터의 수와 상기 RGB 영상의 프레임 수의 두 좌표축을 갖는 상기 RGB 이미지로 변환하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 11 |
11
제1항에 있어서,상기 제1 내지 제3 분류 스코어를 레이트 퓨전하는 단계는상기 제1 내지 제3 분류 스코어의 평균하여 최종 스코어 행렬을 산출하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
| 12 |
12
제1항에 있어서,상기 제1 내지 제3 분류 스코어를 레이트 퓨전하는 단계는상기 제1 내지 제3 분류 스코어를 요소별로(elementwise) 곱하여 최종 스코어 행렬을 산출하는 단계를 포함하는앙상블 기반의 신경망을 이용한 행동 인식 방법
|
