| 1 |
1
컨볼루션 장단기 메모리(convolutional LSTM)를 포함하는 종단 간 모델을 학습하는 단계;사용자 행동 인식 및 분류를 수행할 대상 비디오 스트림 데이터를 획득하는 단계; 및상기 종단 간 모델을 기반으로 상기 대상 비디오 스트림 데이터에 대응되는 사용자 행동 명칭 정보를 획득하는 단계;를 포함하는 컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 방법
|
| 2 |
2
제1항에서,상기 종단 간 모델 학습 단계는,복수개의 비디오 스트림 데이터를 포함하는 학습 데이터 및 상기 복수개의 비디오 스트림 데이터 각각에 대응되는 행동 명칭 정보를 포함하는 정답 레이블을 기반으로, 상기 학습 데이터를 상기 종단 간 모델의 입력 데이터로 하고 상기 정답 레이블을 상기 종단 간 모델의 출력 데이터로 하여, 상기 종단 간 모델을 학습하는 것으로 이루어지는,컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 방법
|
| 3 |
3
제2항에서,상기 종단 간 모델은,상기 컨볼루션 장단기 메모리(convolutional LSTM)로 이루어지는 컨볼루션 장단기 메모리 계층(convolutional LSTM layer), 상기 컨볼루션 장단기 메모리 계층에 연결된 제1 완전 연결 계층(fully connected layer), 및 상기 제1 완전 연결 계층에 연결되고 소프트맥스 함수(softmax function)를 포함하는 제2 완전 연결 계층을 포함하는,컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 방법
|
| 4 |
4
제3항에서,상기 종단 간 모델은,비디오 스트림 데이터를 입력 데이터로 하고 사용자 행동의 공간적 정보(spatial information)와 시간적 정보(temporal information)를 출력 데이터로 하는 상기 컨볼루션 장단기 메모리 계층, 상기 컨볼루션 장단기 메모리 계층의 출력 데이터인 상기 공간적 정보와 상기 시간적 정보를 입력 데이터로 하는 상기 제1 완전 연결 계층, 및 상기 제1 완전 연결 계층의 출력 데이터를 입력 데이터로 하고 행동 명칭 정보를 출력 데이터로 하는 상기 제2 완전 연결 계층으로 이루어지는 모델인,컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 방법
|
| 5 |
5
제4항에서,상기 사용자 행동 명칭 정보 획득 단계는,상기 대상 비디오 스트림 데이터를 상기 종단 간 모델에 입력하고, 상기 종단 간 모델의 출력 데이터를 기반으로 상기 대상 비디오 스트림 데이터에 대응되는 상기 사용자 행동 명칭 정보를 획득하는 것으로 이루어지는,컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 방법
|
| 6 |
6
제1항 내지 제5항 중 어느 한 항에 기재된 컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램
|
| 7 |
7
컨볼루션 장단기 메모리(convolutional LSTM)를 이용하여 비디오 스트림 데이터에 대응되는 사용자 행동을 인식 및 분류하는 장치로서,상기 컨볼루션 장단기 메모리를 이용하여 상기 비디오 스트림 데이터에 대응되는 사용자 행동을 인식 및 분류하기 위한 하나 이상의 프로그램을 저장하는 메모리; 및상기 메모리에 저장된 상기 하나 이상의 프로그램에 따라 상기 컨볼루션 장단기 메모리를 이용하여 상기 비디오 스트림 데이터에 대응되는 사용자 행동을 인식 및 분류하기 위한 동작을 수행하는 하나 이상의 프로세서;를 포함하며,상기 프로세서는,상기 컨볼루션 장단기 메모리를 포함하는 종단 간 모델을 학습하고,사용자 행동 인식 및 분류를 수행할 대상 비디오 스트림 데이터를 획득하며,상기 종단 간 모델을 기반으로 상기 대상 비디오 스트림 데이터에 대응되는 사용자 행동 명칭 정보를 획득하는,컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 장치
|
| 8 |
8
제7항에서,상기 프로세서는,복수개의 비디오 스트림 데이터를 포함하는 학습 데이터 및 상기 복수개의 비디오 스트림 데이터 각각에 대응되는 행동 명칭 정보를 포함하는 정답 레이블을 기반으로, 상기 학습 데이터를 상기 종단 간 모델의 입력 데이터로 하고 상기 정답 레이블을 상기 종단 간 모델의 출력 데이터로 하여, 상기 종단 간 모델을 학습하는,컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 장치
|
| 9 |
9
제8항에서,상기 종단 간 모델은,상기 컨볼루션 장단기 메모리(convolutional LSTM)로 이루어지는 컨볼루션 장단기 메모리 계층(convolutional LSTM layer), 상기 컨볼루션 장단기 메모리 계층에 연결된 제1 완전 연결 계층(fully connected layer), 및 상기 제1 완전 연결 계층에 연결되고 소프트맥스 함수(softmax function)를 포함하는 제2 완전 연결 계층을 포함하는,컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 장치
|
| 10 |
10
제9항에서,상기 종단 간 모델은,비디오 스트림 데이터를 입력 데이터로 하고 사용자 행동의 공간적 정보(spatial information)와 시간적 정보(temporal information)를 출력 데이터로 하는 상기 컨볼루션 장단기 메모리 계층, 상기 컨볼루션 장단기 메모리 계층의 출력 데이터인 상기 공간적 정보와 상기 시간적 정보를 입력 데이터로 하는 상기 제1 완전 연결 계층, 및 상기 제1 완전 연결 계층의 출력 데이터를 입력 데이터로 하고 행동 명칭 정보를 출력 데이터로 하는 상기 제2 완전 연결 계층으로 이루어지는 모델인,컨볼루션 장단기 메모리를 이용한 사용자 행동 인식 및 분류 장치
|
