| 1 |
1
비디오 프레임을 스트리밍 방식으로 입력하는 프레임 입력부;상기 비디오 프레임으로부터 액션 시점에 대한 확률값을 출력하는 저장부; 및상기 확률값을 기초로 액션 인스턴스를 생성하여 인스턴스 단위의 비디오 동작 검출 결과를 출력하는 액션 인스턴스 생성부;를 포함하되,상기 저장부는,상기 비디오 프레임을 인코딩하여 피처를 추출하는 피처 추출부;상기 피처를 정방향(forward pass)으로 탐색하여 액션의 종료 지점을 검출하는 액션 종료 검출부; 및상기 피처를 역방향(backward pass)으로 탐색하여 액션의 시작 지점을 검출하는 액션 시작 검출부;를 포함하고,상기 액션 종료 검출부는,상기 피처를 2종의 확률값으로 출력하는 멀티 헤드 검출부; 및상기 2종의 확률값을 기초로, 최종 액션 종료 확률값을 출력하는 액션 종료 감지 개선부;를 포함하며,상기 액션 시작 검출부는 상기 액션의 시작 지점이 존재할 액션 시작 확률값을 출력하고, 상기 액션 시작 확률값이 1회 상승한 후 하락하는 시점까지 상기 역방향으로 탐색하는 과정을 유지하며, 상기 하락하는 시점에서의 이전 프레임의 액션 시작 확률값을 최종 액션 시작 확률값으로 결정하고,상기 액션 인스턴스 생성부는 상기 액션의 시작 지점과 상기 액션의 종료 지점을 기초로 상기 액션 인스턴스를 생성하며, 상기 액션 종료 확률값이 기 설정된 임계값을 초과하는 경우에 상기 액션 시작 검출부를 호출함으로써 상기 액션 종료 확률값에 종속되어 상기 액션 시작 검출부의 호출을 명령하고, 상기 액션 인스턴스는 상기 최종 액션 종료 확률값, 상기 최종 액션 시작 확률값, 액션의 클래스 및 클래스 확률값을 포함하는비디오 동작 검출 장치
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
제 1 항에 있어서,상기 멀티 헤드 검출부는,액션이 존재할 확률값을 출력하는 액션 감지 헤드; 및액션의 종료 지점이 존재할 액션 종료 확률값을 출력하는 액션 종료 감지 헤드;를 포함하는비디오 동작 검출 장치
|
| 5 |
5
제 4 항에 있어서,상기 액션 감지 헤드와 상기 액션 종료 감지 헤드 각각은,LSTM(long short-term memory) 네트워크, FC(fully-connected) 레이어 및 소프트맥스(softmax) 레이어를 포함하는비디오 동작 검출 장치
|
| 6 |
6
제 1 항에 있어서,상기 액션 종료 감지 개선부는,FC 레이어 및 소프트맥스 레이어를 포함하는비디오 동작 검출 장치
|
| 7 |
7
제 1 항에 있어서,상기 액션 시작 검출부는,LSTM 네트워크, FC 레이어 및 소프트맥스 레이어를 포함하는비디오 동작 검출 장치
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
삭제
|
| 11 |
11
삭제
|
| 12 |
12
삭제
|
| 13 |
13
제 1 항에 있어서,상기 피처 추출부는,상기 피처를 시퀀스 형태로 보관하는비디오 동작 검출 장치
|
| 14 |
14
비디오 동작 검출 장치의 비디오 동작 검출 방법에 있어서,비디오 프레임을 스트리밍 방식으로 입력하는 단계;상기 비디오 프레임으로부터 액션 시점에 대한 확률값을 출력하는 단계; 및상기 확률값을 기초로 액션 인스턴스를 생성하여 인스턴스 단위의 비디오 동작 검출 결과를 출력하는 단계;를 포함하되,상기 확률값을 출력하는 단계는,상기 비디오 프레임을 인코딩하여 피처를 추출하는 단계;상기 피처를 정방향으로 탐색하여 액션의 종료 지점을 검출하는 단계; 및상기 피처를 역방향으로 탐색하여 액션의 시작 지점을 검출하는 단계;를 포함하고,상기 액션의 종료 지점을 검출하는 단계는,상기 피처를 2종의 확률값으로 출력하는 단계; 및상기 2종의 확률값을 기초로, 최종 액션 종료 확률값을 출력하는 단계;를 포함하며,상기 액션의 시작 지점을 검출하는 단계는 상기 액션의 시작 지점이 존재할 액션 시작 확률값이 1회 상승한 후 하락하는 시점까지 상기 역방향으로 탐색하는 단계를 포함하고,상기 시작 지점을 검출하는 단계는 상기 하락하는 시점에서의 이전 프레임의 액션 시작 확률값을 최종 액션 시작 확률값으로 결정하는 단계를 포함하며,상기 인스턴스 단위의 비디오 동작 검출 결과를 출력하는 단계는, 상기 액션의 시작 지점과 상기 액션의 종료 지점을 기초로 상기 액션 인스턴스를 생성하는 단계와, 상기 액션 종료 확률값이 기 설정된 임계값을 초과하는 경우에 상기 액션의 시작 지점을 검출하는 단계를 포함함으로써, 상기 액션 종료 확률값에 종속되어 상기 액션 시작 지점을 검출하도록 호출되고,상기 액션 인스턴스는 상기 최종 액션 종료 확률값, 상기 최종 액션 시작 확률값, 액션의 클래스 및 클래스 확률값을 포함하는비디오 동작 검출 방법
|
| 15 |
15
삭제
|
| 16 |
16
삭제
|
| 17 |
17
제 14 항에 있어서,상기 2종의 확률값으로 출력하는 단계는,액션이 존재할 확률값을 출력하는 단계; 및액션의 종료 지점이 존재할 액션 종료 확률값을 출력하는 단계;를 포함하는비디오 동작 검출 방법
|
| 18 |
18
삭제
|
| 19 |
19
삭제
|
| 20 |
20
삭제
|
| 21 |
21
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은,비디오 동작 검출 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,상기 방법은,비디오 프레임을 스트리밍 방식으로 입력하는 단계;상기 비디오 프레임으로부터 액션 시점에 대한 확률값을 출력하는 단계; 및상기 확률값을 기초로 액션 인스턴스를 생성하여 인스턴스 단위의 비디오 동작 검출 결과를 출력하는 단계;를 포함하되,상기 확률값을 출력하는 단계는,상기 비디오 프레임을 인코딩하여 피처를 추출하는 단계;상기 피처를 정방향으로 탐색하여 액션의 종료 지점을 검출하는 단계; 및상기 피처를 역방향으로 탐색하여 액션의 시작 지점을 검출하는 단계;를 포함하고,상기 액션의 종료 지점을 검출하는 단계는,상기 피처를 2종의 확률값으로 출력하는 단계; 및상기 2종의 확률값을 기초로, 최종 액션 종료 확률값을 출력하는 단계;를 포함하며,상기 액션의 시작 지점을 검출하는 단계는 상기 액션의 시작 지점이 존재할 액션 시작 확률값이 1회 상승한 후 하락하는 시점까지 상기 역방향으로 탐색하는 단계를 포함하고,상기 시작 지점을 검출하는 단계는 상기 하락하는 시점에서의 이전 프레임의 액션 시작 확률값을 최종 액션 시작 확률값으로 결정하는 단계를 포함하며,상기 인스턴스 단위의 비디오 동작 검출 결과를 출력하는 단계는, 상기 액션의 시작 지점과 상기 액션의 종료 지점을 기초로 상기 액션 인스턴스를 생성하는 단계와, 상기 액션 종료 확률값이 기 설정된 임계값을 초과하는 경우에 상기 액션의 시작 지점을 검출하는 단계를 포함함으로써, 상기 액션 종료 확률값에 종속되어 상기 액션의 시작 지점을 검출하도록 호출되고,상기 액션 인스턴스는 상기 최종 액션 종료 확률값, 상기 최종 액션 시작 확률값, 액션의 클래스 및 클래스 확률값을 포함하는컴퓨터 판독 가능한 기록매체
|
| 22 |
22
컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은,비디오 동작 검출 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,상기 방법은,비디오 프레임을 스트리밍 방식으로 입력하는 단계;상기 비디오 프레임으로부터 액션 시점에 대한 확률값을 출력하는 단계; 및상기 확률값을 기초로 액션 인스턴스를 생성하여 인스턴스 단위의 비디오 동작 검출 결과를 출력하는 단계;를 포함하되,상기 확률값을 출력하는 단계는,상기 비디오 프레임을 인코딩하여 피처를 추출하는 단계;상기 피처를 정방향으로 탐색하여 액션의 종료 지점을 검출하는 단계; 및상기 피처를 역방향으로 탐색하여 액션의 시작 지점을 검출하는 단계;를 포함하고,상기 액션의 종료 지점을 검출하는 단계는,상기 피처를 2종의 확률값으로 출력하는 단계; 및상기 2종의 확률값을 기초로, 최종 액션 종료 확률값을 출력하는 단계;를 포함하며,상기 액션의 시작 지점을 검출하는 단계는 상기 액션의 시작 지점이 존재할 액션 시작 확률값이 1회 상승한 후 하락하는 시점까지 상기 역방향으로 탐색하는 단계를 포함하고,상기 시작 지점을 검출하는 단계는 상기 하락하는 시점에서의 이전 프레임의 액션 시작 확률값을 최종 액션 시작 확률값으로 결정하는 단계를 포함하며,상기 인스턴스 단위의 비디오 동작 검출 결과를 출력하는 단계는, 상기 액션의 시작 지점과 상기 액션의 종료 지점을 기초로 상기 액션 인스턴스를 생성하는 단계와, 상기 액션 종료 확률값이 기 설정된 임계값을 초과하는 경우에 상기 액션의 시작 지점을 검출하는 단계를 포함함으로써, 상기 액션 종료 확률값에 종속되어 상기 액션의 시작 지점을 검출하도록 호출되고,상기 액션 인스턴스는 상기 최종 액션 종료 확률값, 상기 최종 액션 시작 확률값, 액션의 클래스 및 클래스 확률값을 포함하는기록매체에 저장된 컴퓨터 프로그램
|
