| 1 |
1
엔드투엔드 기반의 학습 모듈을 이용하여 목적 영상 내의 이벤트 구간을 인덱싱하는 방법으로서,학습 영상, 학습 영상 내 이벤트들의 종류와 발생시간이 포함된 이벤트 리스트, 및 학습 영상의 각 프레임의 시간 정보를 입력정보로 하고, 상기 입력정보에 대응하는 학습 영상에서의 각 이벤트의 구간 정보들을 정답 데이터로 하여 구성한 학습 데이터세트를 학습 모듈에 입력하여, 상기 입력정보에 의해 발생하는 출력과 정답 데이터 간의 오차가 최소화되도록 학습 알고리즘을 활용하여 영상의 각 프레임에 대하여, 이벤트 구간을 판단하는 과정을 반복하여 학습시키는 절차; 그리고상기 학습 모듈에 목적 영상, 목적 영상 내 이벤트들의 종류와 발생시간이 포함된 이벤트 리스트, 및 목적 영상의 각 프레임의 시간 정보를 입력정보로서 입력하여 이 영상의 각 프레임이 이벤트 리스트 내의 각 이벤트 구간에 해당하는지 판단하는, 영상 내의 이벤트 구간을 인덱싱하는 절차를 포함하는, 영상 내 이벤트 구간 인덱싱 방법
|
| 2 |
2
제1항에 있어서, 상기 학습 데이터세트의 정답 데이터는 이벤트 리스트의 각 이벤트에 대응하는 학습 영상 내의 시작 지점과 끝 지점의 구간이 태깅된 데이터인 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 방법
|
| 3 |
3
제1항에 있어서, 상기 학습 모듈의 입력정보에 포함된 각 영상 프레임의 시간 정보는,컴퓨터 비전에 의한 문자인식 알고리즘을 이용하여, 화면 내의 문자를 인식하여 얻어지는 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 방법
|
| 4 |
4
제1항에 있어서, 상기 학습 절차 및 이벤트 구간 인덱싱 절차에서, 입력 영상에서 특징을 추출하는 기능을 수행하는 컨벌루션 신경망(CNN)과, 이 컨벌루션 신경망에 연결되어 CNN에서 생성된 영상 특징 및 이전 시간 단계의 상태를 입력으로 받아서 영상 프레임 간의 시간적 문맥을 활용하여 영상의 이벤트 구간을 인덱싱하는 순환 신경망(RNN)을 포함하는 딥뉴럴네트워크가 사용되는, 영상 내 이벤트 구간 인덱싱 방법
|
| 5 |
5
제4항에 있어서, 상기 순환 신경망에, 이벤트의 종류에 따라서 RNN이 다른 기준으로 구간을 인덱싱 할 수 있도록 하기 위하여 이벤트의 종류가 입력되는 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 방법
|
| 6 |
6
제1항에 있어서, 상기 학습 알고리즘은 오류역전파 기법인 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 방법
|
| 7 |
7
제1항에 있어서, 상기 학습 모듈에 입력되는 입력정보에,연속되는 이미지 간의 픽셀간 이동을 의미하는 옵티컬 플로우 정보가 추가로 포함되는, 영상 내 이벤트 구간 인덱싱 방법
|
| 8 |
8
엔드투엔드 기반의 학습을 통하여 목적 영상 내의 이벤트 구간을 인덱싱하는 장치로서, 학습 영상, 학습 영상 내 이벤트들의 종류와 발생시간이 포함된 이벤트 리스트, 및 학습 영상의 각 프레임의 시간 정보를 입력정보로 하고, 상기 입력정보에 대응하는 학습 영상에서의 각 이벤트의 구간 정보들을 정답 데이터로 하여 구성한 학습 데이터세트를 입력받는 수단; 그리고 상기 입력정보에 의해 발생하는 출력과 정답 데이터 간의 오차가 최소화되도록 학습 알고리즘을 활용하여 영상의 각 프레임에 대하여, 이벤트 구간을 판단하는 과정을 반복하여 학습하고, 학습 후, 입력된 목적 영상의 각 프레임이 목적 영상 내 이벤트 리스트 내의 각 이벤트 구간에 해당하는지 판단하여 영상 내의 이벤트 구간을 인덱싱하는 수단을 포함하는, 영상 내 이벤트 구간 인덱싱 장치
|
| 9 |
9
제8항에 있어서, 상기 학습 데이터세트의 정답 데이터는 이벤트 리스트의 각 이벤트에 대응하는 학습 영상 내의 시작 지점과 끝 지점의 구간이 태깅된 데이터인 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 장치
|
| 10 |
10
제8항에 있어서, 상기 입력정보에 포함된 각 영상 프레임의 시간 정보는,컴퓨터 비전에 의한 문자인식 알고리즘을 이용하여, 화면 내의 문자를 인식하여 얻어지는 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 장치
|
| 11 |
11
제8항에 있어서, 상기 학습 데이터세트를 입력받는 수단은 신경망의 입력층인 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 장치
|
| 12 |
12
제8항에 있어서, 상기 학습 및 이벤트 구간 인덱싱 수단은, 영상 특징 추출 기능을 수행하는 컨벌루션 신경망(CNN)과, 이 컨벌루션 신경망에 연결되어 CNN에서 생성된 영상 특징 및 이전 시간 단계의 상태를 입력으로 받아서 영상 프레임 간의 시간적 문맥을 활용하여 영상의 이벤트 구간을 인덱싱하는 순환 신경망(RNN)을 포함하는 딥뉴럴네트워크인 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 장치
|
| 13 |
13
제12항에 있어서, 상기 순환 신경망에, 이벤트의 종류에 따라서 RNN이 다른 기준으로 구간을 인덱싱 할 수 있도록 하기 위하여 이벤트의 종류가 입력되는 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 장치
|
| 14 |
14
제8항에 있어서, 상기 학습 알고리즘은 오류역전파 기법인 것을 특징으로 하는, 영상 내 이벤트 구간 인덱싱 장치
|
| 15 |
15
제8항에 있어서, 상기 입력정보에, 연속되는 이미지 간의 픽셀간 이동을 의미하는 옵티컬 플로우 정보가 추가로 포함되는, 영상 내 이벤트 구간 인덱싱 장치
|
| 16 |
16
목적 영상 내의 이벤트 구간을 인덱싱하기 위하여 학습 알고리즘에 의한 학습을 수행하는 신경망으로서, 학습 영상, 학습 영상 내 이벤트들의 종류와 발생시간이 포함된 이벤트 리스트, 및 학습 영상의 각 프레임의 시간 정보를 입력정보로 하고, 상기 입력정보에 대응하는 학습 영상에서의 각 이벤트의 구간 정보들을 정답 데이터로 하여 구성한 학습 데이터세트를 입력받는 수단; 그리고 상기 입력정보에 의해 발생하는 출력과 정답 데이터 간의 오차가 최소화되도록 학습 알고리즘을 활용하여 영상의 각 프레임에 대하여, 이벤트 구간을 판단하는 과정을 반복하여 학습하는 수단을 포함하는, 엔드투엔드 기반 학습을 통하여 영상 내 이벤트 구간을 인덱싱하기 위한 신경망
|
| 17 |
17
제16항에 있어서, 상기 학습 데이터세트를 입력받는 수단은 신경망의 입력층인 것을 특징으로 하는, 엔드투엔드 기반 학습을 통하여 영상 내 이벤트 구간을 인덱싱하기 위한 신경망
|
| 18 |
18
제16항에 있어서, 상기 학습 수단은, 영상 특징 추출 기능을 수행하는 컨벌루션 신경망(CNN)과, 이 컨벌루션 신경망에 연결되어 CNN에서 생성된 영상 특징 및 이전 시간 단계의 상태를 입력으로 받아서 영상 프레임 간의 시간적 문맥을 활용하여 영상의 이벤트 구간을 인덱싱하는 순환 신경망(RNN)을 포함하는 딥뉴럴네트워크인 것을 특징으로 하는, 엔드투엔드 기반 학습을 통하여 영상 내 이벤트 구간을 인덱싱하기 위한 신경망
|
| 19 |
19
제18항에 있어서, 상기 순환 신경망에, 이벤트의 종류에 따라서 RNN이 다른 기준으로 구간을 인덱싱 할 수 있도록 하기 위하여 이벤트의 종류가 입력되는 것을 특징으로 하는, 엔드투엔드 기반 학습을 통하여 영상 내 이벤트 구간을 인덱싱하기 위한 신경망
|
| 20 |
20
제16항에 있어서, 상기 학습 알고리즘은 오류역전파 기법인 것을 특징으로 하는, 엔드투엔드 기반 학습을 통하여 영상 내 이벤트 구간을 인덱싱하기 위한 신경망
|
