| 1 |
1
하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하는 단계;상기 생성된 영상 데이터 세트에서 기 설정된 동작 정보에 대응하는 영상 구간을 추출하는 단계;상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하는 단계;CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하는 단계;RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하는 단계;상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하는 단계; 및상기 선택된 영상 클립을 시간순으로 연결하여 상기 입력된 영상으로부터 하이라이트를 생성하는 단계를 포함하며,상기 기 설정된 시간 단위의 영상 클립은,복수 개의 서로 다른 시간 단위의 영상 클립으로 각각 분할하고, 상기 영상 클립을 선택하는 단계는,상기 각 영상 구간에서 상기 기 설정된 점수 이상의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출하는 단계; 및상기 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택하는 단계를 포함하는, 방법
|
| 2 |
2
청구항 1에 있어서,상기 영상 데이터 세트를 생성하는 단계는,상기 입력된 영상에 포함된 각 영상 프레임을 추출하고, 상기 추출된 영상 프레임을 각각 동일한 픽셀로 크기를 조정하는 단계; 및상기 동일한 크기로 조정된 영상 프레임을 정규화하여 상기 영상 데이터 세트로 생성하는 단계를 포함하는, 방법
|
| 3 |
3
삭제
|
| 4 |
4
청구항 1에 있어서,상기 복수 개의 서로 다른 시간 단위의 영상 클립은,제1 시간 단위의 영상 클립;상기 제1 시간 단위보다 긴 제2 시간 단위의 영상 클립; 및상기 제2 시간 단위보다 긴 제3 시간 단위의 영상 클립을 포함하는, 방법
|
| 5 |
5
삭제
|
| 6 |
6
청구항 1에 있어서,상기 영상 클립을 선택하는 단계는,상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 선택하는, 방법
|
| 7 |
7
청구항 1에 있어서,상기 영상 클립을 선택하는 단계는,상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 클립으로 선택하는, 방법
|
| 8 |
8
청구항 1에 있어서,상기 점수화하는 단계는,상기 RNN 모델을 이용하여 추출된 상기 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출하는, 방법
|
| 9 |
9
하나 이상의 프로세서들;메모리; 및하나 이상의 프로그램들을 포함하고,상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,상기 하나 이상의 프로그램들은,입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하기 위한 명령;상기 생성된 영상 데이터 세트에서 기 설정된 동작 정보에 대응하는 영상 구간을 추출하기 위한 명령;상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하기 위한 명령;CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하기 위한 명령;RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하기 위한 명령;상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하기 위한 명령; 및상기 선택된 영상 클립을 시간순으로 연결하여 상기 입력된 영상으로부터 하이라이트를 생성하기 위한 명령를 포함하며,상기 기 설정된 시간 단위의 영상 클립은,복수 개의 서로 다른 시간 단위의 영상 클립으로 각각 분할하고,상기 영상 클립을 선택하기 위한 명령은,상기 각 영상 구간에서 상기 기 설정된 점수 이상의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출하기 위한 명령; 및상기 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택하기 위한 명령을 포함하는, 컴퓨팅 장치
|
| 10 |
10
청구항 9에 있어서,상기 영상 데이터 세트를 생성하기 위한 명령은,상기 입력된 영상에 포함된 각 영상 프레임을 추출하고, 상기 추출된 영상 프레임을 각각 동일한 픽셀로 크기를 조정하기 위한 명령; 및상기 동일한 크기로 조정된 영상 프레임을 정규화하여 상기 영상 데이터 세트로 생성하기 위한 명령을 포함하는, 컴퓨팅 장치
|
| 11 |
11
삭제
|
| 12 |
12
청구항 9에 있어서,상기 복수 개의 서로 다른 시간 단위의 영상 클립은,제1 시간 단위의 영상 클립;상기 제1 시간 단위보다 긴 제2 시간 단위의 영상 클립; 및상기 제2 시간 단위보다 긴 제3 시간 단위의 영상 클립을 포함하는, 컴퓨팅 장치
|
| 13 |
13
삭제
|
| 14 |
14
청구항 9에 있어서,상기 영상 클립을 선택하기 위한 명령은,상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 선택하는, 컴퓨팅 장치
|
| 15 |
15
청구항 9에 있어서,상기 영상 클립을 선택하기 위한 명령은,상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 클립으로 선택하는, 컴퓨팅 장치
|
| 16 |
16
청구항 9에 있어서,상기 점수화하기 위한 명령은,상기 RNN 모델을 이용하여 추출된 상기 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출하는, 컴퓨팅 장치
|
| 17 |
17
비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,입력된 영상의 프레임을 정규화하여 영상 데이터 세트를 생성하고;상기 생성된 영상 데이터 세트에서 기 설정된 동작 정보에 대응하는 영상 구간을 추출하고;상기 추출한 각 영상 구간을 기 설정된 시간 단위의 영상 클립으로 분할하고;CNN 모델을 이용하여 상기 각 영상 클립의 특징 추출하고;RNN 모델을 이용하여 상기 추출된 각 영상 클립의 특징을 기반으로 상기 각 영상 클립의 유사성에 대해 점수화하고;상기 각 영상 클립에 부여된 유사성 점수를 기반으로 기 설정된 점수 이상의 유사성 점수를 받은 상기 영상 클립을 선택하고; 그리고상기 선택된 영상 클립을 시간순으로 연결하여 상기 입력된 영상으로부터 하이라이트를 생성하도록 하며,상기 기 설정된 시간 단위의 영상 클립은,복수 개의 서로 다른 시간 단위의 영상 클립으로 각각 분할하고,상기 컴퓨터 프로그램은, 상기 영상 클립을 선택하기 위하여, 상기 컴퓨팅 장치로 하여금,상기 각 영상 구간에서 상기 기 설정된 점수 이상의 유사성 점수를 받은 하나 이상의 영상 클립이 존재하는 영상 구간을 검출하고; 그리고상기 유사성 점수를 기반으로 상기 검출된 영상 구간에서 복수 개의 시간 단위의 영상 클립으로 분할된 영상 클립 중 하이라이트 영상에 포함시킬 영상 클립을 선택하도록 하는, 컴퓨터 프로그램
|
| 18 |
18
청구항 17에 있어서,상기 영상 데이터 세트를 생성하기 위한 명령은,상기 입력된 영상에 포함된 각 영상 프레임을 추출하고, 상기 추출된 영상 프레임을 각각 동일한 픽셀로 크기를 조정하고; 그리고상기 동일한 크기로 조정된 영상 프레임을 정규화하여 상기 영상 데이터 세트로 생성하도록 하는, 컴퓨터 프로그램
|
| 19 |
19
삭제
|
| 20 |
20
청구항 17에 있어서,상기 복수 개의 서로 다른 시간 단위의 영상 클립은,제1 시간 단위의 영상 클립;상기 제1 시간 단위보다 긴 제2 시간 단위의 영상 클립; 및상기 제2 시간 단위보다 긴 제3 시간 단위의 영상 클립을 포함하는, 컴퓨터 프로그램
|
| 21 |
21
삭제
|
| 22 |
22
청구항 17에 있어서,상기 컴퓨터 프로그램은, 상기 영상 클립을 선택하기 위하여, 상기 컴퓨팅 장치로 하여금,상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 하나인 경우, 해당 영상 클립을 선택하는, 컴퓨터 프로그램
|
| 23 |
23
청구항 17에 있어서,상기 컴퓨터 프로그램은, 상기 영상 클립을 선택하기 위하여, 상기 컴퓨팅 장치로 하여금,상기 검출된 영상 구간의 복수 개의 시간 단위의 영상 클립 중 상기 기 설정된 점수 이상의 유사성 점수를 받은 영상 클립이 복수 개인 경우, 유사성 점수가 가장 높은 영상 클립을 해당 영상 클립으로 선택하는, 컴퓨터 프로그램
|
| 24 |
24
청구항 17에 있어서,상기 컴퓨터 프로그램은, 상기 점수화하기 위하여, 상기 컴퓨팅 장치로 하여금,상기 RNN 모델을 이용하여 추출된 상기 각 영상 구간의 기 설정된 단위의 영상 클립들의 특징을 기반으로 상기 입력 영상에 대해 기 제작된 하이라이트 영상의 해당 영상 장면의 특징과의 유사성을 비교하여 유사성 점수를 산출하는, 컴퓨터 프로그램
|
