| 1 |
1
영상의 제공 중에 발생하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 있어서,영상의 제공 중에 발생하는 데이터를 제 1 시간 구간 및 제 1 시간 구간 보다 긴 제 2 시간 구간으로 분리하여 제 1 분절 데이터 및 제 2 분절 데이터를 생성하는 분리부;상기 분리부의 제 1 분절 데이터에서 제 1 특징 벡터를 추출하고, 상기 분리부의 제 2 분절 데이터에서 제 2 특징 벡터를 추출하는 추출부;상기 추출부의 제 1 특징 벡터 및 제 2 특징 벡터에 대해 순환 신경망(RNN, Recurrent Neural Network)을 통해 학습하고, 학습된 결과를 이용하여 제 1 결과 벡터 및 제 2 결과 벡터를 생성하는 학습부;상기 학습부의 제 1 결과 벡터와 제 2 결과 벡터로부터 하이라이트로 예측될 수 있는 확률에 대한 스코어 벡터를 생성하는 예측부; 및상기 예측부에서 생성한 스코어 벡터를 이용하여 최종 하이라이트를 생성하는 결정부;를 포함하며, 상기 학습부는, 상기 추출부의 제 1 특징 벡터 및 제 2 특징 벡터에 대해 이전 시간 구간의 정보를 이용하여 결과 벡터를 생성하는 순방향 학습부; 및상기 추출부의 제 1 특징 벡터 및 제 2 특징 벡터에 대해 이후 시간 구간의 정보를 이용하여 결과 벡터를 생성하는 역방향 학습부;를 포함하며,상기 이전 사건 구간의 정보는, 이전 시간 구간의 결과 벡터 및 이전 시간 구간의 셀 상태 벡터를 포함하고,상기 이후 시간 구간의 정보는, 이후 시간 구간의 결과 벡터 및 이후 시간 구간의 셀 상태 벡터를 포함하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 2 |
2
제 1 항에 있어서, 상기 영상의 제공 중에 발생하는 데이터는,채팅 데이터 및 오디오 데이터 중 어느 하나일 수 있고, 채팅 데이터 및 오디오 데이터 둘 다를 포함할 수 있는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 3 |
3
제 1 항에 있어서, 상기 추출부는,채팅 데이터의 특징 벡터를 추출하기 위해 자연어 처리 도구(NLP, Natural Language Processing)를 이용하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 4 |
4
제 1 항에 있어서, 상기 추출부는,오디오 데이터의 특징 벡터를 추출하기 위해 멜 주파수 셉스트럴 계수(MFCC, Mel Frequency cepstral coefficients)를 이용하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 5 |
5
삭제
|
| 6 |
6
제 1 항에 있어서, 상기 순환 신경망(RNN, Recurrent Neural Network)은,장단기 메모리(LSTM, Long Short Term Memory)를 이용하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 7 |
7
제 1 항에 있어서, 상기 예측부는, 스코어 벡터를 생성하기 위해 다층 퍼셉트론(MLP, Multi-Layer Perceptron)을 이용하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 8 |
8
제 1 항에 있어서, 상기 결정부는, 상기 예측부에서 생성한 스코어 벡터에서 확률이 높은 순서대로 미리 설정해둔 범위만큼 하이라이트 구간으로 결정하고, 미리 정해둔 길이로 최종 하이라이트로 결정하여 하이라이트 영상을 생성하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 9 |
9
영상의 제공 중에 발생하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 방법에 있어서,영상으로부터 추출되는 데이터를 제 1 시간 구간 및 제 1 시간 구간 보다 긴 제 2 시간 구간으로 분리하여 제 1 분절 데이터 및 제 2 분절 데이터를 생성하는 단계;상기 제 1 분절 데이터에서 제 1 특징 벡터를 추출하고, 상기 제 2 분절 데이터에서 제 2 특징 벡터를 추출하는 단계;상기 제 1 특징 벡터 및 상기 제 2 특징 벡터에 대해 순환 신경망(RNN, Recurrent Neural Network)을 통해 학습하고, 학습된 결과를 이용하여 제 1 결과 벡터 및 제 2 결과 벡터를 생성하는 단계;상기 제 1 결과 벡터와 상기 제 2 결과 벡터로부터 하이라이트로 예측될 수 있는 확률에 대한 스코어 벡터를 생성하는 단계; 및상기 스코어 벡터를 이용하여 최종 하이라이트를 생성하는 단계;를 포함하며, 상기 제 1 결과 벡터 및 제 2 결과 벡터를 생성하는 단계는,상기 제 1 특징 벡터 및 상기 제 2 특징 벡터에 대해 이전 시간 구간의 정보를 이용하여 순방향으로 결과 벡터를 생성하는 단계; 및상기 제 1 특징 벡터 및 상기 제 2 특징 벡터에 대해 이후 시간 구간의 정보를 이용하여 역방향으로 결과 벡터를 생성하는 단계를 포함하며,상기 이전 사건 구간의 정보는, 이전 시간 구간의 결과 벡터 및 이전 시간 구간의 셀 상태 벡터를 포함하고,상기 이후 시간 구간의 정보는, 이후 시간 구간의 결과 벡터 및 이후 시간 구간의 셀 상태 벡터를 포함하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 방법
|
