| 1 |
1
영상의 제공 중에 발생하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 있어서,채팅 데이터 및 오디오 데이터 중 어느 하나를 일정 시간 구간으로 분리하여 특징 벡터를 추출하는 추출부; 상기 추출부의 특징 벡터와 이전 시간 구간의 정보를 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 순방향 학습부;상기 추출부의 특징 벡터와 이후 시간 구간의 정보를 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 역방향 학습부; 및상기 순방향 학습부의 결과 벡터와 상기 역방향 학습부의 결과 벡터로부터 해당 일정 시간 구간이 하이라이트로 예측될 수 있는 확률에 대한 스코어 벡터를 생성하는 예측부;를 포함하며, 상기 추출부는, 특징 벡터를 추출하기 위해, 채팅 데이터의 경우에는 자연 언어 처리(NLP, Natural Language Processing) 도구를 이용하며,상기 순방향 학습부 및 상기 역방향 학습부는,순환 인공 신경망(RNN, Recurrent Neural Network)의 일종인 장단기 메모리(LSTM, Long Short Term Memory)이고, 상기 장단기 메모리는, 입력 게이트(input gate), 출력 게이트(output gate) 및 망각 게이트(forget gate)를 포함하며, 상기 순방향 학습부는, 이전 시간 구간의 셀 상태 벡터와 상기 망각 게이트의 출력을 곱한 값에 상기 입력 게이트의 출력과 후보 벡터를 곱한 값을 더하여 상기 해당 시간 구간의 셀 상태 벡터를 생성하고, 상기 해당 시간 구간의 셀 상태 벡터를 하이퍼볼릭 탄젠트 레이어에 통과한 결과 값과 상기 출력 게이트의 출력을 곱하여 상기 결과 벡터를 생성하며, 상기 역방향 학습부는, 이후 시간 구간의 셀 상태 벡터와 상기 망각 게이트의 출력을 곱한 값에 상기 입력 게이트의 출력과 상기 후보 벡터를 곱한 값을 더하여 상기 해당 시간 구간의 셀 상태 벡터를 생성하고, 상기 해당 시간 구간의 셀 상태 벡터를 하이퍼볼릭 탄젠트 레이어에 통과한 결과 값과 상기 출력 게이트의 출력을 곱하여 상기 결과 벡터를 생성하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 2 |
2
영상의 제공 중에 발생하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치에 있어서,채팅 데이터 및 오디오 데이터 각각을 일정 시간 구간으로 분리하여 특징 벡터를 추출하는 추출부; 채팅 데이터 및 오디오 데이터 각각에 대해 상기 추출부의 특징 벡터들과 이전 시간 구간의 정보들을 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 순방향 학습부;채팅 데이터 및 오디오 데이터 각각에 대해 상기 추출부의 특징 벡터들과 이후 시간 구간의 정보들을 순환 인공 신경망(RNN, Recurrent Neural Network)에서 학습한 결과를 기초로 중간 값을 계산하고, 중간 값을 기초로 해당 시간 구간의 셀 상태 벡터와 결과 벡터를 생성하는 역방향 학습부;채팅 데이터 및 오디오 데이터 각각에 대해 상기 순방향 학습부의 결과 벡터와 상기 역방향 학습부의 결과 벡터를 결합하여 최종 결과 벡터를 생성하는 결합부; 및상기 결합부의 최종 결과 벡터를 다층 퍼셉트론(MLP, Multi-Layer Perceptron)을 통해 일정 시간 구간이 하이라이트로 예측될 수 있는 확률에 대한 스코어 벡터를 생성하는 예측부;를 포함하며, 상기 추출부는, 특징 벡터를 추출하기 위해, 채팅 데이터의 경우에는 자연 언어 처리(NLP, Natural Language Processing) 도구를 이용하며,상기 순방향 학습부 및 상기 역방향 학습부는,순환 인공 신경망(RNN, Recurrent Neural Network)의 일종인 장단기 메모리(LSTM, Long Short Term Memory)이고, 상기 장단기 메모리는, 입력 게이트(input gate), 출력 게이트(output gate) 및 망각 게이트(forget gate)를 포함하며, 상기 순방향 학습부는, 이전 시간 구간의 셀 상태 벡터와 상기 망각 게이트의 출력을 곱한 값에 상기 입력 게이트의 출력과 후보 벡터를 곱한 값을 더하여 상기 해당 시간 구간의 셀 상태 벡터를 생성하고, 상기 해당 시간 구간의 셀 상태 벡터를 하이퍼볼릭 탄젠트 레이어에 통과한 결과 값과 상기 출력 게이트의 출력을 곱하여 상기 결과 벡터를 생성하며, 상기 역방향 학습부는, 이후 시간 구간의 셀 상태 벡터와 상기 망각 게이트의 출력을 곱한 값에 상기 입력 게이트의 출력과 상기 후보 벡터를 곱한 값을 더하여 상기 해당 시간 구간의 셀 상태 벡터를 생성하고, 상기 해당 시간 구간의 셀 상태 벡터를 하이퍼볼릭 탄젠트 레이어에 통과한 결과 값과 상기 출력 게이트의 출력을 곱하여 상기 결과 벡터를 생성하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 3 |
3
제1항 또는 제2항에 있어서,상기 예측부에서 생성한 스코어 벡터에서 확률이 높은 순서대로 하이라이트 구간으로 결정하여 미리 정해둔 길이로 최종 하이라이트로 분류하는 결정부;를 더 포함하는 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 4 |
4
제1항 또는 제2항에 있어서, 상기 추출부는오디오 데이터의 경우에는 멜 주파수 셉스트럴 계수(MFCC, Mel Frequency cepstral coefficients)를 이용하는, 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
|
| 5 |
5
삭제
|
