| 1 |
1
사용자로부터 입력된 입력 영상 컨텐츠 데이터 및 데이터 베이스에 저장되어 있는 하나 이상의 저장 영상 컨텐츠 데이터에 포함된 영상 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 제 1 주요 프레임을 추출하며, 추출된 제 1 주요 프레임으로부터 영상 특징을 추출하여 각각의 영상 특징의 제 1 유사도를 계산하는 영상 기반 네트워크부;사용자로부터 입력된 입력 영상 컨텐츠 데이터 및 데이터 베이스에 저장되어 있는 하나 이상의 저장 영상 컨텐츠 데이터에 포함된 음성 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 제 2 주요 프레임을 추출하며, 추출된 제 2 주요 프레임으로부터 영상 특징을 추출하여 각각의 영상 특징의 제 2 유사도를 계산하는 음성 기반 네트워크부; 및 상기 제 1 유사도 및 상기 제 2 유사도 중 적어도 하나를 기초로 상기 하나 이상의 저장 영상 컨텐츠 중 상기 입력 영상 컨텐츠와 유사도가 소정 기준 이상인 하나 이상의 저장 영상 컨텐츠를 결정하는 추천 컨텐츠 결정부를 포함하는, 영상 컨텐츠 추천 장치
|
| 2 |
2
제 1 항에 있어서, 상기 영상 기반 네트워크부는트리플렛(triplet) 기반으로 영상 데이터를 이용하여 영상 컨텐츠의 유사도를 계산하도록 학습된 영상 기반 교사 네트워크를 이용하여 계산된 영상 기반 유사도와 상기 제 1 유사도의 차이인 제 1 유사도 손실에 기초하여 학습되는, 영상 컨텐츠 추천 장치
|
| 3 |
3
제 2 항에 있어서,상기 음성 기반 네트워크부는트리플렛 기반으로 음성 데이터를 이용하여 영상 컨텐츠의 유사도를 계산하도록 학습된 음성 기반 교사 네트워크를 이용하여 계산된 음성 기반 유사도와 상기 제 2 유사도의 차이인 제 2 유사도 손실에 기초하여 학습되는, 영상 컨텐츠 추천 장치
|
| 4 |
4
제 3 항에 있어서, 상기 영상 기반 네트워크부는상기 영상 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 주요 프레임을 추출하는 제 1 주요 프레임 추출부;상기 제 1 주요 프레임 추출부에서 추출된 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 주요 프레임으로부터 영상 특징을 추출하는 제 1 영상 특징 추출부; 및상기 제 1 영상 특징 추출부에서 추출된 입력 영상 컨텐츠의 영상 특징 및 하나 이상의 저장 영상 컨텐츠 각각의 영상 특징의 제 1 유사도를 계산하는 제 1 유사도 추출부를 포함하는, 영상 컨텐츠 추천 장치
|
| 5 |
5
제 4 항에 있어서,상기 음성 기반 네트워크부는상기 음성 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 주요 프레임을 추출하는 제 2 주요 프레임 추출부;상기 제 2 주요 프레임 추출부에서 추출된 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 주요 프레임으로부터 영상 특징을 추출하는 제 2 영상 특징 추출부; 및상기 제 2 영상 특징 추출부에서 추출된 입력 영상 컨텐츠의 영상 특징 및 하나 이상의 저장 영상 컨텐츠 각각의 영상 특징의 제 2 유사도를 계산하는 제 2 유사도 추출부를 포함하는, 영상 컨텐츠 추천 장치
|
| 6 |
6
제 5 항에 있어서, 상기 영상 기반 네트워크부 및 상기 음성 기반 네트워크부는상기 제 1 영상 특징 추출부에서 추출된 입력 영상 컨텐츠의 영상 특징 및 상기 제 2 영상 특징 추출부에서 추출된 입력 영상 컨텐츠의 영상 특징의 차이인 제 3 유사도 손실에 더 기초하여 각각 학습되는, 영상 컨텐츠 추천 장치
|
| 7 |
7
제 6 항에 있어서, 상기 영상 기반 네트워크부 및 상기 음성 기반 네트워크부는제 1 유사도 손실, 제 2 유사도 손실 및 제 3 유사도 손실에 기초하여 계산된 전체 손실에 기초하여 각각 학습되는, 영상 컨텐츠 추천 장치
|
| 8 |
8
영상 기반 네트워크부에서, 사용자로부터 입력된 입력 영상 컨텐츠 데이터 및 데이터 베이스에 저장되어 있는 하나 이상의 저장 영상 컨텐츠 데이터에 포함된 영상 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 제 1 주요 프레임을 추출하며, 추출된 제 1 주요 프레임으로부터 영상 특징을 추출하여 각각의 영상 특징의 제 1 유사도를 계산하는 단계;음성 기반 네트워크부에서, 사용자로부터 입력된 입력 영상 컨텐츠 데이터 및 데이터 베이스에 저장되어 있는 하나 이상의 저장 영상 컨텐츠 데이터에 포함된 음성 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 제 2 주요 프레임을 추출하며, 추출된 제 2 주요 프레임으로부터 영상 특징을 추출하여 각각의 영상 특징의 제 2 유사도를 계산하는 단계; 및 추천 컨텐츠 결정부에서, 상기 제 1 유사도 및 상기 제 2 유사도 중 적어도 하나를 기초로 상기 하나 이상의 저장 영상 컨텐츠 중 상기 입력 영상 컨텐츠와 유사도가 소정 기준 이상인 하나 이상의 저장 영상 컨텐츠를 결정하는 단계를 포함하는, 영상 컨텐츠 추천 방법
|
| 9 |
9
제 8 항에 있어서, 상기 영상 기반 네트워크부는트리플렛(triplet) 기반으로 영상 데이터를 이용하여 영상 컨텐츠의 유사도를 계산하도록 학습된 영상 기반 교사 네트워크를 이용하여 계산된 영상 기반 유사도와 상기 제 1 유사도의 차이인 제 1 유사도 손실에 기초하여 학습되는, 영상 컨텐츠 추천 방법
|
| 10 |
10
제 9 항에 있어서, 상기 음성 기반 네트워크부는트리플렛 기반으로 음성 데이터를 이용하여 영상 컨텐츠의 유사도를 계산하도록 학습된 음성 기반 교사 네트워크를 이용하여 계산된 음성 기반 유사도와 상기 제 2 유사도의 차이인 제 2 유사도 손실에 기초하여 학습되는, 영상 컨텐츠 추천 방법
|
| 11 |
11
제 10 항에 있어서, 상기 제 1 유사도를 계산하는 단계는, 제 1 주요 프레임 추출부에서, 상기 영상 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 주요 프레임을 추출하는 단계;제 1 영상 특징 추출부에서, 상기 추출된 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 주요 프레임으로부터 영상 특징을 추출하는 단계; 및제 1 유사도 추출부에서, 상기 추출된 입력 영상 컨텐츠의 영상 특징 및 하나 이상의 저장 영상 컨텐츠 각각의 영상 특징의 제 1 유사도를 계산하는 단계를 포함하는, 영상 컨텐츠 추천 방법
|
| 12 |
12
제 11 항에 있어서, 상기 제 2 유사도를 계산하는 단계는, 제 2 주요 프레임 추출부에서, 상기 음성 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 주요 프레임을 추출하는 단계;제 2 영상 특징 추출부에서, 상기 추출된 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 주요 프레임으로부터 영상 특징을 추출하는 단계; 및제 2 유사도 추출부에서, 상기 추출된 입력 영상 컨텐츠의 영상 특징 및 하나 이상의 저장 영상 컨텐츠 각각의 영상 특징의 제 2 유사도를 계산하는 단계를 포함하는, 영상 컨텐츠 추천 방법
|
| 13 |
13
제 12 항에 있어서, 상기 영상 기반 네트워크부 및 상기 음성 기반 네트워크부는, 상기 제 1 영상 특징 추출부에서 추출된 입력 영상 컨텐츠의 영상 특징 및 상기 제 2 영상 특징 추출부에서 추출된 입력 영상 컨텐츠의 영상 특징의 차이인 제 3 유사도 손실에 더 기초하여 각각 학습되는, 영상 컨텐츠 추천 방법
|
| 14 |
14
제 13 항에 있어서, 상기 영상 기반 네트워크부 및 상기 음성 기반 네트워크부는제 1 유사도 손실, 제 2 유사도 손실 및 제 3 유사도 손실에 기초하여 계산된 전체 손실에 기초하여 각각 학습되는, 영상 컨텐츠 추천 방법
|
| 15 |
15
비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 사용자로부터 입력된 입력 영상 컨텐츠 데이터 및 데이터 베이스에 저장되어 있는 하나 이상의 저장 영상 컨텐츠 데이터에 포함된 영상 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 제 1 주요 프레임을 추출하며, 추출된 제 1 주요 프레임으로부터 영상 특징을 추출하여 각각의 영상 특징의 제 1 유사도를 계산하는 단계;사용자로부터 입력된 입력 영상 컨텐츠 데이터 및 데이터 베이스에 저장되어 있는 하나 이상의 저장 영상 컨텐츠 데이터에 포함된 음성 데이터에 기초하여 입력 영상 컨텐츠 및 하나 이상의 저장 영상 컨텐츠 각각의 제 2 주요 프레임을 추출하며, 추출된 제 2 주요 프레임으로부터 영상 특징을 추출하여 각각의 영상 특징의 제 2 유사도를 계산하는 단계; 및 상기 제 1 유사도 및 상기 제 2 유사도 중 적어도 하나를 기초로 상기 하나 이상의 저장 영상 컨텐츠 중 상기 입력 영상 컨텐츠와 유사도가 소정 기준 이상인 하나 이상의 저장 영상 컨텐츠를 결정하는 단계를 수행하도록 하는, 컴퓨터 프로그램
|
