| 1 |
1
멀티미디어 추천 시스템에 의해 수행되는 멀티미디어 추천 방법에 있어서,사용자-아이템의 인터랙션 정보에 기초하여 사용자의 임베딩과 아이템의 모달리티들에 대한 복수 개의 임베딩을 획득하는 단계;상기 획득된 사용자의 임베딩과 아이템의 모달리티들에 대한 복수 개의 임베딩을 이용하여 아이템의 모달리티 별 사용자의 영향 정도를 고려한 아이템에 대한 사용자의 선호도를 예측하는 단계;상기 획득된 아이템의 모달리티들의 각각에 압축된 임베딩을 복원하는 단계; 및 상기 예측된 아이템에 대한 사용자의 선호도를 기반으로 상기 복원된 아이템의 모달리티들에 대한 복수 개의 임베딩을 학습하는 단계를 포함하는 멀티미디어 추천 방법
|
| 2 |
2
제1항에 있어서,상기 획득하는 단계는,상기 사용자-아이템의 인터랙션 정보에 기초하여 협업 필터링을 수행하여 사용자 임베딩과 아이템의 모달리티들에 대한 시각적 모달리티(visual modality), 텍스트 모달리티(textual modality) 및 인터랙션 모달리티(interaction modality)를 포함하는 복수 개의 임베딩을 획득하는 단계를 포함하는 멀티미디어 추천 방법
|
| 3 |
3
제2항에 있어서,상기 획득하는 단계는,상기 아이템의 모달리티들의 각각의 특징 임베딩에 대해 완전 연결 레이어를 통해 사용자 임베딩의 차원으로 압축하는 단계 를 포함하는 멀티미디어 추천 방법
|
| 4 |
4
제3항에 있어서,상기 획득하는 단계는,상기 아이템의 모달리티들의 각각의 특징 임베딩과 상기 압축을 통해 획득된 압축 임베딩을 이용하여 다른 아이템의 모달리티들의 각각의 특징 임베딩과 상기 다른 아이템의 모달리티들의 각각의 특징 임베딩에 대해 압축된 임베딩과의 유사도를 계산하는 단계를 포함하는 멀티미디어 추천 방법
|
| 5 |
5
제4항에 있어서,상기 획득하는 단계는,상기 계산된 코사인 유사도의 결과를 통해 복수 개의 k근접 이웃(k-Nearest-Neighbor; kNN) 아이템 그래프를 구축하는 단계를 포함하는 멀티미디어 추천 방법
|
| 6 |
6
제5항에 있어서,상기 획득하는 단계는,상기 구축된 복수 개의 k근접 이웃 아이템 그래프의 각 인접 행렬을 이용하여 상기 구축된 복수 개의 k근접 이웃 아이템 그래프를 결합함에 따라 상기 아이템의 모달리티들의 각각에 대한 최종 k 근접 이웃 아이템 그래프를 생성하는 단계 를 포함하는 멀티미디어 추천 방법
|
| 7 |
7
제6항에 있어서,상기 획득하는 단계는,상기 생성된 아이템의 모달리티들의 각각에 대한 최종 k근접 이웃 아이템 그래프마다 그래프 컨볼루션 네트워크(graph convolutional networks; GCN)에 입력되고, 상기 그래프 컨볼루션 네트워크의 마지막 레이어를 통해 획득된 임베딩이 아이템의 모달리티들에 대한 특징으로 표현하는 임베딩으로 사용하는 단계를 포함하는 멀티미디어 추천 방법
|
| 8 |
8
제1항에 있어서,상기 사용자의 선호도를 예측하는 단계는,상기 획득된 사용자의 임베딩과 아이템의 모달리티들에 대한 복수 개의 임베딩을 사용자에 대한 아이템의 모달리티 별 영향의 정도를 추론하는 어텐션 네트워크에 입력하고, 상기 어텐션 네트워크에 의해 추론된 각 모달리티 별 영향의 정도를 고려한 퓨전을 통해 사용자에 의해 개인화된 아이템의 어텐티브 임베딩을 획득하고, 상기 획득된 개인화된 아이템에 대한 사용자의 선호도를 예측하는 단계를 포함하는 멀티미디어 추천 방법
|
| 9 |
9
제8항에 있어서,상기 사용자의 선호도를 예측하는 단계는,모달리티 어웨어 어텐션 메커니즘(modality aware attention)을 통해 상기 아이템의 모달리티들 각각이 사용자에게 미치는 영향의 정도를 계산하는 단계를 포함하는 멀티미디어 추천 방법
|
| 10 |
10
제9항에 있어서,상기 모달리티 어웨어 어텐션 메커니즘은, 사용자가 아이템과 인터랙션하는 과정에서 사용자에게 어떤 모달리티가 가장 많은 영향을 주었는지 식별하기 위한 것으로, 사용자의 임베딩이 쿼리로, 아이템의 모달리티들에 대한 복수 개의 임베딩이 키(key)이자 벨류(value)로서 주어지는, 것을 특징으로 하는 멀티미디어 추천 방법
|
| 11 |
11
제1항에 있어서,상기 복원하는 단계는, 디코더 레이어를 통해 아이템의 모달리티들 각각에 압축된 임베딩을 특정 차원의 임베딩으로 복원하는 단계를 포함하는 멀티미디어 추천 방법
|
| 12 |
12
제1항에 있어서,상기 학습하는 단계는, 사용자-아이템 인터랙션 정보를 보존하는 BPR 손실(Bayesian Personalized Ranking loss)과 아이템의 시각적 모달리티 및 텍스트 모달리티의 특성 정보를 보존하는 오토인코더 기반의 보존 손실(auxiliary loss)을 공동으로 활용하여 사용자의 임베딩과 아이템의 시각적 모달리티, 텍스트 모달리티 및 인터랙션 모달리티를 포함하는 복수 개의 임베딩을 업데이트하는 단계 를 포함하는 멀티미디어 추천 방법
|
| 13 |
13
제12항에 있어서,상기 보존 손실은, 완전 연결 레이어와 디코더 레이어를 학습하는것을 특징으로 하는 멀티미디어 추천 방법
|
| 14 |
14
제1항 내지 제13항 중 어느 한 항의 멀티미디어 추천 방법을 상기 멀티미디어 추천 시스템에 실행시키기 위해 비-일시적인 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램
|
| 15 |
15
멀티미디어 추천 시스템에 있어서,사용자-아이템의 인터랙션 정보에 기초하여 사용자의 임베딩과 아이템의 모달리티들에 대한 복수 개의 임베딩을 획득하는 임베딩 획득부;상기 획득된 사용자의 임베딩과 아이템의 모달리티들에 대한 복수 개의 임베딩을 이용하여 아이템의 모달리티 별 사용자의 영향 정도를 고려한 아이템에 대한 사용자의 선호도를 예측하는 선호도 예측부;상기 획득된 아이템의 모달리티들의 각각에 압축된 임베딩을 복원하는 임베딩 복원부; 및 상기 예측된 아이템에 대한 사용자의 선호도를 기반으로 상기 복원된 아이템의 모달리티들에 대한 복수 개의 임베딩을 학습하는 임베딩 학습부를 포함하는 멀티미디어 추천 시스템
|
