| 1 |
1
컴퓨팅 장치에 의해 수행되는 방법에 있어서,이미지에서 제1 객체 및 제2 객체를 검출하는 단계;지식 그래프를 이용하여 상기 제1 객체와 상기 제2 객체 간의 릴레이션을 예측하는 단계;상기 제1 객체, 상기 제2 객체 및 상기 예측된 릴레이션에 기반한 지식 인스턴스를 상기 지식 그래프에 삽입함으로써, 상기 지식 그래프를 증강시키는 단계; 및상기 증강된 지식 그래프를 이용하여 상기 지식 그래프에 대한 임베딩 모델을 업데이트하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 2 |
2
제1항에 있어서,상기 릴레이션을 예측하는 단계는,상기 지식 그래프에서 후보 릴레이션을 선택하는 단계;상기 임베딩 모델의 스코어 함수를 통해 상기 제1 객체, 상기 제2 객체 및 상기 후보 릴레이션에 기반한 후보 지식 인스턴스의 임베딩 스코어를 산출하는 단계; 및상기 임베딩 스코어가 기준치 이상이라는 판단에 응답하여, 상기 후보 릴레이션을 상기 제1 객체와 상기 제2 객체 간의 릴레이션으로 결정하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 3 |
3
제2항에 있어서,상기 후보 지식 인스턴스의 임베딩 스코어를 산출하는 단계는,상기 임베딩 모델을 통해 상기 후보 지식 인스턴스에 대한 임베딩 벡터셋을 생성하는 단계; 및상기 임베딩 벡터셋을 상기 스코어 함수에 입력하여 상기 임베딩 스코어를 산출하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 4 |
4
제1항에 있어서,상기 예측된 릴레이션은 제1 릴레이션 및 제2 릴레이션을 포함하고,상기 지식 인스턴스는 상기 제1 릴레이션에 기반한 제1 지식 인스턴스와 상기 제2 릴레이션에 기반한 제2 지식 인스턴스를 포함하며,상기 지식 그래프를 증강시키는 단계는,상기 제1 지식 인스턴스 및 상기 제2 지식 인스턴스를 상기 지식 그래프에 삽입하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 5 |
5
제1항에 있어서,상기 이미지에서 상기 제1 객체에 대한 제1 비주얼 피처 및 상기 제2 객체에 대한 제2 비주얼 피처 중 적어도 하나를 추출하는 단계를 더 포함하고,상기 릴레이션을 예측하는 단계는,상기 제1 비주얼 피처 및 상기 제2 비주얼 피처 중 적어도 하나를 더 이용하여 상기 릴레이션을 예측하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 6 |
6
제5항에 있어서,상기 제1 객체 또는 상기 제2 객체는 신경망 기반의 객체 검출기를 통해 검출된 것이고,상기 제1 비주얼 피처 또는 상기 제2 비주얼 피처는 상기 객체 검출기로부터 획득된 것인,지식 그래프 증강 및 임베딩 방법
|
| 7 |
7
제5항에 있어서,상기 제1 비주얼 피처 및 상기 제2 비주얼 피처 중 적어도 하나를 더 이용하여 상기 릴레이션을 예측하는 단계는,상기 지식 그래프에서 후보 릴레이션을 선택하는 단계;상기 제1 객체, 상기 제2 객체 및 상기 후보 릴레이션에 기반하여 후보 지식 인스턴스를 구성하는 단계;상기 임베딩 모델을 통해 상기 후보 지식 인스턴스를 임베딩함으로써 제1 임베딩 벡터셋을 생성하는 단계;상기 임베딩 모델을 통해 상기 후보 지식 인스턴스와 상기 제1 비주얼 피처 및 상기 제2 비주얼 피처 중 적어도 하나를 함께 임베딩함으로써, 제2 임베딩 벡터셋을 생성하는 단계;상기 임베딩 모델의 스코어 함수에 상기 제1 임베딩 벡터셋을 입력하여 제1 임베딩 스코어를 산출하는 단계;상기 임베딩 모델의 스코어 함수에 상기 제2 임베딩 벡터셋을 입력하여 제2 임베딩 스코어를 산출하는 단계; 및상기 제1 임베딩 스코어 및 상기 제2 임베딩 스코어에 기초하여 상기 릴레이션을 예측하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 8 |
8
제7항에 있어서,상기 이미지에서 상기 릴레이션에 대한 제3 비주얼 피처를 추출하는 단계를 더 포함하고,상기 제1 임베딩 스코어 및 상기 제2 임베딩 스코어에 기초하여 상기 릴레이션을 예측하는 단계는,상기 임베딩 모델을 통해 상기 후보 지식 인스턴스와 상기 제3 비주얼 피처를 함께 임베딩함으로써, 제3 임베딩 벡터셋을 생성하는 단계;상기 임베딩 모델의 스코어 함수에 상기 제3 임베딩 벡터셋을 입력하여 제3 임베딩 스코어를 산출하는 단계; 및상기 제3 임베딩 스코어에 더 기초하여 상기 릴레이션을 예측하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 9 |
9
제1항에 있어서,상기 이미지에서 상기 릴레이션에 대한 제3 비주얼 피처를 추출하는 단계를 더 포함하고,상기 릴레이션을 예측하는 단계는,상기 제3 비주얼 피처를 더 이용하여 상기 릴레이션을 예측하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 10 |
10
제9항에 있어서,상기 제3 비주얼 피처를 추출하는 단계는,상기 제1 객체의 검출 영역과 상기 제2 객체의 검출 영역을 포함하는 영역을 릴레이션 영역으로 지정하는 단계; 및상기 릴레이션 영역에 기초하여 상기 제3 비주얼 피처를 추출하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 11 |
11
제10항에 있어서,상기 릴레이션 영역에 기초하여 상기 제3 비주얼 피처를 추출하는 단계는,상기 제1 비주얼 피처와 상기 제2 비주얼 피처 및 상기 릴레이션 영역에서 추출된 비주얼 피처를 애그리게이팅(aggregating)하는 단계; 및신경망 레이어를 통해 상기 애그리게이팅된 비주얼 피처에 대해 신경망 연산을 수행함으로써 상기 제3 비주얼 피처를 추출하는 단계를 포함하고,상기 신경망 레이어는 상기 임베딩 모델과 함께 업데이트되는, 지식 그래프 증강 및 임베딩 방법
|
| 12 |
12
제1항에 있어서,상기 임베딩 모델을 업데이트하는 단계는,상기 증강된 지식 그래프에서 제1 지식 인스턴스를 선택하는 단계;네거티브 샘플링(negative sampling)을 통해 상기 제1 지식 인스턴스로부터 제2 지식 인스턴스를 생성하는 단계; 및상기 제1 지식 인스턴스와 상기 제2 지식 인스턴스를 이용하여 상기 임베딩 모델을 업데이트하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 13 |
13
제12항에 있어서,상기 제2 지식 인스턴스를 생성하는 단계는,상기 제1 지식 인스턴스를 구성하는 적어도 하나의 객체 또는 릴레이션을 랜덤하게 변경함으로써 상기 제2 지식 인스턴스를 생성하는 단계를 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 14 |
14
제12항에 있어서,상기 제1 지식 인스턴스는 상기 지식 그래프에 삽입된 상기 지식 인스턴스인,지식 그래프 증강 및 임베딩 방법
|
| 15 |
15
제1항에 있어서,상기 예측된 릴레이션은 제1 릴레이션이고,상기 이미지는 상기 제1 객체 및 상기 제2 객체 및 제3 객체를 포함하는 단일 이미지이며,상기 이미지에서 상기 제3 객체를 검출하는 단계;상기 제1 객체와 상기 제3 객체 간의 제2 릴레이션을 예측하는 단계; 및상기 제1 객체, 상기 제3 객체 및 상기 제2 릴레이션에 기반한 지식 인스턴스를 상기 지식 그래프에 삽입하는 단계를 더 포함하는,지식 그래프 증강 및 임베딩 방법
|
| 16 |
16
하나 이상의 프로세서; 및하나 이상의 인스트럭션을 저장하는 메모리를 포함하고,상기 하나 이상의 프로세서는,상기 저장된 하나 이상의 인스트럭션을 실행시킴으로써,이미지에서 제1 객체 및 제2 객체를 검출하는 동작,지식 그래프를 이용하여 상기 제1 객체와 상기 제2 객체 간의 릴레이션을 예측하는 동작,상기 제1 객체, 상기 제2 객체 및 상기 예측된 릴레이션에 기반한 지식 인스턴스를 상기 지식 그래프에 삽입함으로써, 상기 지식 그래프를 증강시키는 동작 및상기 증강된 지식 그래프를 이용하여 상기 지식 그래프에 대한 임베딩 모델을 업데이트하는 동작을 수행하는,지식 그래프 증강 및 임베딩 시스템
|
| 17 |
17
컴퓨팅 장치와 결합되어,이미지에서 제1 객체 및 제2 객체를 검출하는 단계;지식 그래프를 이용하여 상기 제1 객체와 상기 제2 객체 간의 릴레이션을 예측하는 단계;상기 제1 객체, 상기 제2 객체 및 상기 예측된 릴레이션에 기반한 지식 인스턴스를 상기 지식 그래프에 삽입함으로써, 상기 지식 그래프를 증강시키는 단계; 및상기 증강된 지식 그래프를 이용하여 상기 지식 그래프에 대한 임베딩 모델을 업데이트하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,컴퓨터 프로그램
|
