| 1 |
1
멀티 모달 대화(multi-modal dialog) 데이터에 포함된 하나 이상의 텍스트 메시지를 토큰화하여 제1 토큰 시퀀스를 생성하는 단계; 상기 멀티 모달 대화 데이터에 포함된 이미지의 등장 위치에 기초하여 상기 제1 토큰 시퀀스에 하나 이상의 이미지 존재 토큰 및 하나 이상의 이미지 부존재 토큰을 삽입하고, 상기 토큰화를 통해 생성된 복수의 토큰 중 하나 이상의 토큰을 마스크(mask) 토큰으로 대체하여 제2 토큰 시퀀스를 생성하는 단계;상기 이미지에 대한 하나 이상의 특징 벡터를 생성하는 단계; 및상기 제2 토큰 시퀀스 및 상기 하나 이상의 특징 벡터에 기초하여 상기 멀티 모달 대화 데이터 내에서 상기 이미지의 등장 위치를 예측하도록 인공 신경망 기반의 언어 모델을 학습시키는 단계를 포함하는, 멀티 모달 대화를 위한 언어 모델 학습 방법
|
| 2 |
2
청구항 1에 있어서,상기 제2 토큰 시퀀스를 생성하는 단계는, 상기 멀티 모달 대화 데이터 내에서 상기 하나 이상의 텍스트 메시지 각각의 등장 직전 또는 직후 위치 중 상기 이미지가 등장하는 위치에 대응하는 위치에 상기 이미지 존재 토큰을 삽입하고, 상기 하나 이상의 텍스트 메시지 각각의 등장 직전 또는 직후 위치 중 상기 이미지가 등장하지 않는 위치에 대응하는 위치에 상기 이미지 부존재 토큰을 삽입하여 상기 제2 토큰 시퀀스를 생성하는, 멀티 모달 대화를 위한 언어 모델 학습 방법
|
| 3 |
3
청구항 1에 있어서,상기 학습시키는 단계는, 상기 마스크 토큰에 대한 상기 언어 모델의 출력 벡터에 기초한 제1 손실 함수, 및 상기 이미지 존재 토큰에 대한 상기 언어 모델의 출력 벡터와 상기 하나 이상의 특징 벡터에 대한 상기 언어 모델의 출력 벡터 사이의 제1 유사도 및 상기 이미지 부존재 토큰에 대한 상기 언어 모델의 출력 벡터와 상기 하나 이상의 특징 벡터에 대한 상기 언어 모델의 출력 벡터 사이의 제2 유사도에 기초한 제2 손실 함수를 이용하여 상기 언어 모델을 학습시키는, 멀티 모달 대화를 위한 언어 모델 학습 방법
|
| 4 |
4
청구항 3에 있어서,상기 학습시키는 단계는, 상기 제1 손실 함수에 기초하여 상기 제1 토큰 시퀀스에서 상기 마스크 토큰으로 대체된 토큰을 예측하되, 상기 제2 손실 함수에 기초하여 상기 제1 유사도가 커지고 상기 제2 유사도가 작아지도록 상기 언어 모델을 학습시키는, 멀티 모달 대화를 위한 언어 모델 학습 방법
|
| 5 |
5
멀티 모달 대화(multi-modal dialog) 데이터에 포함된 하나 이상의 텍스트 메시지를 토큰화하여 제1 토큰 시퀀스를 생성하는 토큰화부;상기 멀티 모달 대화 데이터에 포함된 이미지의 등장 위치에 기초하여 상기 제1 토큰 시퀀스에 하나 이상의 이미지 존재 토큰 및 하나 이상의 이미지 부존재 토큰을 삽입하고, 상기 토큰화를 통해 생성된 복수의 토큰 중 하나 이상의 토큰을 마스크(mask) 토큰으로 대체하여 제2 토큰 시퀀스를 생성하는 토큰 삽입부;상기 이미지에 대한 하나 이상의 특징 벡터를 생성하는 특징 벡터 생성부; 및상기 제2 토큰 시퀀스 및 상기 하나 이상의 특징 벡터에 기초하여 상기 멀티 모달 대화 데이터 내에서 상기 이미지의 등장 위치를 예측하도록 인공 신경망 기반의 언어 모델을 학습시키는 학습부를 포함하는, 멀티 모달 대화를 위한 언어 모델 학습 장치
|
| 6 |
6
청구항 5에 있어서,상기 토큰 삽입부는, 상기 멀티 모달 대화 데이터 내에서 상기 하나 이상의 텍스트 메시지 각각의 등장 직전 또는 직후 위치 중 상기 이미지가 등장하는 위치에 대응하는 위치에 상기 이미지 존재 토큰을 삽입하고, 상기 하나 이상의 텍스트 메시지 각각의 등장 직전 또는 직후 위치 중 상기 이미지가 등장하지 않는 위치에 대응하는 위치에 상기 이미지 부존재 토큰을 삽입하여 상기 제2 토큰 시퀀스를 생성하는, 멀티 모달 대화를 위한 언어 모델 학습 장치
|
| 7 |
7
청구항 5에 있어서,상기 학습부는, 상기 마스크 토큰에 대한 상기 언어 모델의 출력 벡터에 기초한 제1 손실 함수, 및 상기 이미지 존재 토큰에 대한 상기 언어 모델의 출력 벡터와 상기 하나 이상의 특징 벡터에 대한 상기 언어 모델의 출력 벡터 사이의 제1 유사도 및 상기 이미지 부존재 토큰에 대한 상기 언어 모델의 출력 벡터와 상기 하나 이상의 특징 벡터에 대한 상기 언어 모델의 출력 벡터 사이의 제2 유사도에 기초한 제2 손실 함수를 이용하여 상기 언어 모델을 학습시키는, 멀티 모달 대화를 위한 언어 모델 학습 장치
|
| 8 |
8
청구항 7에 있어서,상기 학습부는, 상기 제1 손실 함수에 기초하여 상기 제1 토큰 시퀀스에서 상기 마스크 토큰으로 대체된 토큰을 예측하되, 상기 제2 손실 함수에 기초하여 상기 제1 유사도가 커지고 상기 제2 유사도가 작아지도록 상기 언어 모델을 학습시키는, 멀티 모달 대화를 위한 언어 모델 학습 장치
|
| 9 |
9
제1 멀티 모달 대화(multi-modal dialog) 데이터에 포함된 이미지의 등장 위치에 기초하여 상기 제1 멀티 모달 대화 데이터에 포함된 하나 이상의 텍스트 메시지를 하나 이상의 메시지 그룹으로 분류하는 단계;상기 제1 멀티 모달 대화 데이터 내 상기 하나 이상의 메시지 그룹과 상기 이미지의 등장 위치를 변경하여 제2 멀티 모달 대화 데이터를 생성하는 단계;상기 제2 멀티 모달 대화 데이터 내 상기 하나 이상의 메시지 그룹에 포함된 각 텍스트 메시지를 토큰화하여 제1 토큰 시퀀스를 생성하는 단계; 상기 제2 멀티 모달 대화 데이터 내 상기 이미지의 등장 위치에 기초하여, 상기 제1 토큰 시퀀스에 하나 이상의 이미지 존재 토큰 및 하나 이상의 이미지 부존재 토큰이 삽입된 제2 토큰 시퀀스를 생성하는 단계; 상기 이미지에 대한 하나 이상의 특징 벡터를 생성하는 단계; 및상기 제2 토큰 시퀀스 및 상기 하나 이상의 특징 벡터에 기초하여 상기 제1 멀티 모달 대화 데이터 내에서 상기 이미지 및 상기 하나 이상의 메시지 그룹의 등장 위치를 예측하도록 인공 신경망 기반의 언어 모델을 학습시키는 단계를 포함하는, 멀티 모달 대화를 위한 언어 모델 학습 방법
|
| 10 |
10
청구항 9에 있어서,상기 제2 토큰 시퀀스를 생성하는 단계는, 상기 제2 멀티 모달 대화 데이터 내에서 상기 하나 이상의 텍스트 메시지 각각의 등장 직전 또는 직후 위치 중 상기 이미지가 등장하는 위치에 대응하는 위치에 상기 이미지 존재 토큰을 삽입하고, 상기 제2 멀티 모달 대화 데이터 내에서 상기 하나 이상의 텍스트 메시지 각각의 등장 직전 또는 직후 위치 중 상기 이미지가 등장하지 않는 위치에 대응하는 위치에 상기 이미지 부존재 토큰을 삽입하여 상기 제2 토큰 시퀀스를 생성하는, 멀티 모달 대화를 위한 언어 모델 학습 방법
|
| 11 |
11
청구항 9에 있어서,상기 학습시키는 단계는, 최대 우도 추정에 기초한 손실 함수를 이용하여 상기 언어 모델을 학습시키는, 멀티 모달 대화를 위한 언어 모델 학습 방법
|
| 12 |
12
청구항 11에 있어서,상기 제2 토큰 시퀀스는, 상기 하나 이상의 메시지 그룹 각각의 시작을 나타내는 특수 토큰을 포함하고,상기 학습시키는 단계는, 상기 특수 토큰 및 상기 이미지 존재 토큰 각각에 대한 상기 언어 모델의 출력 벡터에 기초하여 상기 하나 이상의 메시지 그룹 및 상기 이미지 각각의 상기 제1 멀티 모달 대화 데이터 내 등장 위치를 예측하되, 상기 손실 함수가 최대가 되도록 상기 언어 모델을 학습시키는, 멀티 모달 대화를 위한 언어 모델 학습 방법
|
| 13 |
13
제1 멀티 모달 대화(multi-modal dialog) 데이터에 포함된 이미지의 등장 위치에 기초하여 상기 제1 멀티 모달 대화 데이터에 포함된 하나 이상의 텍스트 메시지를 하나 이상의 메시지 그룹으로 분류하고, 상기 제1 멀티 모달 대화 데이터 내 상기 하나 이상의 메시지 그룹과 상기 이미지의 등장 위치를 변경하여 제2 멀티 모달 대화 데이터를 생성하는 그룹화부;상기 제2 멀티 모달 대화 데이터 내 상기 하나 이상의 메시지 그룹에 포함된 각 텍스트 메시지를 토큰화하여 제1 토큰 시퀀스를 생성하는 토큰화부; 상기 제2 멀티 모달 대화 데이터 내 상기 이미지의 등장 위치에 기초하여, 상기 제1 토큰 시퀀스에 하나 이상의 이미지 존재 토큰 및 하나 이상의 이미지 부존재 토큰이 삽입된 제2 토큰 시퀀스를 생성하는 토큰 삽입부; 상기 이미지에 대한 하나 이상의 특징 벡터를 생성하는 특징 벡터 생성부; 및상기 제2 토큰 시퀀스 및 상기 하나 이상의 특징 벡터에 기초하여 상기 제1 멀티 모달 대화 데이터 내에서 상기 이미지 및 상기 하나 이상의 메시지 그룹의 등장 위치를 예측하도록 인공 신경망 기반의 언어 모델을 학습시키는 학습부를 포함하는, 멀티 모달 대화를 위한 언어 모델 학습 장치
|
| 14 |
14
청구항 13에 있어서,상기 토큰 삽입부는, 상기 제2 멀티 모달 대화 데이터 내에서 상기 하나 이상의 텍스트 메시지 각각의 등장 직전 또는 직후 위치 중 상기 이미지가 등장하는 위치에 대응하는 위치에 상기 이미지 존재 토큰을 삽입하고, 상기 제2 멀티 모달 대화 데이터 내에서 상기 하나 이상의 텍스트 메시지 각각의 등장 직전 또는 직후 위치 중 상기 이미지가 등장하지 않는 위치에 대응하는 위치에 상기 이미지 부존재 토큰을 삽입하여 상기 제2 토큰 시퀀스를 생성하는, 멀티 모달 대화를 위한 언어 모델 학습 장치
|
| 15 |
15
청구항 13에 있어서,상기 학습부는, 최대 우도 추정에 기초한 손실 함수를 이용하여 상기 언어 모델을 학습시키는, 멀티 모달 대화를 위한 언어 모델 학습 장치
|
| 16 |
16
청구항 15에 있어서,상기 제2 토큰 시퀀스는, 상기 하나 이상의 메시지 그룹 각각의 시작을 나타내는 특수 토큰을 포함하고,상기 학습부는, 상기 특수 토큰 및 상기 이미지 존재 토큰 각각에 대한 상기 언어 모델의 출력 벡터에 기초하여 상기 하나 이상의 메시지 그룹 및 상기 이미지 각각의 상기 제1 멀티 모달 대화 데이터 내 등장 위치를 예측하되, 상기 손실 함수가 최대가 되도록 상기 언어 모델을 학습시키는, 멀티 모달 대화를 위한 언어 모델 학습 장치
|
