| 1 |
1
학습장치에서 수행되는 영역설명 학습방법에 있어서, 입력된 이미지, 영역설명 및 질문으로부터 객체특징 및 언어특징을 추출하는 추출단계; 상기 객체특징 및 상기 언어특징 각각의 위치정보를 추가하는 위치인코딩단계; 상기 객체특징, 상기 언어특징 및 상기 각각의 위치정보를 기설정된 조건에 따라 결합하여 임베딩하는 임베딩단계; 및상기 임베딩단계에서 임베딩된 객체특징 임베딩, 언어특징 임베딩을 서로 연결(concatenate)하여 상기 객체특징과 상기 언어특징 간의 관계를 학습하는 학습단계를 포함하고, 상기 영역설명은, 상기 입력된 이미지의 영역 내에 있는 객체에 대한 이름정보 및 설명정보를 포함하는 것을 특징으로 하는 영역설명 학습방법
|
| 2 |
2
제1항에 있어서, 상기 추출단계에서는, 상기 영역설명 및 상기 질문에 포함되는 문장을 단어단위로 토큰화하여 상기 언어특징을 추출하고, 상기 임베딩단계에서는, 상기 객체특징과 상기 객체특징의 위치정보를 결합하고, 상기 언어특징과 상기 언어특징의 위치정보를 결합하여 임베딩하는 것을 특징으로 하는 영역설명 학습방법
|
| 3 |
3
제2항에 있어서, 상기 언어특징 임베딩은, 상기 영역설명에 대한 언어특징과 상기 언어특징의 위치정보를 결합하여 임베딩된 영역설명 언어특징 임베딩, 그리고 상기 질문에 대한 언어특징과 상기 언어특징의 위치정보를 결합하여 임베딩된 질문 언어특징 임베딩을 포함하고, 상기 임베딩단계는, 상기 영역설명에 대한 언어특징에서 기설정된 조건에 따라 선택된 하나의 단어토큰을 마스킹하여 마스킹된 상기 영역설명의 언어특징과 상기 언어특징의 위치정보를 결합하여 임베딩하는 제1 임베딩단계를 포함하고, 상기 학습단계에서는, 상기 질문 언어특징 임베딩과 상기 제1 임베딩단계에서 마스킹된 영역설명 언어특징 임베딩을 포함하는 상기 언어특징 임베딩을 상기 객체특징 임베딩과 서로 연결하는 것을 특징으로 하는 영역설명 학습방법
|
| 4 |
4
제3항에 있어서, 상기 학습단계는, 상기 객체특징과 상기 언어특징에서 마스킹되지 않은 단어토큰에 기초하여 상기 마스킹된 단어토큰을 예측하여 학습하는 제1 학습단계를 포함하는 것을 특징으로 하는 영역설명 학습방법
|
| 5 |
5
제4항에 있어서, 상기 임베딩단계는, 상기 객체특징에서 기설정된 조건에 따라 상기 이미지에 포함된 객체 중 하나를 마스킹하여 마스킹된 상기 객체특징과 상기 객체특징의 위치정보를 결합하여 임베딩하는 제2 임베딩단계를 더 포함하고, 상기 학습단계에서는, 상기 언어특징 임베딩과 상기 제2 임베딩단계에서 마스킹된 객체특징 임베딩을 서로 연결하는 것을 특징으로 하는 영역설명 학습방법
|
| 6 |
6
제6항에 있어서, 상기 학습단계는, 상기 언어특징에 기초하여 상기 마스킹된 객체를 예측하여 학습하는 제2 학습단계를 포함하는 것을 특징으로 하는 영역설명 학습방법
|
| 7 |
7
입력된 이미지, 영역설명 및 질문으로부터 객체특징 및 언어특징을 추출하는 추출부;상기 객체특징 및 상기 언어특징 각각의 위치정보를 추가하는 위치인코딩부; 상기 객체특징, 상기 언어특징 및 상기 각각의 위치정보를 기설정된 조건에 따라 결합하여 임베딩하는 임베딩부; 및 상기 임베딩단계에서 임베딩된 객체특징 임베딩, 언어특징 임베딩을 서로 연결(concat)하여 상기 객체특징과 상기 언어특징 간의 관계를 학습하는 학습부를 포함하고, 상기 영역설명은, 상기 영역설명은, 상기 입력된 이미지의 영역 내에 있는 객체에 대한 이름정보 및 설명정보를 포함하는 것을 특징으로 하는 학습장치
|
| 8 |
8
제7항에 있어서, 상기 추출부는, 상기 영역설명 및 상기 질문에 포함되는 문장을 단어단위로 토큰화하여 상기 언어특징을 추출하고,상기 임베딩부는, 상기 객체특징과 상기 객체특징의 위치정보를 결합하고, 상기 언어특징과 상기 언어특징의 위치정보를 연결하여 임베딩하는 것을 특징으로 하는 학습장치
|
| 9 |
9
제8항에 있어서, 상기 언어특징 임베딩은, 상기 영역설명에 대한 언어특징과 상기 언어특징의 위치정보를 결합하여 임베딩된 영역설명 언어특징 임베딩, 그리고 상기 질문에 대한 언어특징과 상기 언어특징의 위치정보를 결합하여 임베딩된 질문 언어특징 임베딩을 포함하고, 상기 임베딩부는, 상기 영역설명에 대한 언어특징에서 기설정된 조건에 따라 선택된 하나의 단어토큰을 마스킹하여 상기 마스킹된 상기 영역설명의 언어특징과 상기 언어특징의 위치정보를 결합하여 임베딩하고, 상기 학습부는, 상기 질문 언어특징 임베딩 및 마스킹된 영역설명 언어특징 임베딩을 포함하는 상기 언어특징 임베딩을 상기 객체특징 임베딩과 서로 연결하는 것을 특징으로 하는 영역설명 학습장치
|
| 10 |
10
제9항에 있어서, 상기 학습부는, 상기 객체특징과 상기 언어특징에서 마스킹되지 않은 단어토큰에 기초하여 상기 마스킹된 단어토큰을 예측하여 학습하는 것을 특징으로 하는 영역설명 학습장치
|
