| 1 |
1
이미지와 상기 이미지를 설명하는 정답 문장을 입력받는 단계;오차에 기초하여 상기 이미지에 대해 학습을 수행하여 학습 문장을 생성하는 단계;생성된 학습 문장과 상기 정답 문장의 문장 유사도를 판단하는 단계;상기 학습 문장에 포함된 명사들과 상기 정답 문장에 포함된 명사들 사이의 명사 유사도를 판단하는 단계; 및상기 문장 유사도와 상기 명사 유사도를 이용하여 상기 오차를 계산하는 단계;를 포함하는 강화학습을 이용한 이미지 캡션 생성 방법
|
| 2 |
2
제1항에 있어서, 상기 학습 문장을 생성하는 단계는,상기 이미지에 대해 자연어 처리를 위한 CNN(convolutional neural network) 학습 모델을 이용하여 학습을 수행하여 자질들을 추출하는 단계; 및오차에 기초하여 추출된 자질들을 이용하여 LSTM 기법을 기반으로 상기 학습 문장을 생성하는 단계;를 포함하는 것을 특징으로 하는 강화학습을 이용한 이미지 캡션 생성 방법
|
| 3 |
3
제1항에 있어서, 상기 명사 유사도를 판단하는 단계는,상기 학습 문장에 포함된 제1 명사들을 추출하고, 추출된 제1 명사들을 이용하여 제1 멀티 핫 벡터를 생성하는 단계; 상기 정답 문장에 포함된 제2 명사들을 추출하고, 추출된 제2 명사들을 이용하여 제2 멀티 핫 벡터를 생성하는 단계; 및상기 제1 멀티 핫 벡터와 상기 제2 멀티 핫 벡터 사이의 유사도를 계산하여 상기 명사 유사도를 판단하는 단계;를 포함하는 것을 특징으로 하는 강화학습을 이용한 이미지 캡션 생성 방법
|
| 4 |
4
제3항에 있어서,코사인 유사도(cosine similarity) 기법을 이용하여 상기 제1 멀티 핫 벡터와 상기 제2 멀티 핫 벡터 사이의 유사도를 계산하는 것을 특징으로 하는 강화학습을 이용한 이미지 캡션 생성 방법
|
| 5 |
5
제1항에 있어서, 상기 오차를 계산하는 단계는,상기 문장 유사도를 이용하여 제1 오차를 계산하고, 상기 명사 유사도를 이용하여 제2 오차를 계산하는 단계;상기 제1 오차와 상기 제2 오차 각각에 대해 정규화를 수행하는 단계; 및정규화된 제1 오차와 정규화된 제2 오차를 이용하여 상기 오차를 계산하는 것을 특징으로 하는 강화학습을 이용한 이미지 캡션 생성 방법
|
| 6 |
6
컴퓨터로 구현되는 시스템에 있어서,컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,이미지와 상기 이미지를 설명하는 정답 문장을 입력받고, 오차에 기초하여 상기 이미지에 대해 학습을 수행하여 학습 문장을 생성하는 문장 생성부; 및생성된 학습 문장과 상기 정답 문장의 문장 유사도를 판단하고, 상기 학습 문장과 상기 정답 문장 각각에 포함된 명사들 사이의 명사 유사도를 판단하고, 상기 문장 유사도와 상기 명사 유사도를 이용하여 상기 오차를 계산하는 오차 계산부를 포함하는 시스템
|
| 7 |
7
제6항에 있어서, 상기 오차 계산부는,상기 학습 문장과 상기 정답 문장의 문장 유사도를 판단하는 문장 유사도 평가부;상기 학습 문장에 포함된 제1 명사들을 추출하고, 상기 정답 문장에 포함된 제2 명사들을 추출하는 명사 추출부;추출된 제1 명사들을 이용하여 제1 멀티 핫 벡터를 생성하고, 추출된 제2 명사들을 이용하여 제2 멀티 핫 벡터를 생성하는 멀티 핫 벡터 생성부; 및상기 제1 멀티 핫 벡터와 상기 제2 멀티 핫 벡터 사이의 유사도를 계산하여 상기 명사 유사도를 판단하는 명사 유사도 평가부;를 포함하는 시스템
|
| 8 |
8
제7항에 있어서, 상기 오차 계산부는 정규화부;를 더 포함하고,상기 문장 유사도 평가부는 상기 문장 유사도를 이용하여 제1 오차를 계산하고, 상기 명사 유사도 평가부는 상기 명사 유사도를 이용하여 제2 오차를 계산하고,상기 정규화부는 상기 제1 오차와 상기 제2 오차 각각에 대해 정규화를 수행하고, 정규화된 제1 오차와 정규화된 제2 오차를 이용하여 최종 오차를 계산하고, 계산된 최종 오차를 상기 오차로서 피드백하는 것을 특징으로 하는 시스템
|
| 9 |
9
제8항에 있어서, 상기 오차 계산부는,교차 엔트로피 오차(cross-entropy error(CEE)) 함수인 하기의 [수학식 1]을 이용하여 상기 문장 유사도를 판단하는 것을 특징으로 하는 시스템
|
| 10 |
10
제7항에 있어서, 상기 명사 유사도 평가부는,상기 제1 멀티 핫 벡터와 상기 제2 멀티 핫 벡터 사이의 코사인 유사도(cosine similarity)를 계산하는 함수인 하기의 [수학식 2]를 이용하여 상기 명사 유사도를 판단하는 것을 특징으로 하는 시스템
|
