| 1 |
1
클라이언트로부터 수신한 이미지에 딥러닝 알고리즘을 적용하여 캡션을 생성하는 자동 캡션 생성 모듈;상기 자동 캡션 생성 모듈로부터 수신한 상기 캡션 내의 중요 단어들에 대하여, 상기 클라이언트로부터 수신한 이미지 내의 일부 영역을 매핑시켜 상기 캡션에 대한 근거를 생성하는 캡션 근거 생성 모듈; 및 상기 자동 캡션 생성 모듈로부터 수신한 상기 캡션 및 상기 캡션 근거 생성 모듈로부터 수신한 상기 캡션에 대한 근거를 시각화 처리하여 상기 클라이언트로 반환하는 시각화 모듈;을 포함하는, 이미지 캡션 자동 생성 장치
|
| 2 |
2
제 1항에 있어서, 상기 자동 캡션 생성 모듈은,상기 클라이언트로부터 수신한 이미지에 대해 CNN(convolutional neural network) 알고리즘을 사용하여 이미지 특징 벡터를 추출하는 이미지 특징 추출 모듈; 및사전에 정의된 이미지 특징 벡터와 그에 대한 실제 캡션(ground truth)을 사전에 트레이닝하고, 상기 이미지 특징 추출 모듈에서 추출한 상기 이미지 특징 벡터에 대하여 상기 트레이닝의 결과에 대응하는 상기 캡션을 생성하는 언어 생성 모듈;을 포함하는, 이미지 캡션 자동 생성 장치
|
| 3 |
3
제 1항에 있어서, 상기 캡션 근거 생성 모듈은,상기 클라이언트로부터 수신한 이미지 내에 포함된 하나 이상의 오브젝트를 인식하고, 하나 이상의 오브젝트 영역을 추출하는 오브젝트 인식 모듈; 상기 자동 캡션 생성 모듈이 생성한 상기 캡션 내의 단어들과 상기 오브젝트 인식 모듈이 추출한 상기 오브젝트 영역 각각에 대한 관련성을 딥러닝 알고리즘을 이용하여 학습하고, 상기 학습의 결과로 가중치 행렬을 출력하는 이미지 영역-단어 맵핑 모듈; 및상기 이미지 영역-단어 맵핑 모듈로부터 수신한 상기 가중치 행렬로부터 상기 오브젝트 영역 각각에 대해서 가장 높은 가중치를 갖는 단어를 추출하고, 상기 단어 각각에 대해 사후 확률(post probability)을 계산하는 해석 강화 모듈;을 포함하는, 이미지 캡션 자동 생성 장치
|
| 4 |
4
제 3항에 있어서, 상기 시각화 모듈은,상기 클라이언트로부터 수신한 이미지 내에 하나 이상의 상기 오브젝트 영역과 상기 캡션을 표시하고, 상기 캡션에 대한 근거로서 상기 오브젝트 영역에 대응하는 상기 캡션 내의 단어는 상기 오브젝트 영역과 같은 색상으로 표시하고 상기 오브젝트 영역과 같은 색을 갖는 상기 단어 사이의 관련도 값을 표시한 출력 이미지를 상기 클라이언트로 반환하는, 이미지 캡션 자동 생성 장치
|
| 5 |
5
자동 캡션 생성 모듈에 의해, 클라이언트로부터 수신한 이미지에 딥러닝 알고리즘을 적용하여 캡션을 생성하는 단계;캡션 근거 생성 모듈에 의해, 상기 자동 캡션 생성 모듈로부터 수신한 상기 캡션 내의 중요 단어들에 대하여, 상기 클라이언트로부터 수신한 이미지 내의 일부 영역을 매핑시켜 상기 캡션에 대한 근거를 생성하는 단계; 및 시각화 모듈에 의해, 상기 자동 캡션 생성 모듈로부터 수신한 상기 캡션 및 상기 캡션 근거 생성 모듈로부터 수신한 상기 캡션에 대한 근거를 시각화 처리하여 상기 클라이언트로 반환하는 단계;을 포함하는, 이미지 캡션 자동 생성 방법
|
| 6 |
6
제 5항에 있어서, 상기 캡션을 생성하는 단계는,이미지 특징 추출 모듈에 의해, 상기 클라이언트로부터 수신한 이미지에 대해 CNN(convolutional neural network) 알고리즘을 사용하여 이미지 특징 벡터를 추출하는 단계; 및언어 생성 모듈에 의해, 사전에 정의된 이미지 특징 벡터와 그에 대한 실제 캡션(ground truth)을 사전에 트레이닝하고, 상기 이미지 특징 추출 모듈에서 추출한 상기 이미지 특징 벡터에 대하여 상기 트레이닝의 결과에 대응하는 상기 캡션을 생성하는 단계;를 포함하는, 이미지 캡션 자동 생성 방법
|
| 7 |
7
제 5항에 있어서, 상기 근거를 생성하는 단계는,오브젝트 인식 모듈에 의해, 상기 클라이언트로부터 수신한 이미지 내에 포함된 하나 이상의 오브젝트를 인식하고, 하나 이상의 오브젝트 영역을 추출하는 단계; 이미지 영역-단어 맵핑 모듈에 의해, 상기 자동 캡션 생성 모듈이 생성한 상기 캡션 내의 단어들과 상기 오브젝트 인식 모듈이 추출한 상기 오브젝트 영역 각각에 대한 관련성을 딥러닝 알고리즘을 이용하여 학습하고, 상기 학습의 결과로 가중치 행렬을 출력하는 단계; 및해석 강화 모듈에 의해, 상기 이미지 영역-단어 맵핑 모듈로부터 수신한 상기 가중치 행렬로부터 상기 오브젝트 영역 각각에 대해서 가장 높은 가중치를 갖는 단어를 추출하고, 상기 단어 각각에 대해 사후 확률(post probability)을 계산하는 단계;를 포함하는, 이미지 캡션 자동 생성 방법
|
| 8 |
8
제 7항에 있어서, 상기 반환하는 단계는,상기 시각화 모듈에 의해, 상기 클라이언트로부터 수신한 이미지 내에 하나 이상의 상기 오브젝트 영역과 상기 캡션을 표시하고, 상기 시각화 모듈에 의해, 상기 캡션에 대한 근거로서 상기 오브젝트 영역에 대응하는 상기 캡션 내의 단어는 상기 오브젝트 영역과 같은 색상으로 표시하고 상기 오브젝트 영역과 같은 색을 갖는 상기 단어 사이의 관련도 값을 표시한 출력 이미지를 상기 클라이언트로 반환하는 단계;를 포함하는, 이미지 캡션 자동 생성 방법
|
| 9 |
9
컴퓨터를 이용하여 제 5항 내지 제 8항의 방법 중 어느 한 항의 방법을 실행시키기 위하여 상기 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
|
