| 1 |
1
학습 이미지의 예시 캡션들로부터 의미 정보(Distinctive-attribute)를 추출하는 단계;추출된 의미 정보와 학습 이미지 쌍을 이용하여, 이미지로부터 의미 정보를 예측하기 위한 제1 뉴럴 네트워크를 학습하는 단계;학습된 제1 뉴럴 네트워크에 학습 이미지를 입력하여, 의미 정보를 추론하는 단계; 및추론된 의미 정보와 학습 이미지 쌍을 이용하여, 이미지의 캡션을 생성하기 위한 제2 뉴럴 네트워크를 학습하는 단계;를 포함하고,제1 뉴럴 네트워크는,학습 이미지의 예시 캡션들로부터 추출된 의미 정보와 학습 이미지 쌍으로 학습되어, 이미지로부터 의미 정보를 추론하는 뉴럴 네트워크이고,제2 뉴럴 네트워크는,제1 뉴럴 네트워크에 의해 추론된 의미 정보와 학습 이미지 쌍으로 학습되어, 이미지로부터 이미지의 캡션을 생성하는 뉴럴 네트워크이며,추출 단계는,예시 캡션들에 포함된 단어들 중 일부를 선택하는 단계;선택 단계에서 선택된 단어들 각각이 학습 이미지의 특성을 나타내는 정도를 점수로 계산하는 단계; 및단어들과 해당 점수들의 대응 관계를 의미 정보로 출력하는 단계;를 포함하고,선택 단계는,단어들이 학습 이미지 이외의 다른 학습 이미지의 예시 캡션들에 등장하는 빈도를 기초로, 단어들 중 정해진 개수를 선택하는 것을 특징으로 하는 자동 이미지 캡션 생성 방법
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
청구항 1에 있어서,선택 단계는,예시 캡션들에 포함된 단어들을 전처리하여 어근들만을 추출하고, 추출된 어근들 중 정해진 개수를 선택하는 것을 특징으로 하는 자동 이미지 캡션 생성 방법
|
| 5 |
5
삭제
|
| 6 |
6
청구항 1에 있어서,계산 단계는,단어들에 대해, 학습 이미지의 예시 캡션들에 등장하는 횟수에 비례하도록 점수를 부여하는 것을 특징으로 하는 자동 이미지 캡션 생성 방법
|
| 7 |
7
청구항 6에 있어서,계산 단계는,단어들에 대해, 다른 학습 이미지의 예시 캡션들에 등장하는 횟수에 반비례하도록 점수를 부여하는 것을 특징으로 하는 자동 이미지 캡션 생성 방법
|
| 8 |
8
청구항 1에 있어서,계산 단계는,단어들에 대해, 다른 학습 이미지의 예시 캡션들에 등장하는 횟수에 반비례하도록 점수를 부여하는 것을 특징으로 하는 자동 이미지 캡션 생성 방법
|
| 9 |
9
청구항 1에 있어서,제2 뉴럴 네트워크 학습 단계 이후에, 캡션을 생성하고자 하는 추론 이미지를 입력 받는 단계;입력된 추론 이미지를 학습된 제1 뉴럴 네트워크에 입력하여, 의미 정보를 추론하는 단계;추론된 의미 정보와 추론 이미지 쌍을 학습된 제2 뉴럴 네트워크에 입력하여, 캡션을 생성하는 단계;를 포함하는 것을 특징으로 하는 자동 이미지 캡션 생성 방법
|
| 10 |
10
학습 이미지의 예시 캡션들로부터 의미 정보(Distinctive-attribute)를 추출하는 단계;추출된 의미 정보와 학습 이미지 쌍을 이용하여, 이미지로부터 의미 정보를 예측하기 위한 제1 뉴럴 네트워크를 학습하는 단계;학습된 제1 뉴럴 네트워크에 학습 이미지를 입력하여, 의미 정보를 추론하는 단계; 및추론된 의미 정보와 학습 이미지 쌍을 이용하여, 이미지의 캡션을 생성하기 위한 제2 뉴럴 네트워크를 학습하는 단계;를 포함하고,제1 뉴럴 네트워크는,학습 이미지의 예시 캡션들로부터 추출된 의미 정보와 학습 이미지 쌍으로 학습되어, 이미지로부터 의미 정보를 추론하는 뉴럴 네트워크이고,제2 뉴럴 네트워크는,제1 뉴럴 네트워크에 의해 추론된 의미 정보와 학습 이미지 쌍으로 학습되어, 이미지로부터 이미지의 캡션을 생성하는 뉴럴 네트워크이며,추출 단계는,예시 캡션들에 포함된 단어들 중 일부를 선택하는 단계;선택 단계에서 선택된 단어들 각각이 학습 이미지의 특성을 나타내는 정도를 점수로 계산하는 단계; 및단어들과 해당 점수들의 대응 관계를 의미 정보로 출력하는 단계;를 포함하고,선택 단계는,단어들이 학습 이미지 이외의 다른 학습 이미지의 예시 캡션들에 등장하는 빈도를 기초로, 단어들 중 정해진 개수를 선택하는 것을 특징으로 하는 자동 이미지 캡션 생성 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록 매체
|
| 11 |
11
캡션을 생성하고자 하는 추론 이미지를 입력 받는 단계;입력된 추론 이미지를 학습된 제1 뉴럴 네트워크에 입력하여, 의미 정보를 추론하는 단계;추론된 의미 정보와 추론 이미지 쌍을 학습된 제2 뉴럴 네트워크에 입력하여, 캡션을 생성하는 단계;를 포함하고,제1 뉴럴 네트워크는,학습 이미지의 예시 캡션들로부터 추출된 의미 정보(Distinctive-attribute)와 학습 이미지 쌍으로 학습되어, 이미지로부터 의미 정보를 추론하는 뉴럴 네트워크이고,제2 뉴럴 네트워크는,제1 뉴럴 네트워크에 의해 추론된 의미 정보와 학습 이미지 쌍으로 학습되어, 이미지로부터 이미지의 캡션을 생성하는 뉴럴 네트워크이며,의미 정보는,학습 이미지의 예시 캡션들에 포함된 단어들 중 일부를 선택하고, 선택된 단어들 각각이 학습 이미지의 특성을 나타내는 정도를 점수로 계산한 다음, 단어들과 해당 점수들의 대응 관계를 출력하여 추출하되, 단어들이 학습 이미지 이외의 다른 학습 이미지의 예시 캡션들에 등장하는 빈도를 기초로 단어들 중 정해진 개수를 선택하는 것을 특징으로 하는 자동 이미지 캡션 생성 방법
|
| 12 |
12
캡션을 생성하고자 하는 추론 이미지를 입력 받는 통신부; 및입력된 추론 이미지를 학습된 제1 뉴럴 네트워크에 입력하여 의미 정보를 추론하고, 추론된 의미 정보와 추론 이미지 쌍을 학습된 제2 뉴럴 네트워크에 입력하여 캡션을 생성하는 프로세서;를 포함하고,제1 뉴럴 네트워크는,학습 이미지의 예시 캡션들로부터 추출된 의미 정보(Distinctive-attribute)와 학습 이미지 쌍으로 학습되어, 이미지로부터 의미 정보를 추론하는 뉴럴 네트워크이고,제2 뉴럴 네트워크는,제1 뉴럴 네트워크에 의해 추론된 의미 정보와 학습 이미지 쌍으로 학습되어, 이미지로부터 이미지의 캡션을 생성하는 뉴럴 네트워크이며,의미 정보는,학습 이미지의 예시 캡션들에 포함된 단어들 중 일부를 선택하고, 선택된 단어들 각각이 학습 이미지의 특성을 나타내는 정도를 점수로 계산한 다음, 단어들과 해당 점수들의 대응 관계를 출력하여 추출하되, 단어들이 학습 이미지 이외의 다른 학습 이미지의 예시 캡션들에 등장하는 빈도를 기초로 단어들 중 정해진 개수를 선택하는 것을 특징으로 하는 자동 이미지 캡션 생성 시스템
|
