| 1 |
1
변환하고자 하는 적어도 하나의 객체를 포함하는 입력 이미지를 입력 받아, 상기 입력 이미지를 인코딩하는 이미지 인코더;상기 입력 이미지와 관련된 자연어 문장을 입력 받아, 상기 자연어 문장을 인코딩하는 텍스트 인코더;상기 입력된 자연어 문장에 따라 상기 입력 이미지의 적어도 하나의 객체를 변환하는 이미지-자연어 변환부; 및상기 변환된 객체를 포함하되, 상기 입력 이미지에서 상기 변환된 객체의 영역을 제외한 나머지 영역은 보존된 변환 이미지를 생성하는 변환 이미지 생성부;를 포함하는 자연어 문장을 기반으로 하는 변환 이미지 생성 장치
|
| 2 |
2
제1항에 있어서, 상기 이미지 인코더는, 컨벌루션 레이어(Convolution layer)를 이용하여 상기 입력 이미지에 대한 이미지 특징 맵을 포함하는 이미지 특징 블록을 생성하는 것을 특징으로 하는 자연어 문장을 기반으로 하는 변환 이미지 생성 장치
|
| 3 |
3
제1항에 있어서,상기 텍스트 인코더는,순환 신경망(RNN) 학습을 통해 상기 자연어 문장에 대한 자연어 특징 값을 포함하는 자연어 특징 블록을 생성하는 것을 특징으로 하는 자연어 문장을 기반으로 하는 변환 이미지 생성 장치
|
| 4 |
4
제3항에 있어서, 상기 텍스트 인코더는, 상기 자연어 문장을 의미론적 분석을 통해 단어 요소들로 분절하는 단어 요소 분절부; 및 상기 분절된 단어 요소 각각에 대한 단어 특징 값들을 생성하는 단어 특징 값 생성부;를 더 포함하고,상기 텍스트 인코더는, 상기 단어 특징 값 생성부로부터 생성된 단어 특징 값들을 포함하는 단어 특징 블록들을 생성하고, 상기 자연어 특징 블록은 상기 단어 특징 블록들을 포함하는 것을 특징으로 하는 자연어 문장을 기반으로 하는 변환 이미지 생성 장치
|
| 5 |
5
제3항에 있어서,상기 이미지 인코더는, 컨벌루션 레이어를 이용하여 상기 입력 이미지에 대한 이미지 특징 맵을 포함하는 이미지 특징 블록을 생성하고, 상기 이미지-자연어 변환부는, 상기 이미지 특징 맵의 스케일(scale)을 고려하여 상기 자연어 특징 블록을 확장시킨 자연어 특징 블록을 생성하고, 상기 이미지 특징 블록과 상기 자연어 특징 블록을 결합하여 이미지-자연어 특징 블록을 생성하는 특징 값 결합부를 더 포함하는 것을 특징으로 하는 자연어 문장을 기반으로 하는 변환 이미지 생성 장치
|
| 6 |
6
제5항에 있어서,상기 이미지-자연어 변환부는, 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 복수의 컨벌루션 레이어들을 이용하는 레지듀얼 블록부를 더 포함하고,상기 레지듀얼 블록부는 상기 이미지-자연어 특징 블록을 입력 받아 레지듀얼 변환을 위한 컨벌루션 레이어를 적용하여 레지듀얼 변환 특징 블록을 생성하는 것을 특징으로 하는 자연어 문장을 기반으로 하는 변환 이미지 생성 장치
|
| 7 |
7
제6항에 있어서, 상기 이미지-자연어 변환부, 상기 이미지 특징 블록과 상기 레지듀얼 변환 특징 블록을 합산하여 합산된 합산 특징 블록을 생성하는 합산부;를 더 포함하고,상기 변환 이미지 생성부는, 상기 합산부에 의해 생성된 합산 특징 블록을 디코딩하여 상기 변환 이미지를 생성하는 것을 특징으로 하는 자연어 문장을 기반으로 하는 변환 이미지 생성 장치
|
| 8 |
8
이미지 인코더가 변환하고자 하는 적어도 하나의 객체를 포함하는 입력 이미지를 입력 받아, 컨벌루션 레이어(Convolution layer)를 이용하여 상기 입력 이미지에 대한 이미지 특징 맵을 포함하는 이미지 특징 블록을 생성 생성함에 따라 상기 입력 이미지를 인코딩하는 단계;텍스트 인코더가 상기 입력 이미지와 관련된 자연어 문장을 입력 받아, 순환 신경망(RNN) 학습을 통해 상기 자연어 문장에 대한 자연어 특징 값을 포함하는 자연어 특징 블록을 생성함에 따라 상기 자연어 문장을 인코딩하는 단계;이미지-자연어 변환부가 상기 입력된 자연어 문장에 따라 상기 입력 이미지의 적어도 하나의 객체를 변환하는 단계; 및변환 이미지 생성부가 상기 변환된 객체를 포함하되, 상기 입력 이미지에서 상기 변환된 객체의 영역을 제외한 나머지 영역은 보존된 변환 이미지를 생성하는 단계;를 포함하는 자연어 문장을 기반으로 하는 변환 이미지 생성 방법
|
| 9 |
9
제8항에 있어서, 상기 자연어 문장을 인코딩하는 단계는,상기 자연어 문장을 의미론적 분석을 통해 단어 요소들로 분절하는 단계; 및상기 분절된 단어 요소 각각에 대한 단어 특징 값들을 생성하는 단계;를 더 포함하고,상기 자연어 문장을 인코딩하는 단계는, 상기 생성된 단어 특징 값들을 포함하는 자연어 특징 블록을 생성하고, 상기 자연어 특징 블록은 상기 단어 특징 값들을 포함하는 것을 특징으로 하는 자연어 문장을 기반으로 하는 변환 이미지 생성 방법
|
| 10 |
10
제9항에 있어서,상기 입력 이미지의 적어도 하나의 객체를 변환하는 단계는, 상기 이미지 특징 맵의 스케일(scale)을 고려하여 상기 자연어 특징 블록을 확장시킨 자연어 특징 블록을 생성하고, 상기 이미지 특징 블록과 상기 자연어 특징 블록을 결합하여 이미지-자연어 특징 블록을 생성하는 단계; 및상기 이미지-자연어 특징 블록을 입력 받아 레지듀얼 변환을 위한 컨벌루션 레이어를 적용하여 레지듀얼 변환 특징 블록을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 자연어 문장을 기반으로 하는 변환 이미지 생성 방법
|
| 11 |
11
변환하고자 하는 적어도 하나의 객체를 포함하는 입력 이미지를 입력 받아, 상기 입력 이미지를 인코딩하는 제1 이미지 인코더; 상기 입력 이미지와 관련된 자연어 문장을 입력 받아, 상기 자연어 문장을 인코딩하는 제1 텍스트 인코더; 상기 입력된 자연어 문장에 따라 상기 입력 이미지의 적어도 하나의 객체를 변환하는 이미지-자연어 변환부; 및 상기 변환된 객체를 포함하되, 상기 입력 이미지에서 상기 변환된 객체의 영역을 제외한 나머지 영역은 보존된 변환 이미지를 생성하는 변환 이미지 생성부;를 포함하는 생성기; 및상기 생성기로부터 생성된 변환 이미지를 입력 받아, 상기 변환 이미지를 인코딩하는 제2 이미지 인코더; 상기 변환 이미지를 검증하기 위한 상기 자연어 문장을 입력 받아, 상기 자연어 문장을 인코딩하는 제2 텍스트 인코더; 상기 인코딩된 변환 이미지 및 인코딩된 자연어 문장을 이용하여 상기 변환 이미지를 검증하기 위한 국소 매칭 스코어를 산출하는 자연어 기반 구별부; 및 상기 국소 매칭 스코어를 고려하여 상기 변환 이미지를 재변환하기 위한 재변환여부를 결정하는 재변환여부 결정부;를 포함하는 검증기;를 포함하는 변환 이미지 생성 시스템
|
| 12 |
12
제11항에 있어서,상기 제2 이미지 인코더는, 컨벌루션 레이어(Convolution layer)를 이용하여 상기 변환 이미지에 대한 변환 이미지 특징 맵을 포함하는 변환 이미지 특징 블록을 생성하고,상기 변환 이미지 특징 맵은, 상기 컨벌루션 레이어에 의해 컨벌루션 변환된 객체별 이미지 특징 맵들을 포함하는 것을 특징으로 하는 변환 이미지 생성 시스템
|
| 13 |
13
제12항에 있어서,상기 제2 텍스트 인코더는, 상기 자연어 문장을 의미론적 분석을 통해 단어 요소들로 분절하고, 순환 신경망(RNN) 학습을 통해 상기 분절된 단어 요소 각각에 대한 단어 특징 값을 생성하는 것을 특징으로 하는 변환 이미지 생성 시스템
|
| 14 |
14
제13항에 있어서,상기 자연어 기반 구별부는, 상기 제2 텍스트 인코더로부터 생성된 각 단어 특징 값과 상기 각 객체별 이미지 특징 맵을 매칭함에 따라 상기 국소 매칭 스코어를 산출하는 것을 특징으로 하는 변환 이미지 생성 시스템
|
| 15 |
15
컴퓨터에 이미지 인코더가 변환하고자 하는 적어도 하나의 객체를 포함하는 입력 이미지를 입력 받아, 컨벌루션 레이어(Convolution layer)를 이용하여 상기 입력 이미지에 대한 이미지 특징 맵을 포함하는 이미지 특징 블록을 생성 생성함에 따라 상기 입력 이미지를 인코딩하는 단계;텍스트 인코더가 상기 입력 이미지와 관련된 자연어 문장을 입력 받아, 순환 신경망(RNN) 학습을 통해 상기 자연어 문장에 대한 자연어 특징 값을 포함하는 자연어 특징 블록을 생성함에 따라 상기 자연어 문장을 인코딩하는 단계;이미지-자연어 변환부가 상기 입력된 자연어 문장에 따라 상기 입력 이미지의 적어도 하나의 객체를 변환하는 단계; 및변환 이미지 생성부가 상기 변환된 객체를 포함하되, 상기 입력 이미지에서 상기 변환된 객체의 영역을 제외한 나머지 영역은 보존된 변환 이미지를 생성하는 단계;를 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램
|
