| 1 |
1
문장 기반 스케치 추천 장치가 스케치를 추천하는 방법에 있어서,적어도 하나의 입력 문장을 획득하는 단계;유사 분석을 통해 스케치 데이터베이스로부터 상기 입력 문장과 연관된 적어도 하나의 스케치 데이터를 결정하는 단계; 및상기 결정된 적어도 하나의 스케치 데이터를 출력하는 단계;를 포함하고,상기 스케치 데이터베이스는,이미지 데이터와 상기 이미지 데이터와 연관된 스케치 데이터를 매핑하여 저장하는, 문장 기반 스케치 추천 방법
|
| 2 |
2
제 1 항에 있어서,상기 적어도 하나의 입력 문장을 획득하는 단계는,상기 입력 문장 중 적어도 일부와 관련된 적어도 하나의 추가 문장을 생성하는 단계; 및상기 적어도 하나의 추가 문장을 상기 입력 문장에 추가하는 단계;를 포함하는, 문장 기반 스케치 추천 방법
|
| 3 |
3
제 1 항에 있어서,딥러닝 모델을 기반으로 상기 이미지 데이터들로부터 각 상기 이미지 데이터 속 물체를 묘사하는 스케치 데이터를 생성하여 상기 스케치 데이터베이스를 구축하는 단계를 더 포함하는, 문장 기반 스케치 추천 방법
|
| 4 |
4
제 3 항에 있어서,상기 스케치 데이터베이스를 구축하는 단계는,영화 트레일러 데이터셋에 대해 크롤링을 수행하여 영화 장면 이미지 데이터들을 캡처하는 단계;캡쳐된 상기 영화 장면 이미지 데이터들에 대해 물체인식 딥러닝 모델을 이용하여 관심물체가 인식된 이미지 데이터들을 검출하는 단계;상기 검출된 이미지 데이터에 물체검출 딥러닝 모델을 적용하여 상기 관심물체를 세그멘테이션하는 단계;상기 세그멘테이션된 관심물체에 대해 GAN 모델을 적용하여 스케치 데이터를 생성하는 단계;상기 이미지 데이터에 대해 CLIP 모델의 이미지 임베딩 기능을 적용하여 이미지 벡터를 생성하는 단계; 및상기 이미지 데이터에 대응하는 상기 이미지 벡터를 상기 스케치 데이터와 매핑하여 상기 스케치 데이터베이스에 저장하는 단계;를 포함하는, 문장 기반 스케치 추천 방법
|
| 5 |
5
제 1 항에 있어서,상기 적어도 하나의 스케치 데이터를 출력하는 단계는,CLIP 모델의 텍스트 임베딩 기능을 통해 상기 적어도 하나의 입력 문장을 각각 텍스트 벡터로 변환하는 단계; 및상기 각 텍스트 벡터와 상기 이미지 벡터의 코사인유사도에 기반하여 상기 입력 문장과 연관된 적어도 하나의 스케치 데이터를 결정하는 단계;를 포함하는, 문장 기반 스케치 추천 방법
|
| 6 |
6
제 2 항에 있어서,상기 추가 문장을 생성하는 단계는,GPT-2 모델을 기반으로 상기 적어도 하나의 입력 문장과 문맥상 인과관계, 상관관계, 동의관계, 서술관계, 종속관계 및 참조관계 중 적어도 하나의 관계에 해당하는 상기 추가 문장을 생성하는, 문장 기반 스케치 추천 방법
|
| 7 |
7
제 5 항에 있어서,상기 출력된 적어도 하나의 스케치 데이터에 대한 사용자의 선택을 기반으로 상기 CLIP 모델을 파인 튜닝(Finetuning)하는 단계를 더 포함하는, 문장 기반 스케치 추천 방법
|
| 8 |
8
제 1 항에 있어서,상기 스케치 데이터를 출력하는 단계는,상기 입력 문장과 연관된 적어도 하나의 스케치 데이터를 상기 입력 문장이 복수일 경우, 상기 입력 문장의 획득 순서에 따라 순차적으로 연결하여 제공하는, 문장 기반 스케치 추천 방법
|
| 9 |
9
제 1 항에 있어서,상기 적어도 하나의 스케치 데이터를 출력하는 단계는,상기 적어도 하나의 스케치 데이터를 사용자 단말의 화면에 상기 입력 문장의 획득 순서와 동일한 순서로 출력시키는, 문장 기반 스케치 추천 방법
|
| 10 |
10
제 9 항에 있어서,상기 적어도 하나의 스케치 데이터를 출력하는 단계 이후,상기 사용자 단말로부터 상기 사용자 단말을 통해 상기 적어도 하나의 스케치 데이터에 대해 발생된 수정 사항을 획득하는 단계;상기 획득된 수정 사항을 상기 스케치 데이터에 반영하여 최종 스케치를 결정하는 단계; 및상기 최종 스케치에 기반하여 스토리보드를 생성하는 단계를 더 포함하는, 문장 기반 스케치 추천 방법
|
| 11 |
11
기 학습된 인공지능 모델에 대한 정보를 저장하는 메모리부; 및딥러닝 모델을 기반으로 이미지 데이터들로부터 각 상기 이미지 데이터 속 물체를 묘사하는 스케치 데이터를 생성하여 스케치 데이터베이스에 저장하는 프로세서;를 포함하고,상기 프로세서는,유사 분석을 통해 상기 스케치 데이터베이스로부터 입력 문장과 연관된 적어도 하나의 스케치 데이터를 결정하는, 문장 기반 스케치 추천 장치
|
| 12 |
12
제 11 항에 있어서,상기 프로세서는, 상기 입력 문장 중 적어도 일부와 관련된 적어도 하나의 추가 문장을 생성하고, 적어도 하나의 상기 추가 문장을 상기 입력 문장에 추가하는, 문장 기반 스케치 추천 장치
|
| 13 |
13
제 12 항에 있어서,상기 프로세서는,영화 트레일러 데이터셋에 대해 크롤링을 수행하여 영화 장면 이미지 데이터들을 캡처하고, 캡쳐된 상기 영화 장면 이미지 데이터들에 대해 물체인식 딥러닝 모델을 이용하여 관심물체가 인식된 이미지 데이터를 검출하며, 상기 검출된 이미지 데이터에 물체검출 딥러닝 모델을 적용하여 상기 관심물체를 세그멘테이션하고,상기 세그멘테이션된 관심물체에 대해 GAN 모델을 적용하여 스케치 데이터를 생성하며, 상기 이미지 데이터에 대해 CLIP 모델의 이미지 임베딩 기능을 적용하여 이미지 벡터를 생성하고, 상기 이미지 데이터에 대응하는 상기 이미지 벡터를 상기 스케치 데이터와 매핑하여 상기 스케치 데이터베이스에 저장하는, 문장 기반 스케치 추천 장치
|
| 14 |
14
제 11 항에 있어서,상기 프로세서는,CLIP 모델의 텍스트 임베딩 기능을 통해 상기 적어도 하나의 입력 문장을 각각 텍스트 벡터로 변환하며, 상기 각 텍스트 벡터와 상기 이미지 벡터의 코사인유사도에 기반하여 상기 입력 문장과 연관된 적어도 하나의 스케치 데이터를 결정하는, 문장 기반 스케치 추천 방법
|
| 15 |
15
제 12 항에 있어서,상기 프로세서는, GPT-2 모델을 기반으로 상기 적어도 하나의 입력 문장과 문맥상 인과관계, 상관관계, 동의관계, 서술관계, 종속관계 및 참조관계 중 적어도 하나에 해당하는 상기 추가 문장을 생성하는, 문장 기반 스케치 추천 장치
|
| 16 |
16
제 14 항에 있어서,상기 프로세서는,출력된 상기 적어도 하나의 스케치 데이터에 대한 사용자의 선택을 기반으로 상기 CLIP 모델을 파인 튜닝(Fine tuning)하는, 문장 기반 스케치 추천 장치
|
| 17 |
17
제 11 항에 있어서,상기 프로세서는,상기 입력 문장과 연관된 적어도 하나의 스케치 데이터를 상기 입력 문장이 복수일 경우, 상기 입력 문장의 획득 순서에 따라 순차적으로 연결하여 제공하는, 문장 기반 스케치 추천 장치
|
| 18 |
18
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,적어도 하나의 입력 문장을 획득하는 단계; 유사 분석을 통해 스케치 데이터베이스로부터 상기 입력 문장과 연관된 적어도 하나의 스케치 데이터를 결정하는 단계; 및상기 결정된 적어도 하나의 스케치 데이터를 출력하는 단계;를 수행하도록 구성된 적어도 하나의 명령어를 포함하고,상기 스케치 데이터베이스는,이미지 데이터와 상기 이미지 데이터와 연관된 스케치 데이터를 매핑하여 저장하는, 컴퓨터 판독 가능한 기록매체
|
