맞춤기술찾기

이전대상기술

처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법

  • 기술번호 : KST2020012666
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 실시예들은 시맨틱 코드를 이용하여 시맨틱 특징을 조절하고, 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 통하여 처음 보는(Unseen) 클래스의 이미지를 생성함으로써, 사용된(Seen) 클래스 및 처음 보는(Unseen) 클래스 간의 데이터 불균형 문제를 해결하고 제로샷 인식 성능을 향상시킬 수 있는 제로샷 이미지 생성 방법 및 장치를 제공한다.
Int. CL G06T 3/40 (2006.01.01) G06T 1/20 (2018.01.01) G06N 3/08 (2006.01.01)
CPC G06T 3/4076(2013.01) G06T 3/4076(2013.01) G06T 3/4076(2013.01) G06T 3/4076(2013.01) G06T 3/4076(2013.01) G06T 3/4076(2013.01)
출원번호/일자 1020190049616 (2019.04.29)
출원인 연세대학교 산학협력단
등록번호/일자 10-2149184-0000 (2020.08.24)
공개번호/일자
공고번호/일자 (20200828) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.04.29)
심사청구항수 13

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 변혜란 서울특별시 서대문구
2 김호성 서울특별시 서대문구
3 이제욱 서울특별시 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인우인 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 서울특별시 서대문구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.04.29 수리 (Accepted) 1-1-2019-0437833-02
2 선행기술조사의뢰서
Request for Prior Art Search
2019.06.14 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2019.09.06 발송처리완료 (Completion of Transmission) 9-6-2020-0057045-66
4 의견제출통지서
Notification of reason for refusal
2020.05.26 발송처리완료 (Completion of Transmission) 9-5-2020-0358727-44
5 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.06.19 수리 (Accepted) 1-1-2020-0633614-76
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.06.19 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0633616-67
7 등록결정서
Decision to grant
2020.08.20 발송처리완료 (Completion of Transmission) 9-5-2020-0568164-64
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
컴퓨팅 디바이스에 의한 제로샷 이미지 생성 방법에 있어서,시맨틱 특징을 가변한 시맨틱 코드를 생성하는 단계; 및상기 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성하는 단계를 포함하며,상기 제로샷 이미지 생성 모델은 상기 시맨틱 코드와 랜덤 노이즈 분포를 입력받고 상기 제로샷 이미지를 출력하며, 제1 적대적 이미지 생성 모델에 제1 업샘플링 모델이 연결되고, 상기 제1 업샘플링 모델에 제2 적대적 이미지 생성 모델이 연결되고, 상기 제2 적대적 이미지 생성 모델에 제2 업샘플링 모델이 연결되고, 상기 제2 업샘플링 모델에 제3 적대적 이미지 생성 모델이 연결되며, 상기 제1 적대적 이미지 생성 모델, 상기 제2 적대적 이미지 생성 모델, 및 상기 제3 적대적 이미지 생성 모델을 순차적으로 거치면서 저해상도의 이미지를 고해상도의 이미지로 변환하는 것을 특징으로 하는 제로샷 이미지 생성 방법
2 2
제1항에 있어서,상기 시맨틱 코드를 생성하는 단계는,특성 정보(Attribute)의 평균과 표준 편차를 산출하고, 정규 분포와 조절된 가우시안 분포 간의 엔트로피 변화를 산출하는 시맨틱 코드 조절 모델을 이용하여, 상기 특성 정보에 무작위성을 증가시킨 시맨틱 코드를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 방법
3 3
삭제
4 4
제1항에 있어서,상기 적대적 이미지 생성 모델은 생성 모델과 판별 모델이 상호 작용하는 적대적 생성 신경망에서 상기 생성 모델의 생성 손실 함수와 상기 판별 모델의 판별 손실 함수를 최적화하여, 처음 보는 클래스의 이미지를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 방법
5 5
제4항에 있어서,상기 생성 모델의 생성 손실 함수는 (i) 제1 조건부 생성 손실 함수, (ii) 제1 조건부 분류 손실 함수, (iii) 제1 무조건부 생성 손실 함수, 및 (iv) 제1 무조건부 분류 손실 함수가 결합되며,상기 제1 조건부 생성 손실 함수와 상기 제1 조건부 분류 손실 함수는 특성 정보가 적용된 것을 특징으로 하는 제로샷 이미지 생성 방법
6 6
제4항에 있어서,상기 판별 모델의 판별 손실 함수는 (i) 제2 조건부 생성 손실 함수, (ii) 제2 조건부 분류 손실 함수, (iii) 제2 무조건부 생성 손실 함수, 및 (iv) 제2 무조건부 분류 손실 함수가 결합되며,상기 제2 조건부 생성 손실 함수와 상기 제2 조건부 분류 손실 함수는 특성 정보가 적용된 것을 특징으로 하는 제로샷 이미지 생성 방법
7 7
제6항에 있어서,상기 판별 모델의 판별 손실 함수는 생성된 이미지가 실재 이미지에 수렴하도록 (i) 조건부 경사 페널티와 (ii) 무조건부 경사 페널티를 추가로 결합시켜, 상기 생성된 이미지를 정규화하는 것을 특징으로 하는 제로샷 이미지 생성 방법
8 8
제1항에 있어서,상기 업샘플링 모델은 이미지의 열과 행에 픽셀을 추가하여 상기 이미지의 크기를 증가시키는 것을 특징으로 하는 제로샷 이미지 생성 방법
9 9
제1항에 있어서,상기 제로샷 이미지를 생성하면, 제로샷 학습 모델은 상기 생성된 제로샷 이미지와 실재의 이미지를 입력받고 학습하여 처음 보는 클래스를 인식하는 것을 특징으로 하는 제로샷 이미지 생성 방법
10 10
하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 제로샷 이미지 생성 장치에 있어서,상기 프로세서는 시맨틱 특징을 가변한 시맨틱 코드를 생성하고,상기 프로세서는 상기 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성하며,상기 제로샷 이미지 생성 모델은 상기 시맨틱 코드와 랜덤 노이즈 분포를 입력받고 상기 제로샷 이미지를 출력하며, 제1 적대적 이미지 생성 모델에 제1 업샘플링 모델이 연결되고, 상기 제1 업샘플링 모델에 제2 적대적 이미지 생성 모델이 연결되고, 상기 제2 적대적 이미지 생성 모델에 제2 업샘플링 모델이 연결되고, 상기 제2 업샘플링 모델에 제3 적대적 이미지 생성 모델이 연결되며, 상기 제1 적대적 이미지 생성 모델, 상기 제2 적대적 이미지 생성 모델, 및 상기 제3 적대적 이미지 생성 모델을 순차적으로 거치면서 저해상도의 이미지를 고해상도의 이미지로 변환하는 것을 특징으로 하는 제로샷 이미지 생성 장치
11 11
제10항에 있어서,상기 프로세서는 특성 정보(Attribute)의 평균과 표준 편차를 산출하고, 정규 분포와 조절된 가우시안 분포 간의 엔트로피 변화를 산출하는 시맨틱 코드 조절 모델을 이용하여, 상기 특성 정보에 무작위성을 증가시킨 시맨틱 코드를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 장치
12 12
삭제
13 13
제10항에 있어서,상기 적대적 이미지 생성 모델은 생성 모델과 판별 모델이 상호 작용하는 적대적 생성 신경망에서 상기 생성 모델의 생성 손실 함수와 상기 판별 모델의 판별 손실 함수를 최적화하여, 처음 보는 클래스의 이미지를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 장치
14 14
제10항에 있어서,상기 업샘플링 모델은 이미지의 열과 행에 픽셀을 추가하여 상기 이미지의 크기를 증가시키는 것을 특징으로 하는 제로샷 이미지 생성 장치
15 15
제10항에 있어서,상기 프로세서는 상기 제로샷 이미지를 생성하면, 제로샷 학습 모델은 상기 생성된 제로샷 이미지와 실재의 이미지를 입력받고 학습하여 처음 보는 클래스를 인식하는 것을 특징으로 하는 제로샷 이미지 생성 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 연세대학교 산학협력단 원천기술개발사업 [Ezbaro] (2세부)딥러닝 기반 의미론적 상황 이해 원천기술 연구(1단계)(2/2)