맞춤기술찾기

이전대상기술

양방향 연관성 듀얼 오토인코더 및 이를 이용한 이미지 변환 방법

  • 기술번호 : KST2021010357
  • 담당센터 : 경기기술혁신센터
  • 전화번호 : 031-8006-1570
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 제1 도메인 이미지를 제1 잠재 공간으로 변환하는 제1 도메인 인코더, 상기 제1 도메인 이미지를 재구성하는 제1 도메인 디코더, 제2 도메인 이미지를 제2 잠재 공간으로 변환하는 제2 도메인 인코더, 상기 제2 도메인 이미지를 재구성하는 제2 도메인 디코더, 및 상기 제1 도메인과 상기 제2 도메인 사이의 교차 도메인(cross domain) 관계를 정의하는 잠재 공간 연관 네트워크(LSAN, latent space association network)를 포함하는 듀얼(dual) 오토인코더(autoencoder) 및 이를 이용한 이미지 변환 방법이 제공된다. 두 개의 오토인코더의 잠재 공간이 양방향 회귀 네트워크에 의해 밀접하게 연결됨으로써 이미지 변환에서 정확성뿐만 아니라 일반성을 가지며, 불완전하거나 손상된 이미지의 조건에서도 완전하고 손상이 없는 출력 이미지를 생성할 수 있다. 또한 이미지 변환, 완성, 및 손상 제거를 더 적은 계산 복잡성으로 수행할 수 있고, 반복 검색 없이 직접 이미지 완성을 수행할 수 있다.
Int. CL G06N 3/04 (2006.01.01) G06N 3/08 (2006.01.01) G06T 11/40 (2006.01.01) G06T 5/00 (2019.01.01)
CPC G06N 3/04(2013.01) G06N 3/08(2013.01) G06T 11/40(2013.01) G06T 5/002(2013.01) G06T 2207/20084(2013.01)
출원번호/일자 1020200024633 (2020.02.27)
출원인 성균관대학교산학협력단
등록번호/일자
공개번호/일자 10-2021-0109387 (2021.09.06) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.02.27)
심사청구항수 19

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 성균관대학교산학협력단 대한민국 경기도 수원시 장안구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이석한 경기도 용인시 수지구
2 이슬람 나임 울 경기도 수원시 장안구
3 이수진 경기도 수원시 장안구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 제일특허법인(유) 대한민국 서울특별시 서초구 마방로 ** (양재동, 동원F&B빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2020.02.27 수리 (Accepted) 1-1-2020-0211013-60
2 [대리인선임]대리인(대표자)에 관한 신고서
[Appointment of Agent] Report on Agent (Representative)
2021.01.18 수리 (Accepted) 1-1-2021-0063606-86
3 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2021.02.09 수리 (Accepted) 1-1-2021-0165494-17
4 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2021.08.24 수리 (Accepted) 1-1-2021-0977663-16
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
제1 도메인 이미지를 제1 잠재 공간으로 변환하는 제1 도메인 인코더;상기 제1 도메인 이미지를 재구성하는 제1 도메인 디코더;제2 도메인 이미지를 제2 잠재 공간으로 변환하는 제2 도메인 인코더;상기 제2 도메인 이미지를 재구성하는 제2 도메인 디코더; 및상기 제1 도메인과 상기 제2 도메인 사이의 교차 도메인(cross domain) 관계를 정의하는 잠재 공간 연관 네트워크(LSAN, latent space association network)를 포함하는, 듀얼(dual) 오토인코더(autoencoder)
2 2
제1항에 있어서,상기 잠재 공간 연관 네트워크(LSAN)는상기 제1 잠재 공간을 상기 제2 잠재 공간으로 상호 변환함으로써 상기 교차 도메인 관계를 정의하는, 듀얼 오토인코더
3 3
제2항에 있어서,상기 제1 도메인 디코더는출력 조건에 따라 상이한 잠재 공간을 입력으로 하되,상기 출력 모드가 동일 도메인인 경우 상기 제1 잠재 공간을 입력으로 하고, 상기 출력 모드가 교차 도메인인 경우 상기 잠재 공간 연관 네트워크(LSAN)의 출력을 입력으로 하는, 듀얼 오토인코더
4 4
제2항에 있어서,상기 제2 도메인 디코더는출력 조건에 따라 상이한 잠재 공간을 입력으로 하되,상기 출력 모드가 동일 도메인인 경우 상기 제2 잠재 공간을 입력으로 하고, 상기 출력 모드가 교차 도메인인 경우 상기 잠재 공간 연관 네트워크(LSAN)의 출력을 입력으로 하는, 듀얼 오토인코더
5 5
제1항에 있어서,상기 듀얼 오토인코더의 학습은상기 제1 도메인 이미지를 이용하여 상기 제1 도메인 인코더 및 상기 제1 도메인 디코더를 학습시키고, 상기 제2 도메인 이미지를 이용하여 상기 제2 도메인 인코더 및 상기 제2 도메인 디코더를 학습시킨 이후에 상기 잠재 공간 연관 네트워크(LSAN)를 학습시키는, 듀얼 오토인코더
6 6
제5항에 있어서,상기 잠재 공간 연관 네트워크(LSAN)의 학습은정답 데이터(ground truth)의 잠재 분포(latent distribution)와 상기 잠재 공간 연관 네트워크(LSAN)의 출력 간의 L2 Regression Losses를 감소시키는 방향으로 수행되고,상기 L2 Regression Losses는- 여기서 q1(z1|y1) 및 q2(z2|y2)는 각각 제1 오토인코더 및 제2 오토인코더의 출력이고, LSAN은 상기 제1 잠재 공간 및 상기 제2 잠재 공간 사이의 연관임 - 에 의해 계산되는, 듀얼 오토인코더
7 7
제1항에 있어서,상기 제1 도메인 인코더 및 상기 제2 도메인 인코더는컨볼루션 층(convolution layer)과 완전연결 층(fully connected layer)으로 구성되는, 듀얼 오토인코더
8 8
제1항에 있어서,상기 제1 도메인 디코더 및 상기 제2 도메인 디코더는디컨볼루션 층(deconvolutional layer)과 완전연결 층(fully connected layer)으로 구성되는, 듀얼 오토인코더
9 9
제1항에 있어서,상기 잠재 공간 연관 네트워크(LSAN)는완전 연결 연관 네트워크(fully connected association network)의 구조를 가지는, 듀얼 오토인코더
10 10
제1 도메인 이미지를 입력받는 단계;출력 조건을 판단하는 단계;상기 출력 조건이 동일 도메인(same domain)인 경우 제1 도메인 인코더 및 제1 도메인 디코더에 의해 상기 제1 도메인 이미지를 재구성하는 단계; 및상기 출력 조건이 교차 도메인(cross domain)인 경우 상기 제1 도메인 인코더, 잠재 공간 연관 네트워크(LSAN, latent space association network), 및 제2 도메인 디코더에 의해 제2 도메인 이미지를 재구성하는 단계를 포함하는, 듀얼 오토인코더를 이용한 이미지 변환 방법
11 11
제10항에 있어서,상기 제1 도메인 이미지를 재구성하는 단계는상기 제1 도메인 인코더가 상기 제1 도메인 이미지를 제1 잠재 공간으로 변환하는 단계; 및상기 제1 도메인 디코더가 상기 제1 잠재 공간을 이용하여 상기 제1 도메인 이미지를 재구성하는 단계를 포함하는, 듀얼 오토인코더를 이용한 이미지 변환 방법
12 12
제10항에 있어서,상기 제2 도메인 이미지를 재구성하는 단계는상기 제1 도메인 인코더가 상기 제1 도메인 이미지를 제1 잠재 공간으로 변환하는 단계;상기 잠재 공간 연관 네트워크(LSAN)가 상기 제1 잠재 공간을 제2 잠재 공간으로 변환하는 단계; 및상기 제2 도메인 디코더가 상기 제2 잠재 공간을 이용하여 상기 제2 도메인 이미지를 재구성하는 단계를 포함하는, 듀얼 오토인코더를 이용한 이미지 변환 방법
13 13
제10항에 있어서,상기 잠재 공간 연관 네트워크(LSAN)는상기 제1 잠재 공간을 제2 잠재 공간으로 상호 변환함으로써 교차 도메인 관계를 정의하는, 듀얼 오토인코더를 이용한 이미지 변환 방법
14 14
제10항에 있어서,상기 듀얼 오토인코더의 학습은상기 제1 도메인 이미지를 이용하여 상기 제1 도메인 인코더 및 상기 제1 도메인 디코더를 학습시키고, 상기 제2 도메인 이미지를 이용하여 제2 도메인 인코더 및 상기 제2 도메인 디코더를 학습시킨 이후에 상기 잠재 공간 연관 네트워크(LSAN)를 학습시키는, 듀얼 오토인코더를 이용한 이미지 변환 방법
15 15
제14항에 있어서,상기 잠재 공간 연관 네트워크(LSAN)의 학습은정답 데이터(ground truth)의 잠재 분포(latent distribution)와 상기 잠재 공간 연관 네트워크(LSAN)의 출력 간의 L2 Regression Losses를 감소시키는 방향으로 수행되고,상기 L2 Regression Losses는- 여기서 q1(z1|y1) 및 q2(z2|y2)는 각각 제1 도메인 디코더 및 제2 도메인디코더의 출력이고, LSAN은 상기 제1 잠재 공간 및 상기 제2 잠재 공간 사이의 연관임 - 에 의해 계산되는, 듀얼 오토인코더를 이용한 이미지 변환 방법
16 16
제10항에 있어서,상기 제1 도메인 인코더는컨볼루션 층(convolution layer)과 완전연결 층(fully connected layer)으로 구성되는, 듀얼 오토인코더
17 17
제10항에 있어서,상기 제1 도메인 디코더 및 상기 제2 도메인 디코더는디컨볼루션 층(deconvolutional layer)과 완전연결 층(fully connected layer)으로 구성되는, 듀얼 오토인코더를 이용한 이미지 변환 방법
18 18
제10항에 있어서,상기 잠재 공간 연관 네트워크(LSAN)는완전 연결 연관 네트워크(fully connected association network)의 구조를 가지는, 듀얼 오토인코더를 이용한 이미지 변환 방법
19 19
듀얼 오토인코더를 이용한 이미지 변환 방법을 수행하는 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 컴퓨터 프로그램은 상기 컴퓨터가제1 도메인 이미지를 입력받도록 하는 명령;출력 조건을 판단하도록 하는 명령;상기 출력 조건이 동일 도메인(same domain)인 경우 제1 도메인 인코더 및 제1 도메인 디코더에 의해 상기 제1 도메인 이미지를 재구성하도록 하는 명령; 및상기 출력 조건이 교차 도메인(cross domain)인 경우 상기 제1 도메인 인코더, 잠재 공간 연관 네트워크(LSAN, latent space association network), 및 제2 도메인 디코더에 의해 제2 도메인 이미지를 재구성하도록 하는 명령을 포함하는, 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 저장 매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 성균관대학교 개인기초연구(과기정통부)(R&D) 시각장애인을 위한 딥러닝 기반 시각의 청각화 원천기술 및 감각 전이의 뇌신경과학적 탐구
2 산업통상자원부 성균관대학교산학협력단 로봇산업핵심기술개발(R&D) 다양한 비정형 환경에서 고신뢰성 로봇 서비스를 위한 인지적 3차원 비전 기술개발
3 산업통상자원부 포테닛(주) 산업기술국제협력(R&D) 다기능 개인지원을 위한 지능형 가변구조 로봇: 로봇케어체어