맞춤기술찾기

이전대상기술

생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템 및 그 방법

  • 기술번호 : KST2019015684
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 생성적 적대 학습(generative adversarial learning)을 기반으로 비디오 시퀀스를 생성하는 동적 이동 생성적 적대 네트워크(Dynamics Transfer GAN)를 이용한 비디오 시퀀스 생성 시스템 및 그 방법에 관한 것으로, 소스 비디오 데이터의 동적 특성과 대상 이미지 데이터의 외형(공간적 구조)을 이용하여 가변 길이의 비디오 시퀀스를 생성하고, 2개의 판별부를 포함하는 판별기(discriminator) 네트워크를 이용하여 비디오 시퀀스의 공간적 및 시간적 일관성을 판별할 수 있다.
Int. CL H04N 19/91 (2014.01.01) H04N 19/98 (2014.01.01) G06N 3/08 (2006.01.01) G06K 9/00 (2006.01.01)
CPC H04N 19/91(2013.01) H04N 19/91(2013.01) H04N 19/91(2013.01) H04N 19/91(2013.01)
출원번호/일자 1020180010817 (2018.01.29)
출원인 한국과학기술원
등록번호/일자
공개번호/일자 10-2019-0091806 (2019.08.07) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.01.29)
심사청구항수 12

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 노용만 대전광역시 유성구
2 알하즈 바다르, 위삼 자랄 대전광역시 유성구
3 구건모 대전광역시 유성구
4 이상민 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 양성보 대한민국 서울특별시 강남구 선릉로***길 ** (논현동) 삼성빌딩 *층(피앤티특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.01.29 수리 (Accepted) 1-1-2018-0101093-41
2 선행기술조사의뢰서
Request for Prior Art Search
2018.10.16 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2018.12.07 수리 (Accepted) 9-1-2018-0068807-88
4 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
5 의견제출통지서
Notification of reason for refusal
2019.08.07 발송처리완료 (Completion of Transmission) 9-5-2019-0570688-55
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2019.09.30 수리 (Accepted) 1-1-2019-0997133-39
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.09.30 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-0997134-85
8 등록결정서
Decision to grant
2019.12.24 발송처리완료 (Completion of Transmission) 9-5-2019-0929795-52
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
소스 비디오 데이터에서, 제1 동적 특성 인코더를 통해 시간 동적 특성이 인코딩된 소스 비디오 데이터에 대한 외형 억압 동적 특성을 특정 채널에 삽입하는 동적 채널 임베디드부;대상 이미지 데이터의 외형과 상기 임베디드된 특정 채널을 결합하여 가변 길이의 비디오 시퀀스를 생성하는 생성부; 및상기 소스 비디오 데이터와 상기 비디오 시퀀스 사이의 프레임 정확도를 구별하고, 상기 소스 비디오 데이터에 대한 외형 억압 동적 특성과 비디오 시퀀스에 대한 외형 억압 동적 특성 사이의 동적 특성 일관성을 구별하는 판별부를 포함하되,상기 판별부는상기 소스 비디오 데이터와 상기 비디오 시퀀스 사이의 프레임 정확도를 구별하는 공간 판별부; 및상기 소스 비디오 데이터에 대한 외형 억압 동적 특성과 상기 비디오 시퀀스에 대한 외형 억압 동적 특성 사이의 동적 특성 일관성을 구별하는 동적 판별부를 포함하며, 상기 공간 판별부는상기 소스 비디오 데이터 및 상기 비디오 시퀀스를 시간에서의 복수의 프레임으로 구분하여 프레임에 대한 정확도를 판단하고, 프레임이 실제 프레임(상기 소스 비디오 데이터의 프레임)인지 또는 생성된 프레임(상기 비디오 시퀀스의 프레임)인지를 구별하며, 상기 동적 판별부는제2 동적 특성 인코더를 통해 획득되는 상기 비디오 시퀀스에 대한 외형 억압 동적 특성과 상기 제1 동적 특성 인코더를 통해 획득되는 상기 소스 비디오 데이터에 대한 외형 억압 동적 특성을 비교하고, 외형 억압 동적 특성이 현실 동적 특성(상기 소스 비디오 데이터의 동적 특성)인지 또는 생성된 동적 특성(상기 비디오 시퀀스의 동적 특성)인지를 구별하며, 상기 동적 판별부는상기 비디오 시퀀스의 가변 길이에 영향을 받지 않기 위해, 시간 T까지의 상기 비디오 시퀀스에 대한 외형 억압 동적 특성만을 이용하여 동적 특성 일관성을 구별하는 것을 특징으로 하는, 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템
2 2
제1항에 있어서,상기 동적 채널 임베디드부는상기 소스 비디오 데이터에 대한 외형 억압 동적 특성을 상기 특정 채널에 삽입하여 시간 T에서의 상기 소스 비디오 데이터에 대한 외형과 외형 억압 동적 특성을 결합하는 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템
3 3
제2항에 있어서,상기 동적 채널 임베디드부는드롭아웃(dropout)을 이용하여 상기 소스 비디오 데이터에 대한 외형 억압 동적 특성에 노이즈를 생성하는 것을 특징으로 하는 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템
4 4
제1항에 있어서,상기 생성부는유­넷 네트워크(U­net Network) 구조를 사용하여 상기 대상 이미지 데이터의 외형을 보존하는 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템
5 5
제4항에 있어서,상기 생성부는상기 판별부를 통해 판별되는 상기 비디오 시퀀스에 대한 공간적 및 시간적 일관성에 기초하여 최종 비디오 시퀀스를 생성하는 것을 특징으로 하는 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템
6 6
삭제
7 7
삭제
8 8
삭제
9 9
삭제
10 10
제1항에 있어서,상기 제1 동적 특성 인코더 및 상기 제2 동적 특성 인코더는 상기 소스 비디오 데이터 또는 상기 비디오 시퀀스의 제1 프레임을 복제하여 정적 시퀀스를 생성하고, 순환신경망(recurrent neural networks; RNN)를 이용하여 상기 소스 비디오 데이터 또는 상기 비디오 시퀀스의 잠재 시공간 특징 및 상기 정적 시퀀스의 잠재 시공간 특징을 획득하며, 상기 소스 비디오 데이터 또는 상기 비디오 시퀀스의 잠재 시공간 특징에서 상기 정적 시퀀스의 잠재 시공간 특징을 제거하여 상기 소스 비디오 데이터에 대한 외형 억압 동적 특성 또는 상기 비디오 시퀀스에 대한 외형 억압 동적 특성을 제공하는 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템
11 11
소스 비디오 데이터의 동적 특성과 대상 이미지 데이터의 외형을 이용하여 가변 길이의 비디오 시퀀스를 생성하고, 판별 결과에 기초하여 최종 비디오 시퀀스를 생성하는 생성기 네트워크; 및상기 소스 비디오 데이터와 상기 비디오 시퀀스 사이의 프레임 정확도를 구별하고, 소스 비디오 데이터에 대한 외형 억압 동적 특성과 비디오 시퀀스에 대한 외형 억압 동적 특성 사이의 동적 특성 일관성을 구별하는 판별기 네트워크를 포함하되,상기 생성기 네트워크 및 상기 판별기 네트워크는 교대로 수행되는 것을 특징으로 하며,상기 판별기 네트워크는상기 소스 비디오 데이터와 상기 비디오 시퀀스 사이의 프레임 정확도를 구별하는 공간 판별부; 및상기 소스 비디오 데이터에 대한 외형 억압 동적 특성과 상기 비디오 시퀀스에 대한 외형 억압 동적 특성 사이의 동적 특성 일관성을 구별하는 동적 판별부를 포함하고,상기 공간 판별부는상기 소스 비디오 데이터 및 상기 비디오 시퀀스를 시간에서의 복수의 프레임으로 구분하여 프레임에 대한 정확도를 판단하고, 프레임이 실제 프레임(상기 소스 비디오 데이터의 프레임)인지 또는 생성된 프레임(상기 비디오 시퀀스의 프레임)인지를 구별하며, 상기 동적 판별부는제2 동적 특성 인코더를 통해 획득되는 상기 비디오 시퀀스에 대한 외형 억압 동적 특성과 제1 동적 특성 인코더를 통해 획득되는 상기 소스 비디오 데이터에 대한 외형 억압 동적 특성을 비교하고, 외형 억압 동적 특성이 현실 동적 특성(상기 소스 비디오 데이터의 동적 특성)인지 또는 생성된 동적 특성(상기 비디오 시퀀스의 동적 특성)인지를 구별하며, 상기 동적 판별부는상기 비디오 시퀀스의 가변 길이에 영향을 받지 않기 위해, 시간 T까지의 상기 비디오 시퀀스에 대한 외형 억압 동적 특성만을 이용하여 동적 특성 일관성을 구별하는 것을 특징으로 하는, 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템
12 12
제11항에 있어서,상기 생성기 네트워크는상기 소스 비디오 데이터에서, 상기 제1 동적 특성 인코더를 통해 시간 동적 특성이 인코딩된 상기 소스 비디오 데이터에 대한 외형 억압 동적 특성을 특정 채널에 삽입하는 동적 채널 임베디드부; 및상기 대상 이미지 데이터의 외형과 상기 임베디드된 특정 채널을 결합하여 가변 길이의 상기 비디오 시퀀스를 생성하는 생성부를 포함하는 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템
13 13
삭제
14 14
생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 시스템의 동작 방법에 있어서, 제1 동적 특성 인코더를 통해 시간 동적 특성이 인코딩된 소스 비디오 데이터에 대한 외형 억압 동적 특성을 특정 채널에 삽입하는 단계; 대상 이미지 데이터의 외형과 상기 임베디드된 특정 채널을 결합하여 가변 길이의 비디오 시퀀스를 생성하는 단계;상기 소스 비디오 데이터와 상기 비디오 시퀀스 사이의 프레임 정확도를 구별하고, 상기 소스 비디오 데이터에 대한 외형 억압 동적 특성과 비디오 시퀀스에 대한 외형 억압 동적 특성 사이의 동적 특성 일관성을 구별하는 단계; 및구별 결과에 기초하여, 상기 비디오 시퀀스에 대한 공간적 및 시간적 일관성에 기초하여 최종 비디오 시퀀스를 출력하는 단계를 포함하되,상기 프레임의 정확도를 구별하고, 동적 특성 일관성을 구별하는 단계는상기 소스 비디오 데이터 및 상기 비디오 시퀀스를 시간에서의 복수의 프레임으로 구분하여 프레임에 대한 정확도를 판단하고, 프레임이 실제 프레임(상기 소스 비디오 데이터의 프레임)인지 또는 생성된 프레임(상기 비디오 시퀀스의 프레임)인지를 구별하며, 상기 프레임의 정확도를 구별하고, 동적 특성 일관성을 구별하는 단계는제2 동적 특성 인코더를 통해 획득되는 상기 비디오 시퀀스에 대한 외형 억압 동적 특성과 상기 제1 동적 특성 인코더를 통해 획득되는 상기 소스 비디오 데이터에 대한 외형 억압 동적 특성을 비교하고, 외형 억압 동적 특성이 현실 동적 특성(상기 소스 비디오 데이터의 동적 특성)인지 또는 생성된 동적 특성(상기 비디오 시퀀스의 동적 특성)인지를 구별하며, 상기 비디오 시퀀스의 가변 길이에 영향을 받지 않기 위해, 시간 T까지의 상기 비디오 시퀀스에 대한 외형 억압 동적 특성만을 이용하여 동적 특성 일관성을 구별하는 것을 특징으로 하는, 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 방법
15 15
제14항에 있어서,상기 소스 비디오 데이터를 특정 채널에 삽입하는 단계는 상기 소스 비디오 데이터에 대한 외형 억압 동적 특성을 상기 특정 채널에 삽입하여 시간 T에서의 상기 소스 비디오 데이터에 대한 외형과 외형 억압 동적 특성을 결합하는 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 방법
16 16
제14항에 있어서,상기 가변 길이의 비디오 시퀀스를 생성하는 단계는유­넷 네트워크(U­net Network) 구조를 사용하여 상기 대상 이미지 데이터의 외형을 보존하는 생성적 적대 네트워크를 이용한 비디오 시퀀스 생성 방법
17 17
삭제
18 18
삭제
19 19
제14항 내지 제16항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 한국과학기술원 이공분야기초연구사업 Invisible 시간 스케일에서 다이나믹 얼굴분석 연구