맞춤기술찾기

이전대상기술

기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법

  • 기술번호 : KST2021010583
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법 및 컴퓨터 판독가능매체에 관한 것으로서, 시간의 흐름에 따라 연속적으로 입력되는 이미지를 포함한 데이터로부터 사용자의 감정, 표정, 행동 등의 특징정보를 인식함에 있어서, 영상 혹은 이미지에서 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보의 영향을 최소화할 수 있는, 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법 및 컴퓨터 판독가능매체에 관한 것이다.
Int. CL G06K 9/46 (2006.01.01) G06K 9/00 (2006.01.01) G06N 20/00 (2019.01.01) G06Q 10/10 (2012.01.01)
CPC G06K 9/46(2013.01) G06K 9/00268(2013.01) G06K 9/00362(2013.01) G06N 20/00(2013.01) G06Q 10/1053(2013.01)
출원번호/일자 1020200024346 (2020.02.27)
출원인 주식회사 제네시스랩, 한국과학기술원
등록번호/일자
공개번호/일자 10-2021-0109704 (2021.09.07) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.02.27)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 주식회사 제네시스랩 대한민국 서울특별시 중구
2 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 노용만 대전 유성구
2 알하즈 바다르, 위삼 자랄 대전 유성구
3 유대훈 서울특별시 은평구
4 이영복 서울 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 심찬 대한민국 서울특별시 서초구 양재천로**길 *(양재동) *층(아이픽스특허법률사무소)
2 송두현 대한민국 서울특별시 서초구 양재천로**길 *, *층(양재동, 화암빌딩)(아이픽스특허법률사무소)
3 강정빈 대한민국 서울특별시 서초구 양재천로 **길 *, *층 (양재동, 화암빌딩)(아이픽스특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2020.02.27 수리 (Accepted) 1-1-2020-0209062-94
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
4 선행기술조사의뢰서
Request for Prior Art Search
2020.12.11 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search
2021.02.18 발송처리완료 (Completion of Transmission) 9-6-2021-0036152-41
6 의견제출통지서
Notification of reason for refusal
2021.03.23 발송처리완료 (Completion of Transmission) 9-5-2021-0233140-46
7 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2021.03.25 수리 (Accepted) 1-1-2021-0352306-95
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2021.03.25 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2021-0352337-00
9 특허고객번호 정보변경(경정)신고서·정정신고서
2021.03.29 수리 (Accepted) 4-1-2021-5097706-60
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
복수의 프레임으로부터 특징정보를 도출하는 방법으로서,복수의 변형된 LSTM모듈 각각에는 각각의 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 인코딩된 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력되고,복수의 변형된 LSTM모듈 각각에서는,학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계;학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;를 수행하는, 복수의 프레임으로부터 특징정보를 도출하는 방법
2 2
청구항 1에 있어서,상기 인코딩정보분리단계는,학습된 제1가중치, 현재 시퀀스의 인코딩정보(xt), 및 상기 이전잠재적특징정보(ht-1)에 포함된 정보에 기초하여, 상기 인코딩정보(xt)의 각각의 정보에서 도출하고자 하는 특징정보의 추출과 관련되는 어텐션파라미터(at)를 도출하는 단계;상기 어텐션파라미터(at)와 상기 인코딩정보(xt)에 기초하여 관련성특징정보(x1t)를 도출하는 단계; 및상기 어텐션파라미터(at)의 변형값과 상기 인코딩정보(xt)를 요소별 연산을 통하여, 비관련성특징정보(x2t)를 도출하는 단계;를 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 방법
3 3
청구항 2에 있어서,상기 어텐션파라미터(at)는 상기 현재 시퀀스의 인코딩정보(xt)에 요소별 연산(element-wise product)이 가능한 형태인, 복수의 프레임으로부터 특징정보를 도출하는 방법
4 4
청구항 1에 있어서,이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 방법
5 5
청구항 2에 있어서,이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1)를 포함하고,상기 어텐션파라미터(at)는 학습된 제1가중치, 현재 시퀀스의 인코딩정보(xt), 및 이전 시퀀스의 상기 관련성잠재적특징정보(h1t-1)에 기초하여 도출되는, 복수의 프레임으로부터 특징정보를 도출하는 방법
6 6
청구항 2에 있어서,상기 어텐션파라미터(at)의 각각의 열의 값이 커질수록 상응하는 상기 어텐션파리미터(at)의 변형값의 각각의 열의 값은 작아지는, 복수의 프레임으로부터 특징정보를 도출하는 방법
7 7
청구항 1에 있어서,이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하고,상기 아웃풋정보도출단계는,이전 시퀀스의 상기 관련성특징정보(x1t-1), 관련성잠재적특징정보(h1t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 관련성셀상태정보(c1t)를 도출하고,이전 시퀀스의 상기 비관련성특징정보(x2t-1), 비관련성잠재적특징정보(h2t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 비관련성셀상태정보(c2t)를 도출하는 단계를 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 방법
8 8
청구항 1에 있어서,이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하고,이전 시퀀스의 상기 셀상태정보(ct-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성셀상태정보(c1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성셀상태정보 (c2t-1)을 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 방법
9 9
청구항 1에 있어서,상기 아웃풋정보도출단계에서는,학습된 가중치, 현재 시퀀스의 상기 관련성특징정보(x1t)를 포함하는 정보에 기초하여 관련성인풋게이트값(i1t), 관련성포겟게이트값(f1t)를 도출하고,학습된 가중치, 현재 시퀀스의 상기 비관련성특징정보(x2t)를 포함하는 정보에 기초하여 비관련성인풋게이트값(i2t), 비관련성포겟게이트값(f2t)을 도출하고,상기 관련성인풋게이트값(i1t), 비관련성인풋게이트값(i2t), 관련성포겟게이트값(f1t), 및 비관련성포겟게이트값(f2t)는 상기 추론아웃풋정보(ot)를 도출하는 데 사용되는, 복수의 프레임으로부터 특징정보를 도출하는 방법
10 10
청구항 9에 있어서,상기 관련성인풋게이트값(i1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성인풋게이트값(i2t)를 도출하는 데 사용되는 학습된 가중치와 동일한, 복수의 프레임으로부터 특징정보를 도출하는 방법
11 11
청구항 9에 있어서,상기 관련성포겟게이트값(f1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성포겟게이트값(f2t)를 도출하는 데 사용되는 학습된 가중치와 동일한, 복수의 프레임으로부터 특징정보를 도출하는 방법
12 12
청구항 1에 있어서,상기 아웃풋정보도출단계에서 도출되는 상기 추론아웃풋정보(ot)는, 현재 시퀀스의 상기 관련성특징정보(x1t); 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1); 및 현재 시퀀스의 상기 관련성특징정보(x1t)를 포함하는 정보에 기초하여 도출되는 현재 시퀀스의 관련성셀상태정보(c1t)와는 양(positive) 관계를 갖는, 복수의 프레임으로부터 특징정보를 도출하는 방법
13 13
청구항 1에 있어서,상기 아웃풋정보도출단계에서 도출되는 상기 추론아웃풋정보(ot)는, 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1); 및 현재 시퀀스의 상기 비관련성특징정보(x2t)를 포함하는 정보에 기초하여 도출되는 현재 시퀀스의 비관련성셀상태정보(c2t)와는 음(negative) 관계를 갖는, 복수의 프레임으로부터 특징정보를 도출하는 방법
14 14
복수의 프레임으로부터 특징정보를 도출하는 방법을 구현하기 위한 컴퓨터-판독가능 매체로서, 상기 컴퓨터-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:복수의 변형된 LSTM모듈 각각에서의, 각각의 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력되는 단계;복수의 변형된 LSTM모듈 각각에서의, 학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계; 및복수의 변형된 LSTM모듈 각각에서의, 학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;를 포함하는, 컴퓨터-판독가능 매체
15 15
복수의 프레임으로부터 특징정보를 도출하는 장치로서,상기 장치는 1 이상의 메모리 및 1 이상의 프로세서를 포함하고, 상기 프로세서는,복수의 변형된 LSTM모듈 각각에의, 각각의 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력되는 단계;복수의 변형된 LSTM모듈 각각에서의, 학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계; 및학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;를 수행하는, 복수의 프레임으로부터 특징정보를 도출하는 장치
16 16
서비스서버에서 수행되는 기계학습을 이용한 면접준비 서비스를 제공하는 방법으로서, 기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장하는 면접영상저장단계;기계학습을 이용한 평가모델을 통하여 상기 면접영상에 대한 자동평가정보를 생성하는 면접영상평가단계; 및상기 자동평가정보에 기초하여 사용자단말기에 자동평가결과를 제공하는 평가결과제공단계;를 포함하는, 기계학습을 이용한 면접준비 서비스를 제공하는 방법으로서,상기 면접영상평가단계는, 청구항 1에 따른 복수의 프레임으로부터 특징정보를 도출하는 방법을 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 장치
17 17
청구항 16에 있어서,상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 디스플레이요소는,상기 면접영상을 재생할 수 있는 영상레이어;2 이상의 평가결과 카테고리를 선택할 수 있는 카테고리레이어;상기 2 이상의 평가결과 카테고리 중 선택된 평가결과 카테고리에 대한 자동평가결과가 디스플레이되는 자동평가결과레이어를 포함하는, 기계학습을 이용한 면접준비 서비스를 제공하는 방법
18 18
청구항 16에 있어서,상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 화면은,상기 면접영상 전체에 대한 평가에 대한 요소를 디스플레이하는 제1화면 및 상기 면접영상의 부분단위의 평가에 대한 요소를 디스플레이하는 제2화면을 포함하는, 기계학습을 이용한 면접준비 서비스를 제공하는 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.