맞춤기술찾기

이전대상기술

딥러닝 학습 프레임워크 기반의 자연어 처리 시스템 및 방법

  • 기술번호 : KST2022012929
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 기술은 딥러닝 학습 프레임워크 기반의 자연어 처리 시스템 및 방법이 개시된다. 이러한 기술에 대한 구체적인 구현 예는 의미틀의 의미 태그, 개체 태그, 및 개체값 중 적어도 하나를 포함하는 구조 정보의 손실없이 저차원의 시각화 학습 모델을 구축하고 구축된 시각화 학습 모델을 통해 회귀 기반 학습으로 입력된 말뭉치에 대한 학습을 수행함에 따라 학습된 의미 벡터와 정답 의미 벡터에 대한 정량화가 가능하고 저차원의 시각화 학습 모델의 훈련의 효율성을 향상시킬 수 있고, 또한, 수집된 말뭉치에 대한 시각화 학습 모델을 통해 학습 결과를 직관적 분석이 가능하고, 학습 결과에 따라 훈련에 필요한 학습 변수를 제어함에 따라 학습 성능을 더욱 향상시킬 수 있다.
Int. CL G06N 3/08 (2006.01.01) G06N 3/04 (2006.01.01) G06N 5/02 (2006.01.01) G06F 40/117 (2020.01.01)
CPC G06N 3/08(2013.01) G06N 3/04(2013.01) G06N 5/02(2013.01) G06F 40/30(2013.01) G06F 40/205(2013.01) G06F 40/117(2013.01)
출원번호/일자 1020210004560 (2021.01.13)
출원인 충남대학교산학협력단
등록번호/일자
공개번호/일자 10-2022-0102327 (2022.07.20) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.01.13)
심사청구항수 10

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 충남대학교산학협력단 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 정상근 서울특별시 동작구
2 황태욱 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 이은철 대한민국 서울특별시 송파구 법원로**길 **, A동 *층 ***호(문정동, 에이치비지니스파크)(*T국제특허법률사무소)
2 김재문 대한민국 서울특별시 송파구 법원로**길 **, A동 *층 ***호 (문정동, 에이치비지니스파크)(*T국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.01.13 수리 (Accepted) 1-1-2021-0044148-86
2 특허고객번호 정보변경(경정)신고서·정정신고서
2021.10.05 수리 (Accepted) 4-1-2021-5261638-12
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
다수의 수집된 말뭉치 각각에 대해 의미틀의 구조 정보를 생성하고, 생성된 각 구조 정보에 대해 3차원 좌표 형태로 변환한 다음 3차원 좌표 형태의 각 구조 정보를 시각화하여 시각화 학습 모델을 구축하는 학습 모델 구축부; 입력된 말뭉치에 대해 분리된 토큰 각각의 임베딩값으로 전처리한 다음 기 구축된 선학습 BERT(Bidirectional Encoder Representation from Transformers) 언어 모델을 토대로 학습 수행하여 문장 벡터를 도출하는 텍스트 리더부; 입력된 말뭉치에 대해 의미틀의 구조 정보를 생성하고 생성된 각 구조 정보 기반에 대해 BERT 언어 모델을 토대로 학습 수행하여 다수의 의미 벡터를 도출하는 시맨틱 프레임 리더부; 및상기 시맨틱 프레임 리더부의 다수의 의미 벡터에 대해 시각화 학습 모델 기반 학습 수행하여 다수의 유사 의미 벡터를 추정하고 추정된 유사 의미 벡터와 문장 벡터 간의 정해진 거리함수를 토대로 정답 의미 벡터를 도출하는 학습부를 포함하는 것을 특징으로 하는 딥러닝 학습 프레임워크 기반의 자연어 처리 시스템
2 2
제1항에 있어서, 상기 구조 정보는, 문장의 주제인 의미 태그, 문장 요소의 이름인 개체 태그, 및 개체 태그의 실제값인 개체값 중 적어도 하나인 것을 특징으로 하는 딥러닝 학습 프레임워크 기반의 자연어 처리 시스템
3 3
제2항에 있어서, 상기 학습 모델 구축부는,수집된 다수의 말뭉치 각각에 대해 의미틀의 각 구조 정보를 생성하는 구조 정보 생성모듈; 생성된 구조 정보 중 의미 태그와의 거리가 일정한 다수의 개체 태그를 분포시키고, 각 개체 태그와의 거리가 일정한 개체값을 분포시켜 각 말뭉치에 대해 시각화하는 시각화 모듈; 및수집된 다수의 말뭉치 각각에 대한 시각화 결과로 시각화 학습모델을 구축하는 모델 구축모듈을 포함하는 것을 특징으로 하는 딥러닝 학습 프레임워크 기반의 자연어 처리 시스템
4 4
제3항에 있어서, 상기 텍스트 리더부는,입력된 말뭉치에 대해 토큰으로 분리한 다음 분리된 토큰에 대한 임베딩값을 연산하고, 연산된 임베딩값에 대해 BERT 언어 모델을 토대로 학습 수행하여 완전 결합 계층의 출력값으로 문장 벡터를 출력하며, 상기 문장 벡터는 3차원 벡터값으로 도출되도록 구비되는 것을 특징으로 하는 딥러닝 학습 프레임워크 기반의 자연어 처리 시스템
5 5
제4항에 있어서, 상기 시멘틱 프레임 리더부는 입력된 말뭉치에 대해 의미틀의 각 구조 정보를 생성하고, 생성된 구조 정보 중 문장 태그에 대해 BERT 언어 모델 기반으로 학습 수행하여 완전 결합 계층의 출력값으로 3차원 벡터 형태의 의미 벡터를 생성하도록 구비되는 것을 특징으로 하는 딥러닝 학습 프레임워크 기반의 자연어 처리 시스템
6 6
제5항에 있어서, 상기 학습부는,입력된 말뭉치에 대한 시맨틱 프레임 리더부의 다수의 의미 벡터에 대해 시각화 학습 모델을 토대로 학습 수행하여 다수의 유사 의미 벡터를 추정하는 유사 의미 벡터 추정모듈; 및추정된 다수의 유사 의미 벡터와 상기 문장 벡터 간의 정해진 거리 함수를 토대로 문장 벡터와 다수의 유사 의미 벡터 중 문장 벡터와 가장 인접된 거리의 의미 벡터를 정답 의미 벡터로 출력하는 정답 의미 벡터 도출모듈을 포함하도록 구비되는 것을 특징으로 하는 딥러닝 학습 프레임워크 기반의 자연어 처리 시스템
7 7
제6항에 있어서, 상기 학습부는,상기 임의의 문장 벡터 t에 대해 정답 의미 벡터의 좌표값과 문장 벡터 간의 유클리디안 거리를 도출하고, 상기 의미 태그의 좌표 및 개체 태그의 좌표 중 하나를 원점으로 도출된 정답 의미 벡터의 좌표값과 문장 벡터 간의 코사인 함수의 거리를 도출하며, 도출된 유클리디안 거리 및 코사인 함수의 거리의 합으로 문장 벡터에 대한 손실 비용을 도출하는 제1 손실 비용 연산모듈; 상기 임의의 의미 벡터 s에서 정답 의미 벡터의 좌표값과 유사 의미 벡터 간의 유클리디안 거리를 도출하고, 의미 태그의 좌표 및 개체 태그의 좌표 중 하나를 원점으로 도출된 정답 의미 벡터의 좌표값과 유사 의미 벡터 간의 코사인 함수의 거리를 도출하며, 도출된 유클리디안 거리 및 코사인 함수의 거리의 합으로 정답 의미 벡터에 대한 손실 비용을 도출하는 제2 손실 비용 연산모듈; 및상기 문장 벡터의 손실 비용과 정답 의미 벡터의 손실 비용의 합으로 최종 손실 비용을 산출하고 산출된 최종 손실 비용으로 시각화 학습 모델의 학습 변수를 제어하는 학습 성능 제어모듈;을 포함하는 것을 특징으로 하는 딥러닝 학습 프레임워크 기반의 자연어 처리 시스템
8 8
다수의 수집된 말뭉치 각각에 대해 의미틀의 각 구조 정보를 생성하고, 생성된 각 구조 정보에 대해 3차원 좌표 형태로 변환한 다음 3차원 좌표 형태의 각 구조 정보를 시각화하여 시각화 학습 모델을 구축하는 학습 모델 구축단계;입력된 말뭉치에 대해 분리된 토큰 각각의 임베딩값으로 전처리한 다음 기 구축된 선학습 BERT(Bidirectional Encoder Representation from Transformers) 언어 모델을 토대로 학습 수행하여 문장 벡터를 도출하는 텍스트 리더단계; 입력된 말뭉치에 대해 의미틀의 구조 정보를 생성하고 생성된 각 구조 정보 기반에 대해 BERT 언어 모델을 토대로 학습 수행하여 다수의 의미 벡터를 도출하는 시멘틱 프레임 리더단계; 및상기 시멘틱 프레임 리더부의 다수의 의미 벡터에 대해 시각화 학습 모델 기반의 학습 수행하여 다수의 유사 의미 벡터를 추정하고 추정된 유사 의미 벡터와 문장 벡터 간의 정해진 거리함수를 토대로 정답 의미 벡터를 도출하는 학습단계를 포함하는 것을 특징으로 하는 딥러닝 학습 프레임워크 기반의 자연어 처리 방법
9 9
제8항에 있어서, 상기 학습 모델 구축 단계는수집된 다수의 말뭉치 각각에 대해 의미틀의 각 구조 정보를 생성하는 단계;생성된 구조 정보 중 의미 태그와의 거리가 일정한 다수의 개체 태그를 분포시키고, 각 개체 태그와의 거리가 일정한 개체값을 분포시킴에 따라 수집된 다수의 말뭉치 각각에 대한 시각화를 수행하는 단계; 및수집된 다수의 말뭉치 각각에 대한 시각화 결과로 시각화 학습모델을 구축하는 단계를 포함하는 것을 특징으로 하는 딥러닝 학습 프레임워크 기반의 자연어 처리 방법
10 10
제8항 또는 제9항의 딥러닝 학습 프레임워크 기반의 자연어 처리 방법을 실행하기 위한 프로그램이 기록되고 컴퓨터에서 판단 가능한 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 충남대학교 개인기초연구(과기정통부)(R&D) 설명 가능한 딥러닝 자연어 처리 기술 개발