맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

언어 이해 및 생성이 가능한 딥러닝 언어모델을 위한 사전학습 장치 및 이를 이용한 방법

  • 기술번호 : KST2023001733
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 언어 이해 및 생성이 가능한 딥러닝 언어모델을 위한 사전학습 장치 및 이를 이용한 방법이 개시된다. 본 발명의 일실시예에 따른 사전학습 방법은 딥러닝 언어모델을 위한 사전학습 장치가, 중요 기능어 어미를 포함하는 언어단위 사전을 구축하는 단계; 상기 언어단위 사전을 기반으로 랜덤 전어절 구간 마스킹을 수행하여 학습 데이터를 생성하는 단계; 및 상기 학습 데이터를 기반으로 딥러닝 언어모델에 대해 문자열 복원 학습 및 다음 문자열 예측 생성 학습을 포함하는 복합 학습을 수행하는 단계를 포함한다.
Int. CL G06F 40/242 (2020.01.01) G06F 40/268 (2020.01.01) G06F 40/216 (2020.01.01) G06F 40/284 (2020.01.01) G06N 3/08 (2023.01.01)
CPC G06F 40/242(2013.01) G06F 40/268(2013.01) G06F 40/216(2013.01) G06F 40/284(2013.01) G06N 3/08(2013.01)
출원번호/일자 1020220060956 (2022.05.18)
출원인 한국전자통신연구원
등록번호/일자
공개번호/일자 10-2023-0011220 (2023.01.20) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020210091541   |   2021.07.13
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2022.05.18)
심사청구항수 10

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김민호 대전광역시 유성구
2 임준호 대전광역시 유성구
3 류지희 대전광역시 유성구
4 김현 대전광역시 유성구
5 김현기 대전광역시 유성구
6 배경만 대전광역시 유성구
7 배용진 대전광역시 유성구
8 이형직 대전광역시 유성구
9 임수종 대전광역시 유성구
10 장명길 대전광역시 유성구
11 최미란 대전광역시 유성구
12 허정 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 (유)한양특허법인 대한민국 서울특별시 강남구 논현로**길 **

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2022.05.18 수리 (Accepted) 1-1-2022-0527121-39
2 선행기술조사의뢰서
Request for Prior Art Search		 2022.10.18 수리 (Accepted) 9-1-9999-9999999-89
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
딥러닝 언어모델을 위한 사전학습 장치가, 중요 기능어 어미를 포함하는 언어단위 사전을 구축하는 단계;상기 언어단위 사전을 기반으로 랜덤 전어절 구간 마스킹을 수행하여 학습 데이터를 생성하는 단계; 및상기 학습 데이터를 기반으로 딥러닝 언어모델에 대해 문자열 복원 학습 및 다음 문자열 예측 생성 학습을 포함하는 복합 학습을 수행하는 단계를 포함하는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 방법
2 2
청구항 1에 있어서, 상기 중요 기능어 어미는실질 내용어를 제외하고 어말에 나타나는 나머지 어미 또는 조사를 합친 음절묶음 형태에 상응하는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 방법
3 3
청구항 2에 있어서, 입력 문자열의 원형을 복원하지 않는 방식의 형태소 분석을 통해 상기 음절묶음 형태에 상응하는 복수개의 기능어 어미 후보들을 추출하는 단계;상기 기능어 어미 후보들을 대상으로 어말에 나타나는 빈도수, 어말 내용어에 나타나는 빈도수 및 오분리 사례 빈도수를 측정하는 단계; 및상기 어말에 나타나는 빈도, 상기 어말 내용어에 나타나는 빈도 및 상기 오분리 사례 빈도를 기반으로 상기 복수개의 기능어 어미 후보들 중 상기 중요 기능어 어미로 부적합한 기능어 어미 후보를 제외하여 상기 중요 기능어 어미를 결정하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 방법
4 4
청구항 3에 있어서, 상기 중요 기능어 어미로 부적합한 기능어 어미 후보는상기 복수개의 기능어 어미 후보들 중 상기 어말에 나타나는 빈도가 기설정된 기준 어말 빈도 미만인 기능어 어미 후보, 상기 복수개의 기능어 어미 후보들 중 상기 어말 내용어에 나타나는 빈도가 기설정된 기준 어말 내용어 빈도를 초과하는 기능어 어미 후보 및 상기 복수개의 기능어 어미 후보들 중 상기 오분리 사례 빈도가 기설정된 기준 오분리 사례 빈도를 초과하는 기능어 어미 후보에 상응하는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 방법
5 5
청구항 1에 있어서, 상기 랜덤 전어절 구간 마스킹은어절 분리가 발생하지 않도록 전어절 구간을 포함하는 랜덤 구간 마스킹 방식에 상응하는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 방법
6 6
청구항 1에 있어서, 입력 문자열에서 랜덤으로 선택된 마스킹 구간의 시작 부분과 끝 부분에서 어절 분리가 발생하였는지 판단하는 단계; 및상기 어절 분리가 발생한 경우, 어절 분리가 발생한 부분의 전어절 구간이 포함되도록 마스킹 구간을 확장하여 마스킹 구간을 조정하는 단계를 더 포함하는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 방법
7 7
청구항 6에 있어서, 상기 마스킹 구간에 상응하는 마스킹 비율이 기설정된 기준 마스킹 비율을 초과하는 경우, 어절 단위로 마스킹 구간을 축소시키는 단계를 더 포함하는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 방법
8 8
청구항 7에 있어서,상기 마스킹 구간은 적어도 하나의 전어절 구간을 포함하고, 상기 마스킹 구간의 축소로 인해 마스킹 구간 전체가 삭제되는 경우에는 상기 마스킹 구간의 축소는 생략되는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 방법
9 9
청구항 6에 있어서, 상기 학습 데이터는 랜덤 전어절 구간 마스킹 데이터를 기반으로 상기 마스킹 구간에 들어갈 문자열에 대한 복원 학습을 수행하기 위한 복원 학습 데이터 및 상기 랜덤 전어절 구간 마스킹 데이터와 예측 문자열 데이터를 기반으로 상기 입력 문자열의 다음에 입력될 문자열에 대한 생성 학습을 수행하기 위한 생성 학습 데이터를 포함하는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 방법
10 10
중요 기능어 어미를 포함하는 언어단위 사전을 구축하고, 상기 언어단위 사전을 기반으로 랜덤 전어절 구간 마스킹을 수행하여 학습 데이터를 생성하고, 상기 학습 데이터를 기반으로 딥러닝 언어모델에 대해 문자열 복원 학습 및 다음 문자열 예측 생성 학습을 포함하는 복합 학습을 수행하는 프로세서; 및상기 언어단위 사전 및 상기 학습 데이터를 저장하는 메모리를 포함하는 것을 특징으로 하는 딥러닝 언어 모델을 위한 사전학습 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 한국전자통신연구원 2019년 RnD 재발견프로젝트 (엑소브레인-총괄/1세부) 휴먼 지식증강 서비스를 위한 지능진화형 WiseQA 플랫폼 기술 개발