| 1 |
1
입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 시스템에 있어서,데이터베이스에 저장된 의미파악 멀티모달 학습데이터에 기초하여 의미파악 과정을 학습하고, 상기 멀티모달을 입력받아 상기 학습 결과에 기초하여 의미파악 결과를 출력하는 제 1 프로세서 및상기 제 1 프로세서의 의미파악 과정의 학습을 위한 지식성장을 위해 의미파악 학습 세트를 생성하여 상기 제 1 프로세서로 제공하는 제 2 프로세서를 포함하는 뉴럴 기억 컴퓨팅 시스템
|
| 2 |
2
제 1 항에 있어서,상기 제 1 프로세서는 상기 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터 단위로 임베딩하고, 상기 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 3 |
3
제 2 항에 있어서,상기 제 1 프로세서는 심층 신경망을 이용하여 상기 의미파악 멀티모달 학습데이터 중 청각 및 시각에 대응하는 학습데이터에 대한 특징 추출 과정을 학습하고, 상기 청각 및 시각에 대응하는 학습데이터에 대한 상기 심층 신경망의 최종 은닉층값을 출력하여 상기 벡터로 임베딩하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 4 |
4
제 2 항에 있어서,상기 제 1 프로세서는 상기 멀티모달 학습데이터 중 텍스트에 대응하는 학습 데이터의 경우, 미리 준비된 텍스트 코퍼스를 이용하여 심층 신경망 기반의 단어벡터 공간을 학습한 후, 상기 텍스트에 대한 단어 벡터값을 출력하여 상기 벡터로 임베딩하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 5 |
5
제 2 항에 있어서,상기 제 1 프로세서는 의미파악을 위한 질의응답에 대응되는 연관정보가 기억공간 상에 저장되어 있지 않은 경우, 상기 연관정보를 상기 기억공간 상에 쓰기 위한 태깅을 수행하고, 상기 질의응답에 대해서는 입력 질의에 의미파악 학습용 입력 및 의미파악 학습용 출력 태깅을 수행하여 상기 의미파악 학습 세트를 생성하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 6 |
6
제 5 항에 있어서,상기 제 1 프로세서는 상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 쓰기 태깅이 수행된 입력은 텍스트 모달리티, 시각 모달리티 및 청각 모달리티로 구별하여 상기 기억공간 상에 저장하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 7 |
7
제 6 항에 있어서, 상기 제 1 프로세서는 상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 의미파악 학습용 입력 태깅된 모달리티를 심층신경망의 입력으로 설정하고, 상기 의미파악 학습용 출력 태깅된 모달리티를 심층신경망의 출력으로 설정하여 상기 심층신경망을 학습하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 8 |
8
제 1 항에 있어서,상기 제 1 프로세서는 상기 입력된 질의 및 연관정보를 포함하는 멀티모달에 대하여 기 설정된 크기의 벡터 단위로 임베딩하고, 상기 임베딩된 질의 및 연관정보를 포함하는 멀티모달을 심층신경망에 반복적으로 입력하여 의미파악 결과를 출력하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 9 |
9
제 8 항에 있어서,상기 제 1 프로세서는 의미파악을 위한 질의응답에 대응되는 연관정보가 저장된 기억공간 내의 데이터 중 상기 의미파악 결과가 상기 연관정보와 관련된 데이터를 상기 심층신경망에서 출력된 가중치를 이용하여 갱신하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 10 |
10
제 1 항에 있어서,상기 제 2 프로세서는 도메인 정보를 샘플링하고, 상기 샘플링된 도메인 정보에 기초하여 구축된 도메인 질의응답 세트를 이용하여 상기 의미파악 학습 세트를 생성하는 질의생성 심층신경망을 학습하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 11 |
11
제 10 항에 있어서,상게 제 2 프로세서는 응답에 대응하는 텍스트 입력 및 상기 텍스트 입력과 연관정보로 관련된 모달리티 정보를 호출하여 벡터로 변환한 뒤 상기 질의생성 심층신경망의 입력으로 설정하고, 질의에 해당하는 벡터로 변환된 텍스트를 상기 질의생성 심층신경망의 출력으로 설정하여 상기 질의생성 심층신경망을 학습하는 것인 뉴럴 기억 컴퓨팅 시스템
|
| 12 |
12
입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 방법에 있어서,데이터베이스에 저장된 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩하는 단계;상기 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성하는 단계 및상기 생성된 의미파악 학습 세트에 포함된 멀티모달에 기초하여 심층신경망을 학습하는 단계;상기 학습된 심층신경망에 기초하여 상기 입력된 멀티모달에 대한 의미파악 결과를 출력하는 단계를 포함하는 뉴럴 기억 컴퓨팅 방법
|
| 13 |
13
제 12 항에 있어서,상기 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩하는 단계는,상기 심층 신경망을 이용하여 상기 의미파악 멀티모달 학습데이터 중 청각 및 시각에 대응하는 학습데이터에 대한 특징 추출 과정을 학습하고, 상기 청각 및 시각에 대응하는 학습데이터에 대한 상기 심층 신경망의 최종 은닉층값을 출력하여 상기 벡터로 임베딩하는 것인 뉴럴 기억 컴퓨팅 방법
|
| 14 |
14
제 12 항에 있어서,상기 의미파악 멀티모달 학습데이터를 기 설정된 크기의 벡터로 임베딩하는 단계는,상기 의미파악 멀티모달 학습데이터 중 텍스트에 대응하는 학습 데이터의 경우, 미리 준비된 텍스트 코퍼스를 이용하여 심층 신경망 기반의 단어벡터 공간을 학습한 후, 상기 텍스트에 대한 단어 벡터값을 출력하여 상기 벡터로 임베딩하는 것인 뉴럴 기억 컴퓨팅 방법
|
| 15 |
15
제 14 항에 있어서,상기 임베딩된 벡터에 기초하여 의미파악 학습 세트를 생성하는 단계는,의미파악을 위한 질의응답에 대응되는 연관정보가 기억공간 상에 저장되어 있는지 여부를 확인하는 단계;상기 확인 결과 상기 기억공간 상에 저장되지 않은 경우, 상기 연관정보를 상기 기억공간 상에 쓰기 위한 태깅을 수행하는 단계 및상기 질의응답에 대해 입력 질의에 의미파악 학습용 입력 및 의미파악 학습용 출력 태깅을 수행하여 상기 의미파악 학습 세트를 생성하는 단계를 포함하는 뉴럴 기억 컴퓨팅 방법
|
| 16 |
16
제 15 항에 있어서,상기 생성된 의미파악 학습 세트에 포함된 멀티모달에 기초하여 심층신경망을 학습하는 단계는,상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 쓰기 태깅이 수행된 입력은 텍스트 모달리티, 시각 모달리티 및 청각 모달리티로 구별하여 상기 기억공간 상에 저장하는 단계;상기 의미파악 학습 세트에 포함된 멀티모달 중 상기 의미파악 학습용 입력 태깅된 모달리티를 심층신경망의 입력으로 설정하는 단계 및 상기 의미파악 학습용 출력 태깅된 모달리티를 심층신경망의 출력으로 설정하여 상기 심층신경망을 학습하는 단계를 포함하는 뉴럴 기억 컴퓨팅 방법
|
| 17 |
17
제 12 항에 있어서,상기 학습된 심층신경망에 기초하여 상기 입력된 멀티모달에 대한 의미파악 결과를 출력하는 단계는,상기 입력된 질의 및 연관정보를 포함하는 멀티모달에 대하여 기 설정된 크기의 벡터 단위로 임베딩하는 단계 및상기 임베딩된 질의 및 연관정보를 포함하는 멀티모달을 심층신경망에 반복적으로 입력하여 의미파악 결과를 출력하는 단계를 포함하는 뉴럴 기억 컴퓨팅 방법
|
| 18 |
18
제 17 항에 있어서,상기 학습된 심층신경망에 기초하여 상기 입력된 멀티모달에 대한 의미파악 결과를 출력하는 단계는,의미파악을 위한 질의응답에 대응되는 연관정보가 저장된 기억공간 내의 데이터 중 상기 의미파악 결과가 상기 연관정보와 관련된 데이터를 상기 심층신경망에서 출력된 가중치를 이용하여 갱신하는 단계를 더 포함하는 뉴럴 기억 컴퓨팅 방법
|
| 19 |
19
입력된 멀티모달의 의미파악 지식성장을 위한 뉴럴 기억 컴퓨팅 방법에 있어서,도메인 정보를 샘플링하는 단계;상기 샘플링된 도메인 정보에 기초하여 구축된 도메인 질의응답 세트를 이용하여, 질의생성 심층신경망을 학습하는 단계 및상기 질의생성 심층신경망에 기초하여 의미파악 학습 세트를 생성하는 단계를 포함하되,상기 질의생성 심층신경망을 생성하는 단계는,텍스트 입력 및 상기 텍스트 입력과 연관정보로 관련된 모달리티 정보를 호출하여 벡터로 변환한 뒤 상기 질의생성 심층신경망의 입력으로 설정하고, 질의에 해당하는 벡터로 변환된 텍스트를 상기 질의생성 심층신경망의 출력으로 설정하여 상기 질의생성 심층신경망을 학습하는 것인 뉴럴 기억 컴퓨팅 방법
|
