| 1 |
1
뉴럴 네트워크의 입력 변수(input variable) 집합에 속한 각 원소 값들에 대해 웨이트 및 바이어스를 포함하는 소정의 변분 모수를 이용하여 소정의 연산을 수행하여 생성된 하나 이상의 은닉층을 거쳐 상기 뉴럴 네트워크의 추론 출력 값을 산출하는, : X -003e# Y로 정의(여기서 는 입력 변수 집합 X의 원소인 x에 대하여 W를 모수로 가지는 뉴럴 네트워크의 출력 값이고, 상기 함수 는 입력 변수 집합 X를 정의역으로 목표 변수 집합 Y를 공역으로 가진다)되는 뉴럴 네트워크를 이용한 변분 추론 방법에 있어서,(a) 학습용 입력 변수 및 목표 변수를 입력받고, 소정의 학습용 출력 를 산출한 후, 상기 입력 변수와 상기 학습용 출력 값을 참조로 하여 로스를 최소화하도록 상기 변분 모수를 최적화하는 학습 단계를 거친 상태에서, 서버가, 테스트용 입력 변수 x에 상기 뉴럴 네트워크의 함수 를 적용하여 상기 추론 출력 를 산출하되, 상기 테스트용 입력 변수에 상기 변분 모수의 구성의 변경에 따라 상기 뉴럴 네트워크의 상기 추론 출력 산출 과정을 다수 회 반복 수행하여, 다수의 출력의 분포 값들을 산출하는 단계; 및(b) 상기 서버가, 상기 추론 출력값의 확률 추정치에 대한 불확정성 수량화를 산출하되, 상기 산출된 다수의 추론 출력 의 분포 값들을 이용하여 epistemic 불확정성 항과 aleatory 불확정성 항을 각각 산출하고, 산출된 상기 epistemic 불확정성 항과 상기 aleatory 불확정성 항의 합으로 상기 불확정성 수량화를 산출하는 단계; 를 포함하며,여기서, 상기 Aleatory 불확정성 항은 샘플 사이즈가 커져도 기설정된 수치 이하로 줄어들지 않은 항으로, EVPV(expected value of the process variance) 항인 E(Var(Y|X))을 추정하기 위한 항이고, 상기 Epistemic 불확정성 항은 샘플 사이즈가 커지면 상기 기설정된 수치 이하로 줄어드는 항으로 VHM(variance of the hypothetical means) 항인 Var(E(Y|X))을 추정하기 위한 항인 것을 특징으로 하되,상기 (b) 단계는, 아래 수학식을 통해 - 여기서 이고, t는 1내지 T까지의 T개의 표집 Index를 나타냄 -상기 불확정성 수량화를 산출하며, 여기서, 상기 aleatory 불확정성 항은 이며, 상기 epistemic 불확정성 항은 인 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 방법
|
| 2 |
2
삭제
|
| 3 |
3
제 1 항에 있어서,상기 (a) 단계는, 상기 뉴럴 네트워크의 소정의 층들 사이의 노드 간의 각 웨이트(w)가 변분 분포 를 따르는 랜덤 변수(random variable) 베이지안 모수가 되도록 하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 방법
|
| 4 |
4
제 3 항에 있어서,상기 (a) 단계는, 상기 각 웨이트(w)가 소정의 함수 w =S(e, θ)로 정해지도록 하고, 상기 변분 분포 가 샘플 사이즈가 커질수록 한점으로 수렴하는 성질을 가질 수 있도록 에러(e)와 상기 함수 (S) - 상기 에러(e)는 상기 변분 분포 에 따라 무작위로 생성되는 값이며, 상기 θ는 상기 변분 모수임 - 를 설정하여 상기 추론 출력 를 산출하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 방법
|
| 5 |
5
제 1 항에 있어서,상기 학습 단계는, (i) 상기 학습용 입력 변수 x 및 목표 변수 y 를 입력 받는 프로세스; (ii) 상기 학습용 입력 변수 x에 상기 뉴럴 네트워크의 함수 를 이용하여 상기 학습용 출력 를 산출하되, 상기 뉴럴 네트워크의 소정의 층들 사이의 노드 간의 각 웨이트(w)가 소정의 함수 w =S(e, θ)로 정해지도록 하고, 상기 w 가 변분 분포 를 따르는 랜덤 변수(random variable) 베이지안 모수가 되도록 하며, 상기 변분 분포 가 샘플 사이즈가 커질수록 한점으로 수렴하는 성질을 가질 수 있도록 에러(e)와 상기 함수 (S) - 상기 에러(e)는 상기 변분 분포 에 따라 무작위로 생성되는 값이며, 상기 θ는 변분 모수 임 - 를 설정하여 상기 학습용 출력 를 산출하는 프로세스; (iii) 상기 입력 변수와 상기 학습용 출력 값을 참조로 하여 로스를 산출하는 프로세스; 및 (iv) 상기 로스를 최소화하도록 백프로퍼게이션 알고리즘을 수행하여, 상기 변분 모수(θ)를 최적화하는 프로세스; 를 통해 상기 최적화된 변분 모수(θ)를 획득하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 방법
|
| 6 |
6
제 5 항에 있어서,상기 학습 단계 및 상기 (a) 단계는, 상기 에러(e)와 상기 변분 모수를 참조하여 생성된 웨이트로 형성된 교란층을 이용하여 각각의 은닉층을 생성하고,상기 에러 (e) 는 소정의 평균 값과 소정의 분산 함수 (g(n)) 값으로 이루어진 분포를 갖되, 상기 분산 함수는 n 이 커질수록 0으로 수렴하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 방법
|
| 7 |
7
제 5 항에 있어서, 상기 함수 S는 뉴럴 네트워크의 소정의 층들 사이의 노드 간의 기본 웨이트(M)들에 대응되는 변분 모수와 상기 에러(e)를 곱하여, 상기 기본 웨이트(M)들 및 이에 대응하는 노드를 교란하기 위한 교란 함수이며, 상기 교란층은 상기 교란 함수를 통해, 입력 또는 이전 은닉층의 노드들의 값에 상기 교란 함수를 이용하여 도출된 웨이트(w)를 곱하여 다음 은닉층 또는 출력을 생성하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 방법
|
| 8 |
8
제 5 항에 있어서, 상기 웨이트(w)가 상기 변분 모수(θ)와 상기 에러(e) 사이의 element-wise 곱을 포함하는 함수로 형성되는 경우, 상기 에러(e)는 평균이 1이고, 분산이 g(n)인 분포를 이루고, 이때, 상기 g(n) 은 n 이 커질수록 0으로 수렴하는 함수인 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 방법
|
| 9 |
9
제 5 항에 있어서, 상기 웨이트(w)가 상기 변분 모수(θ)와 상기 에러(e) 사이의 element-wise 합을 포함하는 함수로 형성되는 경우, 상기 에러(e)는 평균이 0이고, 분산이 g(n)인 분포를 이루고, 이때, 상기 g(n) 은 n 이 커질수록 0으로 수렴하는 함수인 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 방법
|
| 10 |
10
뉴럴 네트워크의 입력 변수(input variable) 집합에 속한 각 원소 값들에 대해 웨이트 및 바이어스를 포함하는 소정의 변분 모수를 이용하여 소정의 연산을 수행하여 생성된 하나 이상의 은닉층을 거쳐 상기 뉴럴 네트워크의 추론 출력 값을 산출하는, : X -003e# Y로 정의(여기서 는 입력 변수 집합 X의 원소인 x에 대하여 W를 모수로 가지는 뉴럴 네트워크의 출력 값이고, 상기 함수 는 입력 변수 집합 X를 정의역으로 목표 변수 집합 Y를 공역으로 가진다)되는 뉴럴 네트워크를 이용한 변분 추론 장치에 있어서,상기 입력 변수를 수신하는 통신부; 및(1) 학습용 입력 변수 및 목표 변수를 입력받고, 소정의 학습용 출력 를 산출한 후, 상기 입력 변수와 상기 학습용 출력 값을 참조로 하여 로스를 최소화하도록 상기 변분 모수를 최적화하는 학습 단계를 거친 상태에서, 테스트용 입력 변수 x 에 상기 뉴럴 네트워크의 함수 를 적용하여 상기 추론 출력 를 산출하되, 상기 테스트용 입력 변수에 상기 변분 모수의 구성의 변경에 따라 상기 뉴럴 네트워크의 상기 추론 출력 산출 과정을 다수 회 반복 수행하여, 다수의 출력의 분포 값들을 산출하는 프로세스; 및 (2) 상기 추론 출력값의 확률 추정치에 대한 불확정성 수량화를 산출하되, 상기 산출된 다수의 추론 출력 의 분포 값들을 이용하여 epistemic 불확정성 항과 aleatory 불확정성 항을 각각 산출하고, 산출된 상기 epistemic 불확정성 항과 상기 aleatory 불확정성 항의 합으로 상기 불확정성 수량화를 산출하는 프로세스;를 수행하는 프로세서를 포함하며,여기서, 상기 Aleatory 불확정성 항은 샘플 사이즈가 커져도 기설정된 수치 이하로 줄어들지 않은 항으로, EVPV(expected value of the process variance) 항인 E(Var(Y|X))을 추정하기 위한 항이고, 상기 Epistemic 불확정성 항은 샘플 사이즈가 커지면 상기 기설정된 수치 이하로 줄어드는 항으로 VHM(variance of the hypothetical means) 항인 Var(E(Y|X))을 추정하기 위한 항인 것을 특징으로 하되,상기 (2) 프로세스는, 아래 수학식을 통해 - 여기서 이고, t는 1내지 T까지의 T개의 표집 Index를 나타냄 -상기 불확정성 수량화를 산출하며, 여기서, 상기 aleatory 불확정성 항은 이며, 상기 epistemic 불확정성 항은 인 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 장치
|
| 11 |
11
삭제
|
| 12 |
12
제 10 항에 있어서,상기 (1) 프로세스는, 상기 뉴럴 네트워크의 소정의 층들 사이의 노드 간의 각 웨이트(w)가 변분 분포 를 따르는 랜덤 변수(random variable) 베이지안 모수가 되도록 하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 장치
|
| 13 |
13
제 12 항에 있어서,상기 (1) 프로세스는, 상기 각 웨이트(w)가 소정의 함수 w =S(e, θ)로 정해지도록 하고, 상기 변분 분포 가 샘플 사이즈가 커질수록 한점으로 수렴하는 성질을 가질 수 있도록 에러(e)와 상기 함수 (S) - 상기 에러(e)는 상기 변분 분포 에 따라 무작위로 생성되는 값이며, 상기 θ는 상기 변분 모수임 - 를 설정하여 상기 추론 출력 를 산출하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 장치
|
| 14 |
14
제 10 항에 있어서,상기 학습 단계는, (i) 상기 학습용 입력 변수 x 및 목표 변수 y 를 입력 받는 프로세스; (ii) 상기 학습용 입력 변수 x에 상기 뉴럴 네트워크의 함수 를 이용하여 상기 학습용 출력 를 산출하되, 상기 뉴럴 네트워크의 소정의 층들 사이의 노드 간의 각 웨이트(w)가 소정의 함수 w =S(e, θ)로 정해지도록 하고, 상기 w 가 변분 분포 를 따르는 랜덤 변수(random variable) 베이지안 모수가 되도록 하며, 상기 변분 분포 가 샘플 사이즈가 커질수록 한점으로 수렴하는 성질을 가질 수 있도록 에러(e)와 상기 함수 (S) - 상기 에러(e)는 상기 변분 분포 에 따라 무작위로 생성되는 값이며, 상기 θ는 변분 모수 임 - 를 설정하여 상기 학습용 출력 를 산출하는 프로세스; (iii) 상기 입력 변수와 상기 학습용 출력 값을 참조로 하여 로스를 산출하는 프로세스; 및 (iv) 상기 로스를 최소화하도록 백프로퍼게이션 알고리즘을 수행하여, 상기 변분 모수(θ)를 최적화하는 프로세스; 를 통해 상기 최적화된 변분 모수(θ)를 획득하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 장치
|
| 15 |
15
제 14 항에 있어서,상기 학습 단계 및 상기 (1) 프로세스는, 상기 에러(e)와 상기 변분 모수를 참조하여 생성된 웨이트로 형성된 교란층을 이용하여 각각의 은닉층을 생성하고,상기 에러 (e) 는 소정의 평균 값과 소정의 분산 함수 (g(n)) 값으로 이루어진 분포를 갖되, 상기 분산 함수는 n 이 커질수록 0으로 수렴하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 장치
|
| 16 |
16
제 14 항에 있어서, 상기 함수 S는 뉴럴 네트워크의 소정의 층들 사이의 노드 간의 기본 웨이트(M)들에 대응되는 변분 모수와 상기 에러(e)를 곱하여, 상기 기본 웨이트(M)들 및 이에 대응하는 노드를 교란하기 위한 교란 함수이며, 상기 교란층은 상기 교란 함수를 통해, 입력 또는 이전 은닉층의 노드들의 값에 상기 교란 함수를 이용하여 도출된 웨이트(w)를 곱하여 다음 은닉층 또는 출력을 생성하는 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 장치
|
| 17 |
17
제 14 항에 있어서, 상기 웨이트(w)가 상기 변분 모수(θ)와 상기 에러(e) 사이의 element-wise 곱을 포함하는 함수로 형성되는 경우, 상기 에러(e)는 평균이 1이고, 분산이 g(n)인 분포를 이루고, 이때, 상기 g(n) 은 n 이 커질수록 0으로 수렴하는 함수인 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 장치
|
| 18 |
18
제 14 항에 있어서, 상기 웨이트(w)가 상기 변분 모수(θ)와 상기 에러(e) 사이의 element-wise 합을 포함하는 함수로 형성되는 경우, 상기 에러(e)는 평균이 0이고, 분산이 g(n)인 분포를 이루고, 이때, 상기 g(n) 은 n 이 커질수록 0으로 수렴하는 함수인 것을 특징으로 하는 뉴럴 네트워크를 이용한 변분 추론 장치
|
