1 |
1
인공 신경망 학습 장치가 입력 정보에 기초하여 인공 신경망의 레이어(layer)들에서 히든 벡터(hidden vector)들을 생성하는 단계;상기 인공 신경망 학습 장치가 상기 히든 벡터들에 기초하여 비용 함수(cost function)를 생성하는 단계; 및상기 인공 신경망 학습 장치가 상기 비용 함수에 히든 벡터 공간 상의 구형 표면 내부와 외부에 서로 상이한 패널티가 적용되는 구형화(sphericalizing) 패널티를 부가하는 단계를 포함하는 인공 신경망 학습 방법
|
2 |
2
제1항에 있어서,상기 구형화 패널티를 부가하는 단계는,상기 히든 벡터 공간(space)을 히든 벡터 희귀도(sparsity)에 기초하여 제1 히든 벡터 공간 및 제2 히든 벡터 공간으로 구별(distinguish)하는 단계; 및상기 제1 히든 벡터 공간 및 상기 제2 히든 벡터 공간에 상이한 패널티를 적용하는 단계를 포함하는 인공 신경망 학습 방법
|
3 |
3
제2항에 있어서,상기 구별하는 단계는,상기 히든 벡터 공간 상에 원점을 중심으로 하는 n 차원 구형 표면을 생성하는 단계;상기 구형 표면의 내부를 상기 제1 히든 벡터 공간으로 설정하는 단계; 및상기 구형 표면의 외부를 상기 제2 히든 벡터 공간으로 설정하는 단계를 포함하는 인공 신경망 학습 방법
|
4 |
4
제2항에 있어서,상기 패널티를 적용하는 단계는,상기 제1 히든 벡터 공간에 0인 패널티를 적용하는 단계; 및상기 제2 히든 벡터 공간에 원점으로부터의 유클리디안 거리(Euclidean Distance)에 선형적으로 비례하여 증가하는 패널티를 적용하는 단계를 포함하는 인공 신경망 학습 방법
|
5 |
5
제4항에 있어서,상기 유클리디안 거리는 차원 수(number of dimension)의 제곱근 값을 한도로 하는인공 신경망 학습 방법
|
6 |
6
제1항에 있어서,상기 패널티를 부가하는 단계는,상기 히든 벡터들을 생성하는 상기 레이어들 중 적어도 하나의 레이어에 패널티를 부가하는 단계를 포함하는 인공 신경망 학습 방법
|
7 |
7
제1항에 있어서,상기 구형화 패널티를 부가하는 단계는,하기의 수학식에 기초하여 패널티를 부가하는 단계를 포함하는 인공 신경망 학습 방법
|
8 |
8
제7항에 있어서,상기 패널티 함수는 하기 수학식에 기초하여 결정되는인공 신경망 학습 방법
|
9 |
9
입력 정보를 수신하는 입력부; 및상기 입력 정보에 기초하여 인공 신경망의 레이어들에서 히든 벡터들을 생성하고, 상기 히든 벡터들에 기초하여 비용 함수를 생성하고, 상기 비용 함수에 히든 벡터 공간 상의 구형 표면 내부와 외부에 서로 상이한 패널티가 적용되는 구형화(sphericalizing) 패널티를 부가하는 컨트롤러를 포함하는 인공 신경망 학습 장치
|
10 |
10
제9항에 있어서,상기 컨트롤러는,입력 정보에 기초하여 인공 신경망 레이어들에서 히든 벡터들을 생성하는 벡터 생성 모듈;상기 히든 벡터에 기초하여 비용 함수를 생성하는 비용 함수 생성 모듈; 및상기 비용 함수에 상기 히든 벡터 공간 상의 구형 표면 내부와 외부에 서로 상이한 패널티가 적용되는 구형화 패널티를 부가하는 패널티 부가 모듈을 포함하는 인공 신경망 학습 장치
|
11 |
11
제10항에 있어서,상기 패널티 부가 모듈은,상기 히든 벡터 공간을 히든 벡터 희귀도에 기초하여 제1 히든 벡터 공간 및 제2 히든 벡터 공간으로 구별하는 구별 모듈; 및상기 제1 히든 벡터 공간 및 상기 제2 히든 벡터 공간에 상이한 패널티를 적용하는 패널티 적용 모듈(penalty application module)을 포함하는 인공 신경망 학습 장치
|
12 |
12
제11항에 있어서,상기 구별 모듈은,상기 히든 벡터 공간 상에 원점을 중심으로 하는 n 차원 구형 표면을 생성하는 구형화 모듈(sphericalizing module); 및상기 구형 표면의 내부를 상기 제1 히든 벡터 공간으로 설정하고, 상기 구형 표면의 외부를 상기 제2 히든 벡터 공간으로 설정하는 공간 분배 모듈(space distribution module)을 포함하는 인공 신경망 학습 장치
|
13 |
13
제11항에 있어서,상기 패널티 적용 모듈은,상기 제1 히든 벡터 공간에 0인 패널티를 적용하고, 상기 제2 히든 벡터 공간에 원점으로부터의 유클리디안 거리에 선형적으로 비례하여 증가하는 패널티를 적용하는인공 신경망 학습 장치
|
14 |
14
제13항에 있어서,상기 유클리디안 거리는 차원 수의 제곱근 값을 한도로 하는인공 신경망 학습 장치
|
15 |
15
제10항에 있어서,상기 패널티 부가 모듈은,상기 히든 벡터들을 생성하는 상기 레이어들 중 적어도 하나의 레이어에 패널티를 부가하는인공 신경망 학습 장치
|
16 |
16
제10항에 있어서,상기 패널티 부가 모듈은,하기의 수학식에 기초하여 패널티를 부가하는인공 신경망 학습 장치
|
17 |
17
제16항에 있어서,상기 패널티 함수는 하기 수학식에 기초하여 결정되는인공 신경망 학습 장치
|