| 1 |
1
정규화 장치의 정규화 방법에 있어서,상기 정규화 장치가 입력 정보에 기초하여 인공 신경망의 레이어(layer)에서 히든 벡터(hidden vector)를 생성하는 단계;상기 정규화 장치가 상기 히든 벡터에 기초하여 비용 함수(cost function)를 생성하는 단계; 및상기 정규화 장치가 상기 비용 함수에 시간에 민감한 패널티(time-sensitive penalty)를 적용하는 단계를 포함하고,상기 적용하는 단계는,타임 스텝, 타임 스텝의 수, 및 임의의 활성화 기반 패널티에 기초하여 패널티를 적용하는 단계를 포함하고,상기 타임 스텝, 타임 스텝의 수, 및 임의의 활성화 기반 패널티에 기초하여 패널티를 적용하는 단계는,하기 수학식에 기초하여 패널티를 적용하는 단계를 포함하는 정규화 방법
|
| 2 |
2
제1항에 있어서,상기 히든 벡터를 생성하는 단계는,입력 게이트 벡터, 출력 게이트 벡터, 망각 게이트 벡터 및 셀 벡터에 기초하여 상기 히든 벡터를 생성하는 단계를 포함하는 정규화 방법
|
| 3 |
3
제1항에 있어서,상기 비용 함수를 생성하는 단계는,평균 제곱근 오차를 이용하여 상기 비용 함수를 생성하는 단계를 포함하는 정규화 방법
|
| 4 |
4
제3항에 있어서,상기 평균 제곱근 오차를 이용하여 상기 비용 함수를 생성하는 단계는,하기 수학식에 기초하여 상기 비용함수를 생성하는 단계를 포함하는 정규화 방법
|
| 5 |
5
제1항에 있어서,상기 적용하는 단계는,시간에 따라 감소하는 패널티를 적용하는 단계를 포함하는 정규화 방법
|
| 6 |
6
제5항에 있어서,상기 시간에 따라 감소하는 패널티를 적용하는 단계는,시간에 따라 선형적으로 감소하는 패널티를 적용하는 단계를 포함하는 정규화 방법
|
| 7 |
7
제5항에 있어서,상기 시간에 따라 감소하는 패널티를 적용하는 단계는,시간에 따라 비선형적으로 감소하는 패널티를 적용하는 단계를 포함하는 정규화 방법
|
| 8 |
8
삭제
|
| 9 |
9
입력 정보를 수신하는 수신기; 및상기 입력 정보에 기초하여 생성된 비용 함수에 시간에 민감한 패널티를 적용하는 프로세서를 포함하고,상기 프로세서는,상기 입력 정보에 기초하여 인공 신경망의 레이어(layer)에서 히든 벡터(hidden vector)를 생성하는 히든 벡터 생성기;상기 히든 벡터에 기초하여 비용 함수(cost function)를 생성하는 비용 함수 생성기; 및상기 비용 함수에 시간에 민감한 패널티(time-sensitive penalty)를 적용하는 패널라이저(penalizer)를 포함하고,상기 패널라이저는 타임 스텝, 타임 스텝의 수, 및 임의의 활성화 기반 패널티에 기초하여 패널티를 적용하고,상기 패널라이저는 하기 수학식에 기초하여 패널티를 적용하는정규화 장치
|
| 10 |
10
제9항에 있어서,상기 히든 벡터 생성기는,입력 게이트 벡터, 출력 게이트 벡터, 망각 게이트 벡터 및 셀 벡터에 기초하여 상기 히든 벡터를 생성하는정규화 장치
|
| 11 |
11
제9항에 있어서,상기 비용 함수 생성기는,평균 제곱근 오차를 이용하여 상기 비용 함수를 생성하는정규화 장치
|
| 12 |
12
제11항에 있어서,상기 비용 함수 생성기는,하기 수학식에 기초하여 상기 비용함수를 생성하는정규화 장치
|
| 13 |
13
제9항에 있어서,상기 패널라이저는,시간에 따라 감소하는 패널티를 적용하는정규화 장치
|
| 14 |
14
제13항에 있어서,상기 패널라이저는,시간에 따라 선형적으로 감소하는 패널티를 적용하는정규화 장치
|
| 15 |
15
제13항에 있어서,상기 패널라이저는,시간에 따라 비선형적으로 감소하는 패널티를 적용하는정규화 장치
|
| 16 |
16
삭제
|
