| 1 |
1
재귀신경망의 활성화 함수 구현 방법에 있어서,(a) 재귀신경망의 추론 과정에 적용되는 제1유형 활성화 함수에 대한 기울기(Slope) 및 절편(Offset)을 포함하는 테이블을 생성하는 단계;(b) 상기 재귀신경망의 추론을 위한 입력 데이터 및 상기 입력 데이터에 적용할 활성화 함수의 유형 정보를 수신하는 단계; 및(c) 상기 유형 정보에 따라 상기 기울기와 상기 절편 또는 상기 기울기로부터 변환된 변환 기울기와 상기 절편으로부터 변환된 변환 절편을 기초로 하여 상기 입력 데이터에 대응하는 출력 데이터를 도출하는 단계,를 포함하는, 활성화 함수 구현 방법
|
| 2 |
2
제1항에 있어서,상기 (c) 단계는,(c1) 상기 유형 정보가 상기 제1유형 활성화 함수에 대응하면, 상기 기울기 및 상기 절편에 기초하여 상기 출력 데이터를 도출하는 단계; 및(c2) 상기 유형 정보가 상기 제1유형 활성화 함수와 상이한 제2유형 활성화 함수에 대응하면, 상기 변환 기울기 및 상기 변환 절편에 기초하여 상기 출력 데이터를 도출하는 단계,를 포함하는 것인, 활성화 함수 구현 방법
|
| 3 |
3
제2항에 있어서,상기 (c2) 단계는,상기 제1유형 활성화 함수와 상기 제2유형 활성화 함수의 수학적 관계를 기초로 하여 상기 테이블을 참조하여 상기 변환 기울기 및 상기 변환 절편을 도출하는 단계,를 포함하는 것인, 활성화 함수 구현 방법
|
| 4 |
4
제3항에 있어서,상기 제1유형 활성화 함수는 시그모이드 함수이고,상기 제2유형 활성화 함수는 하이퍼볼릭탄젠트 함수인 것인, 활성화 함수 구현 방법
|
| 5 |
5
제3항에 있어서,상기 입력 데이터는 복수 개의 비트를 포함하는 고정 소수점 데이터이고,상기 (c2) 단계는,상기 입력 데이터에 대응하는 상기 기울기에 시프트 연산을 수행하여 상기 변환 기울기를 도출하는 것인, 활성화 함수 구현 방법
|
| 6 |
6
제3항에 있어서,상기 입력 데이터는 복수 개의 비트를 포함하는 고정 소수점 데이터이고,상기 (c2) 단계는,상기 입력 데이터에 대응하는 상기 절편의 프랙션 포인트(fraction point)를 기준으로 하는 상측 비트들 및 하측 비트들을 각각 대체함으로써 상기 변환 절편을 도출하는 것인, 활성화 함수 구현 방법
|
| 7 |
7
제1항에 있어서,상기 (a) 단계에 의해 생성되는 상기 테이블은,상기 제1유형 활성화 함수에 대한 입력 구간을 복수의 구간으로 나누고, 상기 복수의 구간 각각에 대응하여 선형 근사화된 상기 기울기 및 상기 절편을 구간별로 저장하는 것인, 활성화 함수 구현 방법
|
| 8 |
8
제7항에 있어서,상기 (c) 단계는,복수 개의 비트를 포함하는 상기 입력 데이터의 미리 설정된 수의 상위 비트에 기초하여 상기 복수의 구간 중에서 상기 입력 데이터에 대응하는 구간을 결정하고, 상기 테이블에서 해당 구간에 대하여 저장된 상기 기울기 및 상기 절편을 활용하여 상기 출력 데이터를 도출하는 것인, 활성화 함수 구현 방법
|
| 9 |
9
제3항에 있어서,상기 재귀신경망은 상기 제1유형 활성화 함수를 적용하는 게이트 및 상기 제2유형 활성화 함수를 적용하는 게이트를 포함하는 신경망인 것을 특징으로 하는, 활성화 함수 구현 방법
|
| 10 |
10
재귀신경망의 활성화 함수 구현 장치에 있어서,재귀신경망의 추론 과정에 적용되는 제1유형 활성화 함수에 대한 기울기(Slope) 및 절편(Offset)을 포함하는 테이블을 생성하는 테이블 생성부;상기 재귀신경망의 추론을 위한 입력 데이터 및 상기 입력 데이터에 적용할 활성화 함수의 유형 정보를 수신하는 입력 수신부; 및상기 유형 정보에 따라 상기 기울기와 상기 절편 또는 상기 기울기로부터 변환된 변환 기울기와 상기 절편으로부터 변환된 변환 절편을 기초로 하여 상기 입력 데이터에 대응하는 출력 데이터를 도출하는 활성화 연산부,를 포함하는, 활성화 함수 구현 장치
|
| 11 |
11
제10항에 있어서,상기 활성화 연산부는,상기 유형 정보가 상기 제1유형 활성화 함수에 대응하면, 상기 기울기 및 상기 절편에 기초하여 상기 출력 데이터를 도출하고, 상기 유형 정보가 상기 제1유형 활성화 함수와 상이한 제2유형 활성화 함수에 대응하면, 상기 변환 기울기 및 상기 변환 절편에 기초하여 상기 출력 데이터를 도출하는 것인, 활성화 함수 구현 장치
|
| 12 |
12
제11항에 있어서,상기 활성화 연산부는,상기 제1유형 활성화 함수와 상기 제2유형 활성화 함수의 수학적 관계를 기초로 하여 상기 테이블을 참조하여 상기 변환 기울기 및 상기 변환 절편을 도출하는 것인, 활성화 함수 구현 장치
|
| 13 |
13
제12항에 있어서,상기 제1유형 활성화 함수는 시그모이드 함수이고,상기 제2유형 활성화 함수는 하이퍼볼릭탄젠트 함수인 것인, 활성화 함수 구현 장치
|
| 14 |
14
제12항에 있어서,상기 입력 데이터는 복수 개의 비트를 포함하는 고정 소수점 데이터이고,상기 활성화 연산부는,상기 입력 데이터에 대응하는 상기 기울기에 시프트 연산을 수행하여 상기 변환 기울기를 도출하는 것인, 활성화 함수 구현 장치
|
| 15 |
15
제12항에 있어서,상기 입력 데이터는 복수 개의 비트를 포함하는 고정 소수점 데이터이고,상기 활성화 연산부는,상기 입력 데이터에 대응하는 상기 절편의 프랙션 포인트(fraction point)를 기준으로 하는 상측 비트들 및 하측 비트들을 각각 대체함으로써 상기 변환 절편을 도출하는 것인, 활성화 함수 구현 장치
|
| 16 |
16
제10항에 있어서,상기 테이블 생성부는,상기 제1유형 활성화 함수에 대한 입력 구간을 복수의 구간으로 나누고, 상기 복수의 구간 각각에 대응하여 선형 근사화된 상기 기울기 및 상기 절편을 구간별로 상기 테이블에 저장하는 것인, 활성화 함수 구현 장치
|
