| 1 |
1
양자화 및 배치 폴딩(batch folding)을 통해 AI 추론을 수행하는 장치에 있어서,컨볼루션 레이어와 배치 정규화 레이어를 구성하고, 활성화 함수(activation function)가 호출되어 컨볼루션 레이어로 활성화 입력이 인가되고 배치 정규화 레이어를 통해 출력이 생성되도록 구성되는 트레이닝 모듈; 및추론을 위한 활성화 입력 및 폴디드 모듈(folded module)의 가중치가 양자화기(quantizer)에 의해 양자화되도록 제어하고, 양자화된 활성화 입력과 가중치가 컨볼루션 연산을 통해 출력되도록 구성되는 튜닝 모듈을 포함하고, 상기 양자화기(quantizer)를 통해 입력되는 학습가능 양자화 파라미터(quantization parameter)를 포함하여 상기 튜닝 모듈의 컨볼루션 레이어가 추론을 위한 학습을 수행하는 것을 특징으로 하는, AI 추론 장치
|
| 2 |
2
제1 항에 있어서,상기 폴디드 모듈은 상기 트레이닝 모듈 내의 컨볼루션 레이어와 배치 정규화 레이어가 폴디드되어 하나의 폴디드 모듈로 형성되고, 상기 폴디드 모듈을 통한 출력이 상기 튜닝 모듈 내의 추론 모듈로 입력되는 것을 특징으로 하는, AI 추론 장치
|
| 3 |
3
제1 항에 있어서,상기 튜닝 모듈은,상기 추론을 위한 활성화 입력이 인가되는 제1 양자화기; 및상기 폴디드 모듈(folded module)의 가중치가 인가되는 제2 양자화기를 포함하는, AI 추론 장치
|
| 4 |
4
제1 항에 있어서,상기 튜닝 모듈은,상기 학습가능 양자화 파라미터를 이용한 학습과 상기 컨볼루션 레이어와 배치 정규화 레이어의 배치 폴딩을 동시에 진행하는 것을 특징으로 하는, AI 추론 장치
|
| 5 |
5
제1 항에 있어서,상기 튜닝 모듈은,상기 학습가능 양자화 파라미터의 activation 양자화 범위를 동적으로 변경하되, 상기 activation 양자화 범위의 하한을 음수(negative number)로 설정하여 학습 정확도를 향상시키는, AI 추론 장치
|
| 6 |
6
제5 항에 있어서,상기 튜닝 모듈은,동적으로 변경된 양자화 범위를 갖는 학습가능 양자화 파라미터를 포함하여 추론을 위한 학습을 수행하도록 제2 컨벌루션 레이어를 제어하고,상기 동적으로 변경된 양자화 범위를 갖는 학습가능 양자화 파라미터를 이용한 학습과 제1 컨볼루션 레이어와 배치 정규화 레이어의 배치 폴딩을 동시에 진행하는, AI 추론 장치
|
| 7 |
7
제1 항에 있어서,상기 튜닝 모듈은,학습가능 양자화 파라미터를 포함하여 추론을 위한 학습을 수행하도록 제2 컨벌루션 레이어를 제어하되,상기 제2 컨벌루션 레이어를 통한 컨벌루션 연산은 정수 행렬 곱(integer matrix multiplication)을 통해 수행되고, 상기 제2 컨벌루션 레이어를 통한 컨벌루션 연산 이후 배치 레이어 관련 연산 과정이 생략되는 것을 특징으로 하는, AI 추론 장치
|
| 8 |
8
양자화 및 배치 폴딩(batch folding)을 통해 AI 추론을 수행하는 로컬 디바이스에 있어서,사용자 입력을 수신하도록 구성된 인터페이스부; 로컬 디바이스 또는 주변의 상태 정보를 센싱하도록 구성된 센서부; 및인터페이스부와 동작 가능하게 결합되고, 사용자 입력, 상변 정보 및 컨텍스트 정보 중 적어도 하나에 기반하여 디바이스 제어를 수행함에 있어 학습을 위한 트레이닝 및 추론을 위한 학습을 수행하도록 구성된 제어부를 포함하고,상기 제어부는,컨볼루션 레이어와 배치 정규화 레이어를 구성하고, 활성화 함수(activation function)가 호출되어 컨볼루션 레이어로 활성화 입력이 인가되고 배치 정규화 레이어를 통해 출력이 생성되도록 구성되는 트레이닝 모듈; 및추론을 위한 활성화 입력 및 폴디드 모듈(folded module)의 가중치가 양자화기(quantizer)에 의해 양자화되도록 제어하고, 양자화된 활성화 입력과 가중치가 컨볼루션 연산을 통해 출력되도록 구성되는 튜닝 모듈을 포함하고, 상기 양자화기(quantizer)를 통해 입력되는 학습가능 양자화 파라미터(quantization parameter)를 포함하여 상기 튜닝 모듈의 컨볼루션 레이어가 추론을 위한 학습을 수행하는 것을 특징으로 하는, 로컬 디바이스
|
| 9 |
9
제8 항에 있어서,상기 폴디드 모듈은 상기 트레이닝 모듈 내의 컨볼루션 레이어와 배치 정규화 레이어가 폴디드되어 하나의 폴디드 모듈로 형성되고, 상기 폴디드 모듈을 통한 출력이 상기 튜닝 모듈 내의 추론 모듈로 입력되는 것을 특징으로 하는, 로컬 디바이스
|
| 10 |
10
제8 항에 있어서,상기 튜닝 모듈은,상기 추론을 위한 활성화 입력이 인가되는 제1 양자화기; 및상기 폴디드 모듈(folded module)의 가중치가 인가되는 제2 양자화기를 포함하는, 로컬 디바이스
|
| 11 |
11
제8 항에 있어서,상기 제어부는,상기 학습가능 양자화 파라미터를 이용한 학습과 상기 컨볼루션 레이어와 배치 정규화 레이어의 배치 폴딩을 동시에 진행하도록 상기 튜닝 모듈을 제어하는 것을 특징으로 하는, 로컬 디바이스
|
| 12 |
12
제8 항에 있어서,상기 제어부는,상기 학습가능 양자화 파라미터의 activation 양자화 범위를 동적으로 변경하되, 상기 activation 양자화 범위의 하한을 음수(negative number)로 설정하여 학습 정확도를 향상되도록 상기 튜닝 모듈을 제어하는, 로컬 디바이스
|
| 13 |
13
제12 항에 있어서,상기 제어부는, 동적으로 변경된 양자화 범위를 갖는 학습가능 양자화 파라미터를 포함하여 추론을 위한 학습을 수행하도록 제2 컨벌루션 레이어를 제어하고,상기 동적으로 변경된 양자화 범위를 갖는 학습가능 양자화 파라미터를 이용한 학습과 제1 컨볼루션 레이어와 배치 정규화 레이어의 배치 폴딩을 동시에 진행하도록 상기 튜닝 모듈을 제어하는, 로컬 디바이스
|
| 14 |
14
제13 항에 있어서,상기 제어부는,학습가능 양자화 파라미터를 포함하여 추론을 위한 학습을 수행하도록 제2 컨벌루션 레이어를 제어하되,상기 제2 컨벌루션 레이어를 통한 컨벌루션 연산은 정수 행렬 곱(integer matrix multiplication)을 통해 수행되고, 상기 제2 컨벌루션 레이어를 통한 컨벌루션 연산 이후 배치 레이어 관련 연산 과정이 생략되는 것을 특징으로 하는, 로컬 디바이스
|
| 15 |
15
양자화 및 배치 폴딩(batch folding)을 통해 AI 추론을 수행하는 방법에 있어서, 상기 방법은 로컬 디바이스의 프로세서에 의해 수행되고, 상기 방법은,컨볼루션 레이어와 배치 정규화 레이어를 구성하고, 활성화 함수(activation function)를 호출하여 컨볼루션 레이어로 활성화 입력이 인가되어 배치 정규화 레이어를 통해 출력을 생성하여, 디바이스 제어를 위한 트레이닝을 수행하는 트레이닝 과정; 추론을 위한 활성화 입력 및 폴디드 모듈(folded module)의 가중치가 양자화기(quantizer)에 의해 양자화되도록 제어하는 튜닝 과정; 및양자화된 활성화 입력과 가중치에 따른 컨볼루션 연산을 통해, 디바이스 제어와 연관된 추론을 수행하는 추론 과정을 포함하고, 상기 튜닝 과정에서, 상기 양자화기(quantizer)를 통해 입력되는 학습가능 양자화 파라미터(quantization parameter)를 포함하여 튜닝 모듈의 컨볼루션 레이어가 추론을 위한 학습을 수행하는 것을 특징으로 하는, AI 추론 방법
|
| 16 |
16
제15 항에 있어서,상기 트레이닝 과정에서, 트레이닝 모듈 내의 컨볼루션 레이어와 배치 정규화 레이어가 폴디드되어 하나의 폴디드 모듈로 형성되고, 상기 폴디드 모듈을 통한 출력이 튜닝 모듈 내의 추론 모듈로 입력되고,상기 튜닝 모듈은,상기 추론을 위한 활성화 입력이 인가되는 제1 양자화기; 및상기 폴디드 모듈(folded module)의 가중치가 인가되는 제2 양자화기를 포함하는, AI 추론 방법
|
| 17 |
17
제15 항에 있어서,상기 튜닝 과정에서,상기 학습가능 양자화 파라미터를 이용한 학습과 상기 컨볼루션 레이어와 배치 정규화 레이어의 배치 폴딩을 동시에 진행하는 것을 특징으로 하는, AI 추론 방법
|
| 18 |
18
제15 항에 있어서,상기 튜닝 과정에서,상기 학습가능 양자화 파라미터의 activation 양자화 범위를 동적으로 변경하되, 상기 activation 양자화 범위의 하한을 음수(negative number)로 설정하여 학습 정확도를 향상시키는, AI 추론 방법
|
| 19 |
19
제18 항에 있어서,상기 튜닝 과정에서,동적으로 변경된 양자화 범위를 갖는 학습가능 양자화 파라미터를 포함하여 추론을 위한 학습을 수행하도록 제2 컨벌루션 레이어를 제어하고,상기 동적으로 변경된 양자화 범위를 갖는 학습가능 양자화 파라미터를 이용한 학습과 제1 컨볼루션 레이어와 배치 정규화 레이어의 배치 폴딩을 동시에 진행하는, AI 추론 방법
|
| 20 |
20
제15 항에 있어서,상기 튜닝 과정에서,학습가능 양자화 파라미터를 포함하여 추론을 위한 학습을 수행하도록 제2 컨벌루션 레이어를 제어하되,상기 제2 컨벌루션 레이어를 통한 컨벌루션 연산은 정수 행렬 곱(integer matrix multiplication)을 통해 수행되고, 상기 제2 컨벌루션 레이어를 통한 컨벌루션 연산 이후 배치 레이어 관련 연산 과정이 생략되는 것을 특징으로 하는, AI 추론 방법
|
