| 1 |
1
트랜스포머 기반 언어 서비스 가속화 장치로서,제1 데이터 패스를 구성하는 행렬 처리 유닛(matrix processing unit); 및제2 데이터 패스를 구성하는 벡터 처리 유닛(vector processing unit)을 포함하고, 상기 제1 데이터 패스는 행렬 관련 명령과 연관되고,상기 제2 데이터 패스는 벡터 관련 명령과 연관되고,상기 제1 데이터 패스와 상기 제2 데이터 패스는 병렬적으로 처리되는, 가속화 장치
|
| 2 |
2
제1항에 있어서,상기 행렬 처리 유닛은,행렬 관련 명령을 처리하는 행렬 기능 유닛(matrix function unit); 및 상기 행렬 기능 유닛과 연결된 제1 특수 기능 유닛(special function unit)을 포함하는, 가속화 장치
|
| 3 |
3
제2항에 있어서,상기 행렬 기능 유닛은 입력으로 벡터를 수신하고, 행렬-벡터 곱셈(multiplication)을 병렬적으로 처리하도록 구성된 복수의 트리 기반 MAC(Multiplier-Accumulator)를 포함하고,상기 복수의 트리 기반 MAC 각각에 상기 언어 서비스와 연관된 인공 신경망의 가중치 행렬의 서로 다른 열에서의 승수(multiplicand)가 전달되는, 가속화 장치
|
| 4 |
4
제2항에 있어서,상기 행렬 기능 유닛의 출력이 상기 제1 특수 기능 유닛으로 입력되고,상기 제1 특수 기능 유닛은 상기 언어 서비스와 연관된 인공 신경망의 비선형 함수를 처리하는, 가속화 장치
|
| 5 |
5
제2항에 있어서,상기 제1 특수 기능 유닛은 활성화(activation) 연산을 처리하는, 가속화 장치
|
| 6 |
6
제2항에 있어서,상기 제1 특수 기능 유닛은,하삼각 행렬(lower triangular matrix)을 생성하도록 구성된 마스킹 유닛;GELU(Gaussian Error Linear Unit) 활성화 함수를 지원하도록 구성된 GELU 유닛;비대칭 버퍼를 이용하여 입력값을 연결하도록 구성된 벡터라이저(vectorizer) 유닛; 및벡터의 최대값 또는 argmax 값을 찾도록 구성된 리듀스 맥스(reduce max) 유닛을 포함하는, 가속화 장치
|
| 7 |
7
제6항에 있어서,상기 제1 특수 기능 유닛은 입력을 GELU 유닛 및 마스킹 유닛을 거치지 않고, 벡터라이저(vectorizer) 유닛으로 사이클 패널티 없이 바로 전달하기 위한 바이패스 경로를 포함하는, 가속화 장치
|
| 8 |
8
제1항에 있어서,상기 벡터 처리 유닛은,벡터 관련 명령을 처리하는 벡터 기능 유닛(vector function unit); 및 상기 벡터 기능 유닛과 연결된 제2 특수 기능 유닛(special function unit)을 포함하는, 가속화 장치
|
| 9 |
9
제8항에 있어서,상기 벡터 기능 유닛은 요소별(element-wise) 벡터 연산을 지원하는 부동 소수점 산술 논리 유닛(Arithmetic Logic Unit)인, 가속화 장치
|
| 10 |
10
제8항에 있어서,상기 벡터 기능 유닛은 불필요한 계산 사이클을 줄이기 위해 입력 포트와 출력 포트를 바로 연결하는 바이패스 경로를 포함하는, 가속화 장치
|
| 11 |
11
제8항에 있어서,상기 벡터 기능 유닛의 출력이 상기 제2 특수 기능 유닛으로 입력되고,상기 제2 특수 기능 유닛은 상기 언어 서비스와 연관된 인공 신경망의 비선형 함수를 처리하는, 가속화 장치
|
| 12 |
12
제8항에 있어서,상기 벡터 기능 유닛의 출력이 상기 제2 특수 기능 유닛으로 입력되고,상기 제2 특수 기능 유닛은 가산기 트리(adder tree) 유닛, 역수(reciprocal) 유닛, 역제곱근(reciprocal square root) 유닛 및 멀티플렉서 유닛을 포함하고,상기 제2 특수 기능 유닛은, 입력 포트와 출력 포트를 바로 연결하는 제1 바이패스 경로, 그리고 상기 가산기 트리 유닛의 출력을 상기 역수 유닛과 상기 역제곱근 유닛을 거치지 않고 멀티플레서 유닛으로 바로 전달하기 위한 제2 바이패스 경로를 포함하는, 가속화 장치
|
| 13 |
13
제1항에 있어서,고대역폭 메모리(High Bandwidth Memory) 및 DDR 메모리로부터 데이터를 읽고 쓰기 위한 DMA(Direct Memory Access);다른 가속화 장치와 통신하기 위한 라우터;상기 DMA 및 상기 라우터를 통해 데이터를 수신하고, 수신된 데이터에 기초하여 상기 행렬 처리 유닛 및 상기 벡터 처리 유닛을 위한 명령을 생성하도록 구성된 레지스터 파일 매니저(Register File Manager); 및상기 행렬 처리 유닛, 상기 벡터 처리 유닛, 상기 DMA, 상기 라우터 및 상기 레지스터 파일 매니저의 상태를 추적하고 제어함으로써, 전체 데이터 흐름을 제어하도록 구성된 제어 유닛을 더 포함하는, 가속화 장치
|
| 14 |
14
트랜스포머 기반 언어 서비스 가속화를 위한 다중 FPGA 가속 시스템으로서,제1 호스트 CPU(Central Processing Unit); 및상기 제1 호스트 CPU와 연결된 제1 FPGA(Field Programmable Gate Arrary) 클러스터를 포함하고,각 FPGA는 2개의 컴퓨트 코어(computer core)를 포함하고,각 컴퓨트 코어는,제1 데이터 패스를 구성하는 행렬 처리 유닛(matrix processing unit); 및제2 데이터 패스를 구성하는 벡터 처리 유닛(vector processing unit)을 포함하고, 상기 제1 데이터 패스는 행렬 관련 명령과 연관되고,상기 제2 데이터 패스는 벡터 관련 명령과 연관되고,상기 제1 데이터 패스와 상기 제2 데이터 패스는 병렬적으로 처리되는, 다중 FPGA 가속 시스템
|
| 15 |
15
제14항에 있어서,상기 제1 FPGA 클러스터 내의 FPGA들은 QSFP(Quad Small Form Factor Pluggable) 트랜스시버를 이용하여 서로 연결되어 링 네트워크를 형성하는, 다중 FPGA 가속 시스템
|
| 16 |
16
제14항에 있어서,상기 언어 서비스와 연관된 인공 신경망에 포함된 셀프 어텐션(Self-attention) 및 피드포워드 네트워크에서 모델 매개변수 또는 가중치 행렬이 열 방향으로 복수의 부분으로 분할되고, 상기 복수의 부분 각각이 각 컴퓨트 코어에 입력되고,각 컴퓨트 코어는 입력된 부분에 대해 동일한 연산을 처리하는, 다중 FPGA 가속 시스템
|
| 17 |
17
제14항에 있어서,각 FPGA 내의 2개의 컴퓨트 코어 사이의 통신 속도와 각 FPGA 사이의 통신 속도가 동일하도록 밸런싱되는, 다중 FPGA 가속 시스템
|
| 18 |
18
제14항에 있어서,제2 호스트 CPU; 및상기 제2 호스트 CPU와 연결된 제2 FPGA 클러스터를 더 포함하고,상기 제1 호스트 CPU는 QPI(QuickPath Interconnect)를 통해 상기 제2 호스트 CPU와 연결되는, 다중 FPGA 가속 시스템
|
