| 1 |
1
3D 포인트 클라우드 기반 딥러닝 신경망 가속장치에 있어서, 학습 대상인 뎁스 이미지를 입력받는 뎁스 이미지 입력부;상기 뎁스 이미지로부터 도출된 뎁스 데이터를 저장하는 뎁스 데이터 저장부; 미리 설정된 제1 크기의 샘플링 윈도우 단위로 상기 뎁스 이미지를 샘플링하는 샘플링부;상기 샘플링 결과에 의거하여, 미리 설정된 제2 크기의 그룹핑 윈도우를 생성한 후, 상기 그룹핑 윈도우별로 내부의 3D 포인트 데이터들을 그룹핑하는 그룹핑부; 및상기 뎁스 이미지를 구성하는 3D 포인트 데이터들 각각의 채널방향 데이터들 중, 그룹 값에 의해 영향을 받지 않는 포인트 피처 데이터들 및 그룹 값에 의해 영향을 받는 그룹 피처 데이터들을 분리하여 컨볼루션 연산한 후, 상기 그룹핑부에서 그룹핑된 그룹별로, 그 결과를 합산하여 최종 결과를 도출하는 컨볼루션 연산부를 포함하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 2 |
2
제1항에 있어서, 상기 샘플링부는상기 샘플링 윈도우를 생성하는 샘플링 윈도우 생성부;상기 샘플링 윈도우 단위로 상기 뎁스 데이터 저장부에 저장된 뎁스 데이터들을 로딩하여 3D 포인트 데이터로 변환하는 제1 3D 포인트 데이터 변환부;상기 샘플링 윈도우에 포함된 모든 3D 포인트 데이터들 각각과 임의의 샘플링 기준 3D 포인트 데이터와의 거리를 산출하는 제1 거리 산출부;상기 제1 거리 산출부의 거리 산출결과 상기 기준 3D 포인트 데이터와의 거리가 미리 설정된 제1 거리 임계치보다 큰 값을 갖는 하나의 3D 포인트 데이터를 대표 3D 포인트 데이터로 결정하는 샘플 포인트 데이터 결정부; 및미리 설정된 샘플링 알고리즘에 의거하여 상기 샘플링 윈도우 생성부, 상기 제1 3D 포인트 데이터 변환부, 상기 제1 거리 산출부, 및 상기 샘플 포인트 데이터 결정부의 동작을 제어하는 샘플링 제어부를 포함하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 3 |
3
제2항에 있어서, 상기 샘플링 윈도우 생성부는상기 샘플링 윈도우가 상기 뎁스 이미지 전체를 커버하되, 상기 뎁스 이미지 상에 일정한 간격으로 배치되도록 상기 샘플링 윈도우를 생성하되, 3D 포인트 클라우드 기반 딥러닝 신경망을 가속하기 위해 미리 설정된 3D 포인트 데이터의 수와 동일한 수의 샘플링 윈도우를 생성하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 4 |
4
제2항에 있어서, 상기 그룹핑부는상기 대표 3D 포인트 데이터를 중심으로 그룹핑 윈도우를 생성하는 그룹핑 윈도우 생성부;상기 그룹핑 윈도우 단위로 상기 뎁스 이미지를 구성하는 뎁스 데이터들을 로딩하여 3D 포인트 데이터로 변환하는 제2 3D 포인트 데이터 변환부;상기 그룹핑 윈도우에 포함된 모든 3D 포인트 데이터들 각각과 상기 대표 3D 포인트 데이터와의 거리를 산출하는 제2 거리 산출부; 상기 제2 거리 산출부의 거리 산출결과 상기 대표 3D 포인트 데이터와의 거리가 미리 설정된 제2 거리 임계치 이내인 2이상의 3D 포인트 데이터들을 모두 하나의 그룹으로 결정하는 그룹 결정부; 및미리 설정된 그룹핑 알고리즘에 의거하여 상기 그룹핑 윈도우 생성부, 상기 제2 3D 포인트 데이터 변환부, 상기 제2 거리 산출부, 및 상기 그룹 결정부의 동작을 제어하는 그룹핑 제어부를 포함하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 5 |
5
제4항에 있어서, 상기 샘플링 윈도우 생성부 및 상기 그룹핑 윈도우 생성부는입력되는 윈도우 생성정보에 의거하여 윈도우를 생성하는 하나의 윈도우 생성장치로 구현되고,상기 윈도우 생성장치는상기 샘플링 윈도우를 생성하기 위해 상기 샘플링 제어부로부터 입력되는 제1 설정정보에 의거하여 상기 샘플링 윈도우를 생성하거나, 상기 그룹핑 윈도우를 생성하기 위해 상기 그룹핑 제어부로부터 입력되는 제2 설정정보에 의거하여 상기 그룹핑 윈도우를 생성하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 6 |
6
제4항에 있어서, 상기 제1 3D 포인트 데이터 변환부 및 상기 제2 3D 포인트 데이터 변환부는입력되는 뎁스 데이터를 3D 포인트 데이터로 변환하는 하나의 데이터 변환장치로 구현되고,상기 데이터 변환장치는상기 샘플링 제어부의 제어에 의거하여 상기 샘플링 윈도우 단위로 로딩된 뎁스 데이터들을 3D 포인트로 변환하거나, 상기 그룹핑 제어부의 제어에 의거하여 상기 그룹핑 윈도우 단위로 로딩된 뎁스 데이터들을 3D 포인트로 변환하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 7 |
7
제4항에 있어서, 상기 제1 거리 산출부 및 상기 제2 거리 산출부는입력되는 3D 포인트들 간의 거리를 산출하는 하나의 거리 산출장치로 구현되고,상기 거리 산출장치는상기 샘플링 제어부의 제어에 의거하여 상기 샘플링 윈도우에 포함된 모든 3D 포인트 데이터들 각각과 임의의 샘플링 기준 3D 포인트 데이터와의 거리를 산출하거나, 상기 그룹핑 제어부의 제어에 의거하여 상기 그룹핑 윈도우에 포함된 모든 3D 포인트들 각각과 상기 대표 3D 포인트 데이터와의 거리를 산출하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 8 |
8
제4항에 있어서, 상기 샘플링 및 상기 그룹핑 결과를 임시 저장하는 출력버퍼를 더 포함하고,상기 출력버퍼는상기 샘플링 제어부의 제어에 의거하여 상기 대표 3D 포인트 데이터의 인덱스와 좌표값을 분리하여 저장하거나, 상기 그룹핑 제어부의 제어에 의거하여 그룹핑된 그룹에 포함된 3D 포인트 데이터들 각각의 인덱스와 좌표값을 분리하여 저장하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 9 |
9
제1항에 있어서, 상기 컨볼루션 연산부는컨볼루션 연산 대상인 입력 데이터와 가중치를 각각 상위 비트 및 하위 비트로 슬라이스하고, 상기 슬라이스된 입력 데이터들을 시간 순으로 컨볼루션 연산한 후, 그 결과를 축적하여 최종 결과를 산출하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 10 |
10
제9항에 있어서, 상기 컨볼루션 연산부는상기 슬라이스된 입력 데이터들 L개를 하나의 연산 단위로 설정하여 연산을 수행하되, 상기 연산 단위의 데이터들이 모두 0인 경우, 해당 연산 단위 데이터들에 대한 가중치 연산을 스키핑하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 11 |
11
제10항에 있어서, 상기 컨볼루션 연산부는슬라이스된 입력 데이터들 중 상위 비트 데이터 연산을 먼저 수행한 후 그 결과값으로 맥스 풀링 최댓값 위치를 예측하고, 상기 맥스 풀링 최댓값 위치가 아닌 위치의 데이터들의 하위 비트 데이터 연산을 스키핑하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 12 |
12
제1항에 있어서, 상기 컨볼루션 연산부는 파이프라인 구조로 설계되어, 상기 포인트 피처 데이터에 대한 컨볼루션 연산과, 상기 그룹 피처 데이터에 대한 컨볼루션 연산을 병렬 처리하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속장치
|
| 13 |
13
3D 포인트 클라우드 기반 딥러닝 신경망 가속 방법에 있어서,미리 설정된 제1 크기의 샘플링 윈도우 단위로 학습 대상인 뎁스 이미지를 샘플링하는 샘플링 단계;상기 샘플링 결과에 의거하여, 미리 설정된 제2 크기의 그룹핑 윈도우를 생성한 후, 상기 그룹핑 윈도우별로 내부의 3D 포인트 데이터들을 그룹핑하는 그룹핑 단계;상기 뎁스 이미지에 포함된 모든 3D 포인트 데이터들 각각의 채널방향 데이터들 중, 그룹 값에 의해 영향을 받지 않는 포인트 피처 데이터들만을 분리하여 컨볼루션 연산하고, 그 결과를 저장하는 제1 컨볼루션 연산 단계;상기 그룹핑된 그룹별로, 각 그룹을 구성하는 3D 포인트 데이터들 각각의 채널방향 데이터들 중, 그룹값에 의해 영향을 받는 그룹 피처 데이터들만을 분리하여 컨볼루션 연산하고, 그 결과를 저장하는 제2 컨볼루션 연산단계; 및상기 그룹별로, 각 그룹을 구성하는 3D 포인트 데이터들 각각에 대하여, 상기 제1 컨볼루션 연산 단계의 연산결과와 상기 제2 컨볼루션 연산 단계의 연산결과를 합산하는 최종 연산단계를 포함하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속 방법
|
| 14 |
14
제13항에 있어서, 상기 샘플링 단계는상기 샘플링 윈도우 단위로 상기 뎁스 이미지를 구성하는 뎁스 데이터들을 로딩하는 제1 로딩단계;상기 로딩된 뎁스 데이터들 각각을 3D 포인트 데이터로 변환하는 제1 변환단계;상기 샘플링 윈도우에 포함된 모든 3D 포인트 데이터들 각각과 임의의 샘플링 기준 3D 포인트 데이터와의 거리를 산출하는 제1 거리산출단계; 및상기 제1 거리 산출단계의 거리 산출결과 상기 기준 3D 포인트 데이터와의 거리가 미리 설정된 제1 거리 임계치보다 큰 값을 갖는 하나의 3D 포인트 데이터를 대표 3D 포인트 데이터로 결정하는 제1 결정단계를 포함하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속 방법
|
| 15 |
15
제14항에 있어서, 상기 샘플링 단계는상기 샘플링 윈도우가 상기 뎁스 이미지 전체를 커버하되, 상기 뎁스 이미지 상에 일정한 간격으로 배치되도록 상기 샘플링 윈도우를 생성하고, 3D 포인트 클라우드 기반 딥러닝 신경망을 가속하기 위해 미리 설정된 3D 포인트 데이터의 수와 동일한 수의 샘플링 윈도우를 생성하는 샘플링 윈도우 생성 단계를 더 포함하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속 방법
|
| 16 |
16
제14항에 있어서, 상기 그룹핑 단계는상기 샘플링 윈도우 별로 결정된 상기 대표 3D 포인트 데이터를 중심으로 그룹핑 윈도우를 생성하는 그룹핑 윈도우 생성단계;상기 그룹핑 윈도우 단위로 상기 뎁스 이미지를 구성하는 뎁스 데이터들을 로딩하는 제2 로딩단계;상기 로딩된 뎁스 데이터들 각각을 3D 포인트 데이터로 변환하는 제2 변환단계;상기 그룹핑 윈도우에 포함된 모든 3D 포인트 데이터들 각각과 상기 그룹핑 윈도우의 중심인 대표 3D 포인트 데이터와의 거리를 산출하는 제2 거리산출단계; 및상기 제2 거리산출단계의 거리 산출 결과에 의거하여 상기 대표 3D 포인트 데이터와의 거리가 미리 설정된 제2 거리 임계치 이내인 2이상의 3D 포인트 데이터들을 모두 그룹으로 결정하는 제2 결정단계를 포함하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속 방법
|
| 17 |
17
제13항에 있어서, 상기 제1 및 제2 컨볼루션 연산 단계 각각은컨볼루션 연산 대상인 입력 데이터와 가중치를 각각 상위 비트 및 하위 비트로 슬라이스하고, 상기 슬라이스된 입력 데이터들을 시간 순으로 컨볼루션 연산한 후, 그 결과를 축적하여 최종 결과를 산출하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속 방법
|
| 18 |
18
제17항에 있어서, 상기 제1 및 제2 컨볼루션 연산 단계 각각은상기 슬라이스된 입력 데이터들 L개를 하나의 연산 단위로 설정하여 연산을 수행하되, 상기 연산 단위의 데이터들이 모두 0인 경우, 해당 연산 단위 데이터들에 대한 가중치 연산을 스키핑하는 희소 입력 스키핑 단계를 포함하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속 방법
|
| 19 |
19
제18항에 있어서, 상기 제1 및 제2 컨볼루션 연산 단계 각각은슬라이스된 입력 데이터들 중 상위 비트 데이터 연산을 먼저 수행한 후 그 결과값으로 맥스 풀링 최댓값 위치를 예측하는 최댓값 위치 예측단계; 및 상기 맥스 풀링 최댓값 위치가 아닌 위치의 데이터들의 하위 비트 데이터 연산을 스키핑하는 출력 연산 스키핑 단계를 더 포함하는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속 방법
|
| 20 |
20
제13항에 있어서, 상기 제1 컨볼루션 연산 단계와, 상기 제2 컨볼루션 연산 단계는 시간적으로 중첩되어 병렬 처리되는 것을 특징으로 하는 3D 포인트 클라우드 기반 딥러닝 신경망 가속 방법
|
