| 1 |
1
합성곱 연산을 통한 특징 추출 방법에 있어서,(A) 특징 추출이 필요한 텐서(tensor)인 입력 텐서를 입력받는 단계;(B) 상기 입력 텐서를 이용하여 쿼리 텐서와 키 텐서를 생성하는 단계; 및(C) 상기 입력 텐서, 상기 쿼리 텐서 및 상기 키 텐서에 특징 추출 필터를 적용하여 어텐티브 합성곱 연산을 수행하여 출력을 생성하는 단계;를 포함하되,상기 입력 텐서는 x*y*m의 차원의 텐서이고,상기 특징 추출 필터는 frow*fcol*m*n의 차원의 텐서이며,상기 x, y, frow, fcol, m, n는 1 이상의 자연수인 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 방법
|
| 2 |
2
제1항에 있어서,상기 (B)단계는,(B1) 학습이 가능한 쿼리 행렬 및 키 행렬을 생성하는 단계; 및(B2) 상기 입력 텐서와 상기 쿼리 행렬을 곱하여 쿼리 텐서를 생성하고, 상기 입력 텐서와 상기 키 행렬을 곱하여 키 텐서를 생성하는 단계;를 포함하되,상기 쿼리 행렬 및 상기 키 행렬은 m*m 행렬이고, 쿼리 텐서 및 키 텐서는 x*y*m의 차원의 텐서인 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 방법
|
| 3 |
3
제1항에 있어서,상기 (C)단계는,(C1) 상기 입력 텐서, 상기 쿼리 텐서 및 상기 키 텐서를 이용하여 어텐션 을 생성하는 단계; 및(C2) 상기 생성된 어텐션 및 상기 특징 추출 필터를 상기 입력 텐서에 적용하여 출력을 생성하는 단계;를 포함하는 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 방법
|
| 4 |
4
제3항에 있어서,상기 (C1)단계는,(C11) 하기 수학식 1에 따라 상기 쿼리 텐서 및 상기 키 텐서를 이용하여 어텐션 스코어 S를 나타내는 단계; 및(C12) 상기 입력 텐서의 값 각각에 대한 어텐션 스코어에 미리 설정된 활성함수(activation fuction)를 적용한 어텐션 A는, 하기 수학식 2의 형태로 나타내는 단계;를 포함하는 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 방법
|
| 5 |
5
제4항에 있어서,상기 활성함수 는, 하기 수학식 3으로 나타낸 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 방법
|
| 6 |
6
제4항에 있어서,상기 (C2)단계는,하기 수학식 4의 형태로 출력 을 생성하는 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 방법
|
| 7 |
7
합성곱 연산을 통한 특징 추출 시스템에 있어서,특징 추출이 필요한 텐서(tensor)인 입력 텐서를 입력받는 입력부;상기 입력 텐서를 이용하여 쿼리 텐서와 키 텐서를 생성하는 생성부; 및상기 입력 텐서, 상기 쿼리 텐서 및 상기 키 텐서에 특징 추출 필터를 적용하여 어텐티브 합성곱 연산을 수행하여 출력을 생성하는 연산부;를 포함하되,상기 입력 텐서는 x*y*m 차원의 텐서이고,상기 특징 추출 필터는 frow*fcol*m*n 차원의 텐서이며,상기 x, y, frow, fcol, m, n는 1 이상의 자연수인 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 시스템
|
| 8 |
8
제7항에 있어서,상기 생성부는,학습이 가능한 쿼리 행렬 및 키 행렬을 생성하고, 상기 입력 텐서와 상기 쿼리 행렬을 곱하여 쿼리 텐서를 생성하고, 상기 입력 텐서와 상기 키 행렬을 곱하여 키 텐서를 생성하는 것을 특징으로 하되,상기 쿼리 행렬 및 상기 키 행렬은 m*m 행렬이고, 쿼리 텐서 및 키 텐서는 x*y*m 차원의 텐서인 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 시스템
|
| 9 |
9
제7항에 있어서,상기 연산부는,상기 입력 텐서, 상기 쿼리 텐서 및 상기 키 텐서를 이용하여 어텐션을 생성하고, 상기 생성된 어텐션 및 상기 특징 추출 필터를 상기 입력 텐서에 적용하여 출력을 생성하는 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 시스템
|
| 10 |
10
제9항에 있어서,상기 어텐션은,하기 수학식 1에 따라 상기 쿼리 텐서 및 상기 키 텐서를 이용하여 어텐션 스코어 S를 나타내고, 상기 입력 텐서의 값 각각에 대한 어텐션 스코어에 미리 설정된 활성함수(activation fuction)를 적용하여 하기 수학식 2의 형태로 나타내는 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 시스템
|
| 11 |
11
제10항에 있어서,상기 활성함수 는, 하기 수학식 3으로 나타낸 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 시스템
|
| 12 |
12
제9항에 있어서,상기 연산부는,상기 입력 텐서, 상기 쿼리 텐서 및 상기 키 텐서를 이용하여 어텐션을 생성하고, 상기 생성된 어텐션 및 상기 특징 추출 필터를 상기 입력 텐서에 적용하여 하기 수학식 4의 형태로 출력 을 생성하는 것을 특징으로 하는 어텐티브 합성곱 연산을 통한 특징 추출 시스템
|
