| 1 |
1
하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,비전 트랜스포머(Vision Transformer)를 통하여 입력 이미지 데이터로부터 하나 이상의 어텐션 맵(attention map)을 생성하는 어텐션 맵 생성 단계;합성곱 신경망(Convolutional neural network, CNN)을 통하여 상기 입력 이미지 데이터로부터 하나 이상의 활성화 맵(activation map)을 생성하는 활성화 맵 생성 단계; 및상기 하나 이상의 어텐션 맵 및 상기 하나 이상의 활성화 맵에 기초하여 생성된 손실함수를 이용하여 상기 비전 트랜스포머를 정규화하는 정규화 단계를 포함하는, 비전 트랜스포머의 정규화 방법
|
| 2 |
2
제 1 항에 있어서,상기 어텐션 맵 생성 단계는상기 입력 이미지 데이터에 쿼리(query) 및 키(key)에 대응하는 가중치를 곱하여 상기 입력 이미지에 대한 쿼리 벡터 및 키 벡터를 생성하며,상기 쿼리 벡터의 첫번째 요소(element)와 상기 키 벡터의 첫번째 요소를 제외한 나머지 요소들의 내적(dot product)한 값에 기초하여 원본 어텐션 맵을 생성하는, 비전 트랜스포머의 정규화 방법
|
| 3 |
3
제 2 항에 있어서, 상기 비전 트랜스포머는 하나 이상의 레이어(layer)로 구성되며, 각각의 레이어는 하나 이상의 헤드(header)로 구성되며,상기 쿼리 벡터, 상기 키 벡터 및 상기 원본 어텐션 맵은 각각의 헤드 별로 생성되는, 비전 트랜스포머의 정규화 방법
|
| 4 |
4
제 3 항에 있어서,상기 어텐션 맵 생성 단계는상기 헤드 별로 생성된 원본 어텐션 맵 중 상기 하나 이상의 활성화 맵 각각에 매칭되는 하나 이상의 원본 어텐션 맵을 결정하며,상기 결정된 하나 이상의 활성화 맵 각각에 매칭되는 하나 이상의 원본 어텐션 맵 각각에 헤드 별로 결정된 가중치를 기초로 가중합하여 상기 하나 이상의 활성화 맵 각각에 매칭되는 증강된 어텐션 맵을 생성하며, 상기 하나 이상의 활성화 맵 각각에 매칭되는 증강된 어텐션 맵에 상기 하나 이상의 활성화 맵 각각에 대응하는 바이어스를 더하여 상기 하나 이상의 활성화 맵 각각에 대응하는 하나 이상의 어텐션 맵을 생성하는, 비전 트랜스포머의 정규화 방법
|
| 5 |
5
제 1 항에 있어서, 상기 활성화 맵 생성 단계는상기 입력 이미지 데이터에 기초하여 상기 합성곱 신경망을 구성하는 하나 이상의 잔여 블록(Residual block)으로 원본 활성화 맵을 생성하는, 비전 트랜스포머의 정규화 방법
|
| 6 |
6
제 5 항에 있어서, 상기 활성화 맵 생성 단계는쌍삼차 보간(Bicubic interpolation)을 적용하여 상기 생성된 원본 활성화 맵의 크기를 상기 어텐션 맵의 크기와 동일하게 조절하여 활성화 맵을 생성하는, 비전 트랜스포머의 정규화 방법
|
| 7 |
7
제 1 항에 있어서,상기 정규화 단계는상기 하나 이상의 어텐션 맵 및 상기 하나 이상의 활성화 맵의 거리에 기초한 어텐션 정규화 손실 및 상기 비전 트랜스포머의 교차 엔트로피 손실에 기초하여 손실함수를 생성하는, 비전 트랜스포머의 정규화 방법
|
| 8 |
8
비전 트랜스포머(Vision Transformer)를 통하여 입력 이미지 데이터로부터 하나 이상의 어텐션 맵(attention map)을 생성하는 어텐션 맵 생성부;합성곱 신경망(Convolutional neural network, CNN)을 통하여 상기 입력 이미지 데이터로부터 하나 이상의 활성화 맵(activation map)을 생성하는 활성화 맵 생성부; 및상기 하나 이상의 어텐션 맵 및 상기 하나 이상의 활성화 맵에 기초하여 생성된 손실함수를 이용하여 상기 비전 트랜스포머를 정규화하는 정규화부를 포함하는, 비전 트랜스포머의 정규화 장치
|
| 9 |
9
제 8 항에 있어서, 상기 어텐션 맵 생성부는, 상기 입력 이미지 데이터에 쿼리(query) 및 키(key)에 대응하는 가중치를 곱하여 상기 입력 이미지에 대한 쿼리 벡터 및 키 벡터를 생성하며,상기 쿼리 벡터의 첫번째 요소(element)와 상기 키 벡터의 첫번째 요소를 제외한 나머지 요소들의 내적(dot product)한 값에 기초하여 원본 어텐션 맵을 생성하는, 비전 트랜스포머의 정규화 장치
|
| 10 |
10
제 9 항에 있어서, 상기 비전 트랜스포머는 하나 이상의 레이어(layer)로 구성되며, 각각의 레이어는 하나 이상의 헤드(header)로 구성되며,상기 쿼리 벡터, 상기 키 벡터 및 상기 원본 어텐션 맵은 각각의 헤드 별로 생성되는, 비전 트랜스포머의 정규화 장치
|
| 11 |
11
제 10 항에 있어서, 상기 어텐션 맵 생성부는, 상기 헤드 별로 생성된 원본 어텐션 맵 중 상기 하나 이상의 활성화 맵 각각에 매칭되는 하나 이상의 원본 어텐션 맵을 결정하며,상기 결정된 하나 이상의 활성화 맵 각각에 매칭되는 하나 이상의 원본 어텐션 맵 각각에 헤드 별로 결정된 가중치를 기초로 가중합하여 상기 하나 이상의 활성화 맵 각각에 매칭되는 증강된 어텐션 맵을 생성하며, 상기 하나 이상의 활성화 맵 각각에 매칭되는 증강된 어텐션 맵에 상기 하나 이상의 활성화 맵 각각에 대응하는 바이어스를 더하여 상기 하나 이상의 활성화 맵 각각에 대응하는 하나 이상의 어텐션 맵을 생성하는, 비전 트랜스포머의 정규화 장치
|
| 12 |
12
제 8 항에 있어서, 상기 활성화 맵 생성부는, 상기 입력 이미지 데이터에 기초하여 상기 합성곱 신경망을 구성하는 하나 이상의 잔여 블록(Residual block)로 원본 활성화 맵을 생성하는, 비전 트랜스포머의 정규화 장치
|
| 13 |
13
제 12 항에 있어서, 상기 활성화 맵 생성부는, 쌍삼차 보간(Bicubic interpolation)을 적용하여 상기 생성된 원본 활성화 맵의 크기를 상기 어텐션 맵의 크기와 동일하게 조절하여 활성화 맵을 생성하는, 비전 트랜스포머의 정규화 장치
|
| 14 |
14
제 8 항에 있어서, 상기 정규화부는, 상기 하나 이상의 어텐션 맵 및 상기 하나 이상의 활성화 맵의 거리에 기초한 어텐션 정규화 손실 및 상기 비전 트랜스포머의 교차 엔트로피 손실에 기초하여 손실함수를 생성하는, 비전 트랜스포머의 정규화 장치
|
| 15 |
15
비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 비전 트랜스포머(Vision Transformer)를 통하여 입력 이미지 데이터로부터 하나 이상의 어텐션 맵(attention map)을 생성하는 단계;합성곱 신경망(Convolutional neural network, CNN)을 통하여 상기 입력 이미지 데이터로부터 하나 이상의 활성화 맵(activation map)을 생성하는 단계; 및상기 하나 이상의 어텐션 맵 및 상기 하나 이상의 활성화 맵에 기초하여 생성된 손실함수를 이용하여 상기 비전 트랜스포머를 정규화하는 단계를 수행하도록 하는, 컴퓨터 프로그램
|
