| 1 |
1
임베디드 기기의 메모리에서 온-디바이스(On-Device) 학습을 위한 신경망 구조 탐색방법에 있어서,상기 신경망 구조를 위한 임시 모델을 정의하고 상기 임시 모델의 채널 개수와 레이어 개수를 설정하는 단계;상기 임시 모델의 커널 크기, 출력 채널 개수, SE(Squeeze-Excitation) 블록 사용 유무에 대한 탐색공간을 설정하는 단계;상기 탐색공간 내에서 커널 크기, 출력 채널 개수, SE 블록 사용 여부를 탐색하는 단계;상기 임시 모델의 가중치 파라미터(weight parameter)를 학습하는 단계;상기 임시 모델의 구조 파라미터(architecture parameter)를 학습하는 단계;상기 임시 모델에서의 메모리 사용량을 계산하는 단계;상기 학습된 가중치 파라미터, 구조 파라미터 및 메모리 사용량을 이용하여 상기 메모리에서 온-디바이스 학습이 가능한 최종 신경망 모델을 탐색하는 단계를 포함하는 신경망 구조 탐색방법
|
| 2 |
2
청구항 1에 있어서, 상기 커널 크기 탐색은,복수개의 커널 크기를 갖는 N개의 Conv1d 레이어를 정의하는 단계;입력값이 들어오면 상기 Conv1d 레이어에 대한 연산을 수행하는 단계;상기 커널 크기에 대한 구조 파라미터 Ak={a1,a2,
|
| 3 |
3
청구항 2에 있어서, 상기 출력 채널 탐색은, 상기 Conv1d 레이어의 최대 출력 채널 개수(Cmax)와 마스킹(masking) 비율에 대한 값의 집합 R={r1,r2,
|
| 4 |
4
청구항 2에 있어서, 상기 SE 블록 사용여부 탐색은, 상기 SE 블록의 구조 파라미터 ASE={αOFF,αON}을 정의하는 단계;상기 입력값과 SE 블록의 처리결과에 대하여 가중치 합을 처리하는 단계를 포함하는 신경망 구조 탐색방법
|
| 5 |
5
청구항 2에 있어서, 상기 최종 신경망 모델을 탐색하는 단계는,상기 가중치 파라미터의 집합과 상기 구조 파라미터로 이루어진 최종 신경망 모델의 파라미터를 구하는 단계; 및상기 가중치 파라미터의 집합에 대하여 학습한 후 상기 구조 파라미터에 대해 구조 탐색을 수행하는 단계를 포함하는 신경망 구조 탐색방법
|
| 6 |
6
청구항 5에 있어서, 상기 구조 탐색의 수행이 완료되면 상기 Conv1d 레이어의 탐색공간에서 상기 구조 파라미터가 최대가 되는 후보들 중에서 상기 임베디드 기기의 메모리에서 온-디바이스(On-Device) 학습이 가능한 신경망 모델을 생성하는 신경망 구조 탐색방법
|
