맞춤기술찾기
이전대상기술
바이너리 뉴럴 네트워크를 위한 뉴럴 아키텍처 서치 방법 및 장치
- 기술번호 : KST2020010256
- 담당센터 : 광주기술혁신센터
- 전화번호 : 062-360-4654
| 요약 | 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 생성하는 서치 방법이 개시된다. 즉, (a) 컴퓨팅 장치가, 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 단계; 및 (b) 상기 컴퓨팅 장치가, 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 각각의 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 단계를 포함하는 것을 특징으로 하는 방법이 개시된다. |
|---|---|
| Int. CL | G06N 3/08 (2006.01.01) |
| CPC | G06N 3/084(2013.01) G06N 3/084(2013.01) G06N 3/084(2013.01) |
| 출원번호/일자 | 1020200021738 (2020.02.21) |
| 출원인 | 광주과학기술원 |
| 등록번호/일자 | 10-2140996-0000 (2020.07.29) |
| 공개번호/일자 | |
| 공고번호/일자 | (20200804) 문서열기 |
| 국제출원번호/일자 | |
| 국제공개번호/일자 | |
| 우선권정보 | |
| 법적상태 | 등록 |
| 심사진행상태 | 수리 |
| 심판사항 | |
| 구분 | 신규 |
| 원출원번호/일자 | |
| 관련 출원번호 | |
| 심사청구여부/일자 | Y (2020.02.21) |
| 심사청구항수 | 18 |
출원인
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 광주과학기술원 | 대한민국 | 광주광역시 북구 |
발명자
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 쿠날 프라탑 싱 | 인도 라자스탄 우다이푸르 비하르 국립 | |
| 2 | 김다현 | 서울특별시 서초구 | |
| 3 | 최종현 | 광주광역시 광산구 |
대리인
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 특허법인 수 | 대한민국 | 서울특별시 강남구 강남대로**길 **, *층(역삼동, 케이앤와이빌딩) |
최종권리자
| 번호 | 이름 | 국적 | 주소 |
|---|---|---|---|
| 1 | 광주과학기술원 | 광주광역시 북구 |
| 번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
|---|---|---|---|---|
| 1 | [특허출원]특허출원서 [Patent Application] Patent Application |
2020.02.21 | 수리 (Accepted) | 1-1-2020-0188229-84 |
| 2 | [출원서 등 보정]보정서 [Amendment to Patent Application, etc.] Amendment |
2020.02.24 | 수리 (Accepted) | 1-1-2020-0195205-53 |
| 3 | 직권정정안내서 Notification of Ex officio Correction |
2020.02.28 | 발송처리완료 (Completion of Transmission) | 1-5-2020-0033135-94 |
| 4 | [우선심사신청]심사청구(우선심사신청)서 [Request for Preferential Examination] Request for Examination (Request for Preferential Examination) |
2020.03.01 | 수리 (Accepted) | 1-1-2020-0217179-69 |
| 5 | [우선심사신청]선행기술조사의뢰서 [Request for Preferential Examination] Request for Prior Art Search |
2020.03.03 | 수리 (Accepted) | 9-1-9999-9999999-89 |
| 6 | [우선심사신청]선행기술조사보고서 [Request for Preferential Examination] Report of Prior Art Search |
2020.03.11 | 수리 (Accepted) | 9-1-2020-0009433-47 |
| 7 | 의견제출통지서 Notification of reason for refusal |
2020.05.18 | 발송처리완료 (Completion of Transmission) | 9-5-2020-0339925-98 |
| 8 | [출원서 등 보완]보정서 |
2020.07.10 | 수리 (Accepted) | 1-1-2020-0721097-57 |
| 9 | [거절이유 등 통지에 따른 의견]의견서·답변서·소명서 |
2020.07.10 | 수리 (Accepted) | 1-1-2020-0721119-74 |
| 10 | [명세서등 보정]보정서 [Amendment to Description, etc.] Amendment |
2020.07.10 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2020-0721125-48 |
| 11 | [공지예외적용 보완 증명서류]서류제출서 |
2020.07.10 | 수리 (Accepted) | 1-1-2020-0721111-10 |
| 12 | 등록결정서 Decision to grant |
2020.07.22 | 발송처리완료 (Completion of Transmission) | 9-5-2020-0498527-69 |
| 번호 | 청구항 |
|---|---|
| 1 |
1 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 생성하는 서치 방법에 있어서,(a) 컴퓨팅 장치가, 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 단계; 및(b) 상기 컴퓨팅 장치가, 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 각각의 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 단계를 포함하되, 상기 (b) 단계는,상기 컴퓨팅 장치가, 상기 예측 서치 벡터 및 상기 정답 서치 벡터와 함께, 다양성 파라미터를 참조로 하여 상기 아키텍처 파라미터 로스를 생성하는 것을 특징으로 하는 방법 |
| 2 |
2 삭제 |
| 3 |
3 제 1항에 있어서,상기 (b) 단계는,상기 컴퓨팅 장치가, 하기 수식에 따라 상기 아키텍처 파라미터 로스를 생성하되,상기 수식에서, 는 상기 대상 네트워크의 연산 파라미터를 의미하고, 는 상기 아키텍처 파라미터들을 의미하며, 는 엔트로피 연산을 의미하고, 는 epoch 수를 의미하며, 는 강화 하이퍼파라미터를 의미하고, 는 스케일링 하이퍼파라미터를 의미하며, 는 상기 예측 서치 벡터 및 상기 정답 서치 벡터를 참조로 하여 생성된 초기 로스이며, 는 상기 다양성 파라미터이며, 는 상기 아키텍처 파라미터 로스인 것을 특징으로 하는 방법 |
| 4 |
4 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 생성하는 서치 방법에 있어서,(a) 컴퓨팅 장치가, 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 단계; 및(b) 상기 컴퓨팅 장치가, 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 각각의 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 단계를 포함하되,상기 최적화 레이어 타입 집합은, 상기 대상 네트워크의 사용 목적에 따른 대상 연산을 수행하는 대상 레이어와 함께, 입력에 관계없이 그 성분이 모두 0인 출력을 생성하는 제로화 레이어를 포함하며,상기 뉴럴 블록 중 특정 뉴럴 블록에 대응하는, 상기 아키텍처 파라미터 벡터 중 특정 아키텍처 파라미터 벡터는 하기 수식에 따라 제공되고,상기 수식에서, 는 상기 제로화 레이어에 대응하는 연산이 상기 특정 뉴럴 블록의 특정 최종 레이어 연산으로 선택될 초기 확률을 의미하고, 는 상기 초기 확률을 보정하기 위한 보정 하이퍼파라미터를 의미하며, 는 이에 따라 상기 제로화 레이어가 상기 특정 최종 레이어 연산으로 선택될 보정 확률을 의미하고, 내지 은 각각의 제1 대상 레이어 내지 제N 대상 레이어에 대응하는 각각의 연산이 상기 특정 최종 레이어 연산으로 선택될 확률을 의미하는 것을 특징으로 하는 방법 |
| 5 |
5 삭제 |
| 6 |
6 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 생성하는 서치 방법에 있어서,(a) 컴퓨팅 장치가, 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 단계; 및(b) 상기 컴퓨팅 장치가, 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 각각의 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 단계를 포함하되,상기 최적화 셀 템플릿은, 사용자가 뉴럴 블록들 간의 연결 관계를 유향 비순환 그래프(Direct Acyclic Graph, DAG)의 형태로 설정함으로써 획득되되, 사용자가 인트라 셀 스킵-커넥션 및 인터 셀 스킵-커넥션을 포함하는 상기 연결 관계를 설정함으로써 획득되는 것을 특징으로 하는 방법 |
| 7 |
7 제 1항에 있어서,상기 (a) 단계는,상기 컴퓨팅 장치가, 상기 서치용 데이터가 상기 대상 네트워크에 입력되면, 상기 대상 네트워크의 특정 셀에 포함된 뉴럴 블록들 중 하나인 특정 뉴럴 블록으로 하여금, 자신의 이전 뉴럴 블록으로부터 전달된 입력에 상기 최적화 레이어 타입 집합에 포함된 각각의 성분에 따른 각각의 후보 레이어 연산을 포함하는 복합 연산을 가함으로써 생성된 출력을 자신의 다음 뉴럴 블록에 전달하도록 하는 것을 특징으로 하는 방법 |
| 8 |
8 제 7항에 있어서,상기 (a) 단계는,상기 컴퓨팅 장치가, 상기 특정 뉴럴 블록으로 하여금, 상기 입력에 각각의 상기 후보 레이어 연산을 가하도록 한 후, 상기 아키텍처 파라미터 벡터 중 자신의 특정 아키텍처 파라미터 벡터를 참조로 하여 각각의 상기 후보 레이어 연산의 결과에 대한 가중합을 생성하도록 함으로써 상기 복합 연산을 통해 상기 출력을 생성하도록 하는 것을 특징으로 하는 방법 |
| 9 |
9 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 생성하는 서치 방법에 있어서,(a) 컴퓨팅 장치가, 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 단계; 및(b) 상기 컴퓨팅 장치가, 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 각각의 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 단계를 포함하되,상기 컴퓨팅 장치가, 서치용 데이터셋에 포함된, 상기 서치용 데이터를 포함하는 제1 내지 제N - N은 1 이상의 정수임 - 서치용 데이터와, 임시 학습 데이터셋에 포함된 제1 내지 제N 임시 학습 데이터를 번갈아 입력함으로써, 상기 아키텍처 파라미터 벡터와, 각각의 상기 뉴럴 블록들이 각각의 후보 레이어 연산을 수행하는 데에 사용되는 임시 파라미터들을 번갈아 업데이트하는 것을 특징으로 하는 방법 |
| 10 |
10 제 1항에 있어서,(c) 상기 컴퓨팅 장치가, 상기 아키텍처 파라미터 벡터를 참조로 하여 각각의 상기 뉴럴 블록들이 수행할 각각의 상기 최종 레이어 연산이 결정되면, 상기 대상 네트워크로 하여금, 학습 데이터에 상기 뉴럴 네트워크 연산을 가하여 적어도 하나의 예측 학습 벡터를 생성하도록 하는 단계; 및(d) 상기 컴퓨팅 장치가, 상기 로스 레이어로 하여금, 상기 예측 학습 벡터 및 정답 학습 벡터를 참조로 하여 연산 파라미터 로스를 생성한 후, 상기 연산 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 각각의 상기 뉴럴 블록들이 수행할 각각의 상기 최종 레이어 연산을 수행하는 데에 사용되는 연산 파라미터들 중 적어도 일부를 학습하도록 하는 단계를 더 포함하는 것을 특징으로 하는 방법 |
| 11 |
11 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 생성된, 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 사용하여 생성된 예측 테스트 벡터를 참조로 하여, 소정 사용자에게 상기 목적에 따른 서비스를 제공하는 방법에 있어서,(a) (1) 학습 장치가, 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 제1 사전 프로세스; (2) 상기 학습 장치가, 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 제2 사전 프로세스 - 상기 제2 사전 프로세스에서 상기 학습 장치는 상기 예측 서치 벡터 및 상기 정답 서치 벡터와 함께, 다양성 파라미터를 참조로 하여 상기 아키텍처 파라미터 로스를 생성함 -; (3) 상기 학습 장치가, 상기 아키텍처 파라미터 벡터를 참조로 하여 각각의 상기 뉴럴 블록들이 수행할 각각의 상기 최종 레이어 연산이 결정되면, 상기 대상 네트워크로 하여금, 학습 데이터를 참조로 하여 적어도 하나의 예측 학습 벡터를 생성하도록 하는 제3 사전 프로세스; 및 (4) 상기 학습 장치가, 상기 로스 레이어로 하여금, 상기 예측 학습 벡터 및 정답 학습 벡터를 참조로 하여 연산 파라미터 로스를 생성한 후, 상기 연산 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 각각의 상기 뉴럴 블록들이 수행할 각각의 상기 최종 레이어 연산을 수행하는 데에 사용되는 연산 파라미터들 중 적어도 일부를 학습하도록 하는 제4 사전 프로세스를 수행함으로써 학습이 완료된 상태에서, 테스트 장치가, 상기 대상 네트워크로 하여금, 테스트 데이터에 상기 뉴럴 네트워크 연산을 가하여 예측 테스트 벡터를 생성하도록 하는 단계; 및(b) 상기 테스트 장치가, 상기 예측 테스트 벡터를 참조로 하여, 소정 사용자에게 상기 목적에 따른 서비스를 제공하는 단계를 포함하는 것을 특징으로 하는 방법 |
| 12 |
12 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 생성하는 서치 장치에 있어서,인스트럭션들을 저장하는 하나 이상의 메모리; 및상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,상기 프로세서는, (I) 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 프로세스; 및 (II) 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 각각의 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 프로세스를 수행하되,상기 (II) 프로세스는,상기 프로세서가, 상기 예측 서치 벡터 및 상기 정답 서치 벡터와 함께, 다양성 파라미터를 참조로 하여 상기 아키텍처 파라미터 로스를 생성하는 것을 특징으로 하는 장치 |
| 13 |
13 삭제 |
| 14 |
14 제 12항에 있어서,상기 (II) 프로세스는,상기 프로세서가, 하기 수식에 따라 상기 아키텍처 파라미터 로스를 생성하되,상기 수식에서, 는 상기 대상 네트워크의 연산 파라미터를 의미하고, 는 상기 아키텍처 파라미터들을 의미하며, 는 엔트로피 연산을 의미하고, 는 epoch 수를 의미하며, 는 강화 하이퍼파라미터를 의미하고, 는 스케일링 하이퍼파라미터를 의미하며, 는 상기 예측 서치 벡터 및 상기 정답 서치 벡터를 참조로 하여 생성된 초기 로스이며, 는 상기 다양성 파라미터이며, 는 상기 아키텍처 파라미터 로스인 것을 특징으로 하는 장치 |
| 15 |
15 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 생성하는 서치 장치에 있어서,인스트럭션들을 저장하는 하나 이상의 메모리; 및상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,상기 프로세서는, (I) 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 프로세스; 및 (II) 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 각각의 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 프로세스를 수행하되,상기 최적화 레이어 타입 집합은, 상기 대상 네트워크의 사용 목적에 따른 대상 연산을 수행하는 대상 레이어와 함께, 입력에 관계없이 그 성분이 모두 0인 출력을 생성하는 제로화 레이어를 포함하며,상기 뉴럴 블록 중 특정 뉴럴 블록에 대응하는, 상기 아키텍처 파라미터 벡터 중 특정 아키텍처 파라미터 벡터는 하기 수식에 따라 제공되고,상기 수식에서, 는 상기 제로화 레이어에 대응하는 연산이 상기 특정 뉴럴 블록의 특정 최종 레이어 연산으로 선택될 초기 확률을 의미하고, 는 상기 초기 확률을 보정하기 위한 보정 하이퍼파라미터를 의미하며, 는 이에 따라 상기 제로화 레이어가 상기 특정 최종 레이어 연산으로 선택될 보정 확률을 의미하고, 내지 은 각각의 제1 대상 레이어 내지 제N 대상 레이어에 대응하는 각각의 연산이 상기 특정 최종 레이어 연산으로 선택될 확률을 의미하는 것을 특징으로 하는 장치 |
| 16 |
16 삭제 |
| 17 |
17 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 생성하는 서치 장치에 있어서,인스트럭션들을 저장하는 하나 이상의 메모리; 및상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,상기 프로세서는, (I) 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 프로세스; 및 (II) 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 각각의 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 프로세스를 수행하되,상기 최적화 셀 템플릿은, 사용자가 뉴럴 블록들 간의 연결 관계를 유향 비순환 그래프(Direct Acyclic Graph, DAG)의 형태로 설정함으로써 획득되되, 사용자가 인트라 셀 스킵-커넥션 및 인터 셀 스킵-커넥션을 포함하는 상기 연결 관계를 설정함으로써 획득되는 것을 특징으로 하는 장치 |
| 18 |
18 제 12항에 있어서,상기 (I) 프로세스는,상기 프로세서가, 상기 서치용 데이터가 상기 대상 네트워크에 입력되면, 상기 대상 네트워크의 특정 셀에 포함된 뉴럴 블록들 중 하나인 특정 뉴럴 블록으로 하여금, 자신의 이전 뉴럴 블록으로부터 전달된 입력에 상기 최적화 레이어 타입 집합에 포함된 각각의 성분에 따른 각각의 후보 레이어 연산을 포함하는 복합 연산을 가함으로써 생성된 출력을 자신의 다음 뉴럴 블록에 전달하도록 하는 것을 특징으로 하는 장치 |
| 19 |
19 제 18항에 있어서,상기 (I) 프로세스는,상기 프로세서가, 상기 특정 뉴럴 블록으로 하여금, 상기 입력에 각각의 상기 후보 레이어 연산을 가하도록 한 후, 상기 아키텍처 파라미터 벡터 중 자신의 특정 아키텍처 파라미터 벡터를 참조로 하여 각각의 상기 후보 레이어 연산의 결과에 대한 가중합을 생성하도록 함으로써 상기 복합 연산을 통해 상기 출력을 생성하도록 하는 것을 특징으로 하는 장치 |
| 20 |
20 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 생성하는 서치 장치에 있어서,인스트럭션들을 저장하는 하나 이상의 메모리; 및상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,상기 프로세서는, (I) 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 프로세스; 및 (II) 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 각각의 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 프로세스를 수행하되,상기 프로세서가, 서치용 데이터셋에 포함된, 상기 서치용 데이터를 포함하는 제1 내지 제N - N은 1 이상의 정수임 - 서치용 데이터와, 임시 학습 데이터셋에 포함된 제1 내지 제N 임시 학습 데이터를 번갈아 입력함으로써, 상기 아키텍처 파라미터 벡터와, 각각의 상기 뉴럴 블록들이 각각의 후보 레이어 연산을 수행하는 데에 사용되는 임시 파라미터들을 번갈아 업데이트하는 것을 특징으로 하는 장치 |
| 21 |
21 제 12항에 있어서,상기 프로세서가, (III) 상기 아키텍처 파라미터 벡터를 참조로 하여 각각의 상기 뉴럴 블록들이 수행할 각각의 상기 최종 레이어 연산이 결정되면, 상기 대상 네트워크로 하여금, 학습 데이터에 상기 뉴럴 네트워크 연산을 가하여 적어도 하나의 예측 학습 벡터를 생성하도록 하는 프로세스; 및 (IV) 상기 로스 레이어로 하여금, 상기 예측 학습 벡터 및 정답 학습 벡터를 참조로 하여 연산 파라미터 로스를 생성한 후, 상기 연산 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 각각의 상기 뉴럴 블록들이 수행할 각각의 상기 최종 레이어 연산을 수행하는 데에 사용되는 연산 파라미터들 중 적어도 일부를 학습하도록 하는 프로세스를 더 수행하는 것을 특징으로 하는 장치 |
| 22 |
22 바이너리 뉴럴 네트워크에 최적화된 최적화 서치 스페이스를 이용하여 뉴럴 아키텍처 서치(Neural Architecture Search, NAS)를 수행함으로써 생성된, 소정 목적에 따른, 상기 바이너리 뉴럴 네트워크 중 하나인 대상 네트워크를 사용하여 생성된 예측 테스트 벡터를 참조로 하여, 소정 사용자에게 상기 목적에 따른 서비스를 제공하는 장치에 있어서,인스트럭션들을 저장하는 하나 이상의 메모리; 및상기 인스트럭션들을 수행하도록 설정된 하나 이상의 프로세서를 포함하되,상기 프로세서는, (I) (1) 학습 장치가, 서치용 데이터가 대상 네트워크에 입력되면, 상기 대상 네트워크로 하여금, 상기 서치용 데이터에 적어도 하나의 뉴럴 네트워크 연산을 가하여, 적어도 하나의 예측 서치 벡터를 생성하도록 하는 제1 사전 프로세스; (2) 상기 학습 장치가, 로스 레이어로 하여금, 상기 예측 서치 벡터 및 정답(Ground-Truth) 서치 벡터를 참조로 하여, 아키텍처 파라미터 로스를 생성한 후, 상기 아키텍처 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 상기 대상 네트워크의 각 셀들에 포함된, 상기 최적화 서치 스페이스에 대응하는 최적화 셀 템플릿에 따라 배치된 뉴럴 블록들이 수행할, 상기 최적화 서치 스페이스에 대응하는 최적화 레이어 타입 집합에 포함된 후보 레이어 연산 중 각각의 최종 레이어 연산을 결정하기 위한 벡터인 아키텍처 파라미터 벡터를 업데이트하는 제2 사전 프로세스 - 상기 제2 사전 프로세스에서 상기 학습 장치는 상기 예측 서치 벡터 및 상기 정답 서치 벡터와 함께, 다양성 파라미터를 참조로 하여 상기 아키텍처 파라미터 로스를 생성함 -; (3) 상기 학습 장치가, 상기 아키텍처 파라미터 벡터를 참조로 하여 각각의 상기 뉴럴 블록들이 수행할 각각의 상기 최종 레이어 연산이 결정되면, 상기 대상 네트워크로 하여금, 학습 데이터를 참조로 하여 적어도 하나의 예측 학습 벡터를 생성하도록 하는 제3 사전 프로세스; 및 (4) 상기 학습 장치가, 상기 로스 레이어로 하여금, 상기 예측 학습 벡터 및 정답 학습 벡터를 참조로 하여 연산 파라미터 로스를 생성한 후, 상기 연산 파라미터 로스를 참조로 하여 백프로퍼게이션을 수행함으로써, 각각의 상기 뉴럴 블록들이 수행할 각각의 상기 최종 레이어 연산을 수행하는 데에 사용되는 연산 파라미터들 중 적어도 일부를 학습하도록 하는 제4 사전 프로세스를 수행함으로써 학습이 완료된 상태에서, 상기 대상 네트워크로 하여금, 테스트 데이터에 상기 뉴럴 네트워크 연산을 가하여 예측 테스트 벡터를 생성하도록 하는 프로세스; 및 (II) 상기 예측 테스트 벡터를 참조로 하여, 소정 사용자에게 상기 목적에 따른 서비스를 제공하는 프로세스를 수행하는 것을 특징으로 하는 장치 |
| 지정국 정보가 없습니다 |
|---|
| 패밀리정보가 없습니다 |
|---|
| 순번 | 연구부처 | 주관기관 | 연구사업 | 연구과제 |
|---|---|---|---|---|
| 1 | 과학기술정보통신부 | 전자부품연구원 | 정보통신-방송 기술개발사업 (혁신성장연계 지능형반도체 선도사업) | 활성화/커널데이터의 압축/복원을 통한 초저전력 모바일 딥러닝 반도체 기술 개발 |
| 공개전문 정보가 없습니다 |
|---|
- 본 등록정보는 참고용으로 법적증빙자료로 사용할 수 없습니다.
- 데이터 이관에 따른 소요기간(1일)으로 인하여 등록원부와 일부 차이가 발생할 수 있으며, 일부 정보(부기, 상세 주소 등)를 제공하지 않고 있습니다.
- 법적증빙자료로 활용하시거나 더 자세한 정보를 보시려면 등록원부를 발급받아 사용하시기 바랍니다.
| 특허 등록번호 | 10-2140996-0000 |
|---|
권리란
| 표시번호 | 사항 |
|---|---|
| 1 |
출원 연월일 : 20200221 출원 번호 : 1020200021738 공고 연월일 : 20200804 공고 번호 : 특허결정(심결)연월일 : 20200722 청구범위의 항수 : 18 유별 : G06N 3/08 발명의 명칭 : 바이너리 뉴럴 네트워크를 위한 뉴럴 아키텍처 서치 방법 및 장치 존속기간(예정)만료일 : |
특허권자란
| 순위번호 | 사항 |
|---|---|
| 1 |
(권리자) 광주과학기술원 광주광역시 북구... |
등록료란
| 제 1 - 3 년분 | 금 액 | 373,500 원 | 2020년 07월 29일 | 납입 |
- 본 '원본보기 서비스'는 참고용이므로, 일부 오류 및 누락이 발생할 수 있습니다.
- 정확한 서류를 확인하시려면 해당 웹사이트에서 조회하시기 바랍니다. (특허로 바로가기: http://www.patent.go.kr)
- 해당 서비스는 점검으로 인해 매주 일요일 00:00 ~ 02:00까지 이용이 중단됩니다.
| 번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
|---|---|---|---|---|
| 1 | [특허출원]특허출원서 | 2020.02.21 | 수리 (Accepted) | 1-1-2020-0188229-84 |
| 2 | [출원서 등 보정]보정서 | 2020.02.24 | 수리 (Accepted) | 1-1-2020-0195205-53 |
| 3 | 직권정정안내서 | 2020.02.28 | 발송처리완료 (Completion of Transmission) | 1-5-2020-0033135-94 |
| 4 | [우선심사신청]심사청구(우선심사신청)서 | 2020.03.01 | 수리 (Accepted) | 1-1-2020-0217179-69 |
| 5 | [우선심사신청]선행기술조사의뢰서 | 2020.03.03 | 수리 (Accepted) | 9-1-9999-9999999-89 |
| 6 | [우선심사신청]선행기술조사보고서 | 2020.03.11 | 수리 (Accepted) | 9-1-2020-0009433-47 |
| 7 | 의견제출통지서 | 2020.05.18 | 발송처리완료 (Completion of Transmission) | 9-5-2020-0339925-98 |
| 8 | [출원서 등 보완]보정서 | 2020.07.10 | 수리 (Accepted) | 1-1-2020-0721097-57 |
| 9 | [거절이유 등 통지에 따른 의견]의견서·답변서·소명서 | 2020.07.10 | 수리 (Accepted) | 1-1-2020-0721119-74 |
| 10 | [명세서등 보정]보정서 | 2020.07.10 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2020-0721125-48 |
| 11 | [공지예외적용 보완 증명서류]서류제출서 | 2020.07.10 | 수리 (Accepted) | 1-1-2020-0721111-10 |
| 12 | 등록결정서 | 2020.07.22 | 발송처리완료 (Completion of Transmission) | 9-5-2020-0498527-69 |
| 기술정보가 없습니다 |
|---|
| 과제정보가 없습니다 |
|---|
중요키워드
| [KST2020010121][광주과학기술원] | 생의학적 개체명 인식 시스템 | 새창보기 |
|---|---|---|
| [KST2022005639][광주과학기술원] | 기온예측시스템 | 새창보기 |
| [KST2021004073][광주과학기술원] | 행위 인식 방법 및 장치 | 새창보기 |
| [KST2021016087][광주과학기술원] | 이상 온도를 나타내는 객체를 식별하는 방법 및 장치 | 새창보기 |
| [KST2022004094][광주과학기술원] | 자기주의 기반 심층 신경망 모델을 이용한 약물-표적 상호작용 예측 장치 및 그 방법 | 새창보기 |
| [KST2022004756][광주과학기술원] | 보행경로예측장치 | 새창보기 |
| [KST2021009487][광주과학기술원] | 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법 | 새창보기 |
| [KST2021012093][광주과학기술원] | 유전자와 화합물과 질병의 관련문헌 추출시스템 | 새창보기 |
| [KST2019025106][광주과학기술원] | 강우예측을 이용한 하수처리시설의 제어방법 | 새창보기 |
| [KST2022005089][광주과학기술원] | 폐루프 배전계통의 보호장치 및 인공지능 장치 | 새창보기 |
| [KST2022002676][광주과학기술원] | 이미지 센서 및 이미지 센서를 사용하는 이미지 인식장치 | 새창보기 |
| [KST2020003683][광주과학기술원] | 기계학습을 이용한 단계적 태양광 발전량 예측 장치 및 방법 | 새창보기 |
| [KST2022003204][광주과학기술원] | 대상 객체의 크기를 식별하는 방법 및 장치 | 새창보기 |
| [KST2022004093][광주과학기술원] | 쌍곡 공간에서의 이미지 컨볼루션 방법 | 새창보기 |
| [KST2020017052][광주과학기술원] | 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치 | 새창보기 |
| [KST2021000194][광주과학기술원] | 경광봉 인식 시스템 및 이를 이용한 경광봉 인식 방법 | 새창보기 |
| [KST2021000435][광주과학기술원] | 딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법 | 새창보기 |
| [KST2021007596][광주과학기술원] | 반도체 소자의 시뮬레이션을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체 | 새창보기 |
| [KST2021011729][광주과학기술원] | 감성 인식 음악 추천 시스템 및 이를 이용한 음악 추천 방법 | 새창보기 |
| [KST2019020829][광주과학기술원] | 뉴럴 네트워크를 이용한 3차원 형상 복원 시스템의 동작 방법 | 새창보기 |
| [KST2022000008][광주과학기술원] | 음성 향상 장치 | 새창보기 |
| [KST2019025153][광주과학기술원] | 생의학적 개체명 정규화 방법 | 새창보기 |
| [KST2020001414][광주과학기술원] | 딥러닝 기반 마스크 추정 방법을 이용한 건물 부하 식별 시스템의 동작 방법 | 새창보기 |
| [KST2020014632][광주과학기술원] | 오차 보정 방법 및 센서 시스템 | 새창보기 |
| [KST2021010697][광주과학기술원] | 음향 신호 검출 방법 | 새창보기 |
| [KST2020010124][광주과학기술원] | 영상 이미지 학습장치 및 방법 | 새창보기 |
| [KST2021016073][광주과학기술원] | 배전계통 내 미계측 모선의 전력 상태를 추정하는 방법 및 장치 | 새창보기 |
| [KST2021016079][광주과학기술원] | 환자의 낙상상황을 판별하기 위한 낙상 판별 시스템 및 방법 | 새창보기 |
| [KST2021005155][광주과학기술원] | 아날로그 배치 정규화 장치를 포함하는 신경망 학습 장치 | 새창보기 |
| [KST2021010698][광주과학기술원] | 가상 오브젝트의 좌표 추정 방법 | 새창보기 |
| 심판사항 정보가 없습니다 |
|---|