| 1 |
1
컴퓨팅 장치에 의하여 실행되는 방법에 있어서,입력 데이터를 이용하여 상기 입력 데이터의 평가결과를 결정하는 강화 학습 모델을 학습 시키는 것을 반복하는 단계를 포함하되, 상기 반복하는 단계는, 상기 입력 데이터를 상기 강화 학습 모델에 입력하여 출력된 결과인 제1 결과 데이터를 얻는 단계; 상기 입력 데이터를 복수의 알려진 패턴(known pattern)을 감지하는 제1 평가 모델을 이용하여 평가한 결과인 제2 결과 데이터를 얻는 단계; 상기 제1 결과 데이터 및 상기 제2 결과 데이터의 합치 여부를 고려하여 부여되는 제1 보상(reward)에 감가율(discount factor)이 적용되고, 상기 감가율을 이용한 연산에 기초하여 상기 강화 학습 모델을 학습 시키는 단계; 및상기 제2 결과 데이터를 고려하여 상기 감가율을 자동으로 조정하는 단계를 포함하는, 감가율 자동 조정형 강화 학습 방법
|
| 2 |
2
제1항에 있어서,상기 반복하는 단계는, 상기 제1 결과 데이터 및 제3 결과 데이터의 합치 여부에 기초하여 부여되는 제2 보상(reward)에 상기 감가율이 적용되고, 상기 감가율을 이용하여 연산된 기대치인 가치 값(value)을 얻되, 상기 제3 결과 데이터는 상기 입력 데이터를 제2 평가 모델을 이용하여 평가한 결과인 단계를 더 포함하고,상기 강화 학습 모델을 학습 시키는 단계는, 상기 가치 값을 이용하여 상기 강화 학습 모델을 학습시키는 단계를 포함하고, 상기 감가율을 자동으로 조정하는 단계는, 상기 제1 결과 데이터 및 상기 제3 결과 데이터의 합치 여부를 더 고려하여 상기 감가율을 조정하는 단계를 포함하는, 감가율 자동 조정형 강화 학습 방법
|
| 3 |
3
제2항에 있어서,상기 제2 평가 모델은, 상기 복수의 알려진 패턴 중 적어도 일부의 패턴을 이용하여 초기 학습(initial learning)을 진행한 후, 전이학습(transfer learning) 방식으로 추가 학습된 모델인,감가율 자동 조정형 강화 학습 방법
|
| 4 |
4
제1항에 있어서,상기 감가율을 자동으로 조정하는 단계는,상기 감가율이 기 지정된 기준치 이상으로 연속하여 증가하거나, 상기 감가율이 기 지정된 기준치 이상으로 연속하여 감소하는 경우, 상기 감가율의 조정폭을 증가시키는 단계를 포함하는,감가율 자동 조정형 강화 학습 방법
|
| 5 |
5
복수의 디바이스와 연결되어 상기 복수의 디바이스의 인바운드 패킷 및 아웃바운드 패킷 중 적어도 하나인 입력 데이터를 수집하는 네트워크 인터페이스; 과거의 패킷 데이터에서 수집된 복수의 알려진 패턴(known pattern)을 감지하는 제1 평가 모델을 구성하는 데이터 및 강화 학습 모델을 구성하는 데이터를 저장하는 스토리지; 복수의 인스트럭션, 상기 제1 평가 모델을 구성하는 데이터 및 상기 강화 학습 모델을 구성하는 데이터를 로드하는 메모리; 및 상기 복수의 인스트럭션을 실행하는 프로세서를 포함하되, 상기 복수의 인스트럭션은, 상기 입력 데이터를 상기 강화 학습 모델에 입력하여 출력된 결과인 제1 결과 데이터를 얻는 인스트럭션; 상기 입력 데이터를 상기 제1 평가 모델을 이용하여 평가한 결과인 제2 결과 데이터를 얻는 인스트럭션; 상기 제1 결과 데이터 및 상기 제2 결과 데이터의 합치 여부를 고려하여 부여되는 제1 보상(reward)에 감가율(discount factor)이 적용되고, 상기 감가율을 이용한 연산에 기초하여 상기 강화 학습 모델을 학습 시키는 인스트럭션; 상기 제2 결과 데이터를 고려하여 상기 감가율을 자동으로 조정하는 인스트럭션; 및 상기 제1 결과 데이터를 출력하는 인스트럭션을 포함하는, 위협 탐지 기능이 구비된 게이트웨이 장치
|
| 6 |
6
제5항에 있어서,상기 복수의 인스트럭션은, 상기 제1 결과 데이터가 상기 복수의 알려진 패턴 중 하나 이상이 발견되지 않았음을 가리키는 것인 경우, 상기 제1 결과 데이터 및 제3 결과 데이터의 합치 여부에 기초하여 부여되는 제2 보상(reward)에 상기 감가율이 적용되고, 상기 감가율을 이용하여 연산된 기대치인 가치 값(value)을 얻기 위한 요청 신호를 상기 네트워크 인터페이스를 통하여 서버 장치에 송신하는 인스트럭션을 더 포함하되,상기 강화 학습 모델을 학습 시키는 인스트럭션은, 상기 가치 값을 이용하여 상기 강화 학습 모델을 학습시키는 인스트럭션을 포함하고, 상기 감가율을 자동으로 조정하는 인스트럭션은, 상기 제1 결과 데이터 및 상기 제3 결과 데이터의 합치 여부를 더 고려하여 상기 감가율을 조정하는 인스트럭션을 포함하되, 상기 제3 결과 데이터는 상기 입력 데이터를 제2 평가 모델을 이용하여 평가한 결과이고, 상기 요청 신호는 상기 입력 데이터 및 감가율 데이터를 포함하는, 위협 탐지 기능이 구비된 게이트웨이 장치
|
| 7 |
7
제6항에 있어서,상기 제2 평가 모델은, 상기 복수의 알려진 패턴 중 적어도 일부의 패턴을 이용하여 초기 학습(initial learning)을 진행한 후, 전이학습(transfer learning) 방식으로 추가 학습된 모델인,위협 탐지 기능이 구비된 게이트웨이 장치
|
| 8 |
8
제5항에 있어서,상기 감가율을 자동으로 조정하는 인스트럭션은,상기 감가율이 기 지정된 기준치 이상으로 연속하여 증가하거나, 상기 감가율이 기 지정된 기준치 이상으로 연속하여 감소하는 경우, 상기 감가율의 조정폭을 증가시키는 인스트럭션을 포함하는,위협 탐지 기능이 구비된 게이트웨이 장치
|
| 9 |
9
삭제
|
| 10 |
10
삭제
|
| 11 |
11
삭제
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
삭제
|
| 15 |
15
삭제
|
| 16 |
16
삭제
|
| 17 |
17
삭제
|
| 18 |
18
삭제
|
