| 1 |
1
(a) 트래픽 분석기로부터 각 샘플링 포인트에 대한 샘플링된 트래픽의 검사 결과를 수신하는 단계; 및(b) 상기 샘플링된 트래픽의 검사 결과에 기반하여, 적어도 하나의 트래픽 분석기, 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보를 결정하는 단계; 를 포함하는, 강화학습을 이용하는 SDN의 동작 방법
|
| 2 |
2
제1항에 있어서, 상기 (b) 단계는, 상기 샘플링된 트래픽의 검사 결과에 대한 리워드(reward)를 계산하는 단계; 및 상기 리워드를 강화학습 모델에 적용하여 적어도 하나의 트래픽 분석기, 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보를 결정하는 단계; 를 포함하는,강화학습을 이용하는 SDN의 동작 방법
|
| 3 |
3
제2항에 있어서,상기 (b) 단계는, 상기 리워드를 상기 강화학습 모델에 적용하여 샘플링 정책을 결정하는 단계; 및상기 샘플링 정책에 따라, 상기 리워드를 최대화하기 위한 상기 적어도 하나의 트래픽 분석기, 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보를 결정하는 단계; 를 포함하는,강화학습을 이용하는 SDN의 동작 방법
|
| 4 |
4
제1항에 있어서, 상기 샘플링 포인트에 의해 샘플링된 트래픽은 상기 트래픽 분석기로 전달되는,강화학습을 이용하는 SDN의 동작 방법
|
| 5 |
5
제2항에 있어서, 상기 강화학습 모델은, DDPG(Deep Deterministic Policy Gradient) 모델을 포함하는,강화학습을 이용하는 SDN의 동작 방법
|
| 6 |
6
제5항에 있어서,상기 (b) 단계는, 상기 샘플링된 트래픽의 검사 결과에 기반하여, 상기 적어도 하나의 트래픽 분석기 및 적어도 하나의 샘플링 포인트에 대한 상태 공간(state space) 정보를 결정하는 단계; 및 상기 상태 공간 정보에 기반하여 상기 적어도 하나의 트래픽 분석기 및 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보에 대한 행동 공간(action space) 정보를 결정하는 단계; 를 포함하는, 강화학습을 이용하는 SDN의 동작 방법
|
| 7 |
7
제6항에 있어서,상기 (b) 단계는,제1 시간 스텝(time step)에서 상기 행동 공간 정보가 실행되는 경우, 상기 제1 시간 스텝에 대한 상태 공간 정보로부터 제2 시간 스텝에 대한 상대 공간 정보로의 변경에 대한 전환 확률(transition probability) 정보를 결정하는 단계; 상기 전환 확률 정보에 기반하여 강화학습 모델에 따른 리워드를 결정하는 단계; 및 상기 리워드를 강화학습 모델에 적용하여 적어도 하나의 트래픽 분석기, 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보를 결정하는 단계; 를 포함하는,강화학습을 이용하는 SDN의 동작 방법
|
| 8 |
8
트래픽 분석기로부터 각 샘플링 포인트에 대한 샘플링된 트래픽의 검사 결과를 수신하는 통신부; 및상기 샘플링된 트래픽의 검사 결과에 기반하여, 적어도 하나의 트래픽 분석기, 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보를 결정하는 제어부;를 포함하는,강화학습을 이용하는 SDN 장치
|
| 9 |
9
제8항에 있어서,상기 제어부는,상기 샘플링된 트래픽의 검사 결과에 대한 리워드(reward)를 계산하고,상기 리워드를 강화학습 모델에 적용하여 적어도 하나의 트래픽 분석기, 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보를 결정하는,강화학습을 이용하는 SDN 장치
|
| 10 |
10
제9항에 있어서,상기 제어부는,상기 리워드를 상기 강화학습 모델에 적용하여 샘플링 정책을 결정하고,상기 샘플링 정책에 따라, 상기 리워드를 최대화하기 위한 상기 적어도 하나의 트래픽 분석기, 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보를 결정하는,강화학습을 이용하는 SDN 장치
|
| 11 |
11
제8항에 있어서,상기 샘플링 포인트에 의해 샘플링된 트래픽은 상기 트래픽 분석기로 전달되는,강화학습을 이용하는 SDN 장치
|
| 12 |
12
제9항에 있어서,상기 강화학습 모델은, DDPG(Deep Deterministic Policy Gradient) 모델을 포함하는,강화학습을 이용하는 SDN 장치
|
| 13 |
13
제12항에 있어서,상기 제어부는,상기 샘플링된 트래픽의 검사 결과에 기반하여, 상기 적어도 하나의 트래픽 분석기 및 적어도 하나의 샘플링 포인트에 대한 상태 공간(state space) 정보를 결정하고,상기 상태 공간 정보에 기반하여 상기 적어도 하나의 트래픽 분석기 및 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보에 대한 행동 공간(action space) 정보를 결정하는, 강화학습을 이용하는 SDN 장치
|
| 14 |
14
제13항에 있어서,상기 제어부는,제1 시간 스텝(time step)에서 상기 행동 공간 정보가 실행되는 경우, 상기 제1 시간 스텝에 대한 상태 공간 정보로부터 제2 시간 스텝에 대한 상대 공간 정보로의 변경에 대한 전환 확률(transition probability) 정보를 결정하고,상기 전환 확률 정보에 기반하여 강화학습 모델에 따른 리워드를 결정하며, 상기 리워드를 강화학습 모델에 적용하여 적어도 하나의 트래픽 분석기, 적어도 하나의 샘플링 포인트 및 샘플링 레이트 관련 정보를 결정하는, 강화학습을 이용하는 SDN 장치
|
