| 1 |
1
분산 SDN 컨트롤러의 부하 분산을 위한 스위치 마이그레이션 장치에 의해 수행되는 스위치 마이그레이션 방법에 있어서,(a) 복수의 컨트롤러 및 복수의 스위치를 포함하는 분산 SDN(software-defined networking) 시스템에 대한 스위치 마이그레이션 정책을 수립하기 위한 강화 학습 기반 모델의 구조를 정의하는 단계;(b) 상기 복수의 스위치 중 적어도 하나를 상기 복수의 컨트롤러에 대하여 마이그레이션할 때의 상기 복수의 컨트롤러 각각의 부하의 변화 정보에 기초하여 상기 강화 학습 기반 모델을 학습시키는 단계; 및(c) 상기 강화 학습 기반 모델에 기초하여, 상기 복수의 컨트롤러 각각의 부하가 균등하게 분산되도록 하는 상기 스위치 마이그레이션 정책을 결정하는 단계,를 포함하는, 스위치 마이그레이션 방법
|
| 2 |
2
제1항에 있어서,상기 (a) 단계는,(a1) 상기 복수의 스위치 중 어느 하나의 스위치인 대상 스위치를 상기 복수의 컨트롤러 중 어느 하나로 마이그레이션 되는 에이전트(Agent)로 정의하고, 상기 복수의 컨트롤러를 상기 에이전트에 대응하는 환경(Environment)으로 정의하는 단계; 및(a2) 상기 에이전트 및 상기 환경과 연계된 행위(Action), 상태(State) 및 보상(Reward)을 정의하는 단계,를 포함하는 것인, 스위치 마이그레이션 방법
|
| 3 |
3
제2항에 있어서,상기 (a2) 단계는,상기 복수의 컨트롤러 각각의 복수의 리소스 유형 각각에 대응하는 리소스 이용률을 포함하는 제1리소스 정보 및 상기 대상 스위치의 상기 복수의 리소스 유형 각각에 대응하는 리소스 이용률을 포함하는 제2리소스 정보를 포함하도록 상기 상태(State)를 정의하는 것인, 스위치 마이그레이션 방법
|
| 4 |
4
제3항에 있어서,상기 (a2) 단계는,상기 복수의 컨트롤러 중 어느 하나를 상기 대상 스위치가 마이그레이션 될 컨트롤러로 선택하는 동작을 상기 행위(Action)로서 정의하고, 상기 행위(Action)에 따른 상기 상태(State)의 변화를 상기 보상(Reward)으로서 정의하는 것인, 스위치 마이그레이션 방법
|
| 5 |
5
제3항에 있어서,상기 복수의 리소스 유형은 CPU(Central Processing Unit), RAM(Random Access Memory) 및 네트워크 대역폭(Network Bandwidth)을 포함하는 것인, 스위치 마이그레이션 방법
|
| 6 |
6
제4항에 있어서,상기 (b) 단계는,(b1) 상기 정의된 구조에 기반하여 상기 분산 SDN 시스템의 초기 상태를 생성하는 단계;(b2) 상기 복수의 스위치 중 임의로 선택된 어느 하나의 스위치를 상기 복수의 컨트롤러 중 어느 하나로 마이그레이션하는 단계;(b3) 상기 마이그레이션에 의해 상기 초기 상태로부터 변화한 상기 분산 SDN 시스템의 변화 상태 및 상기 마이그레이션에 따른 상기 보상을 포함하는 경험(Experience) 정보를 버퍼에 저장하는 단계; 및(b4) 상기 초기 상태를 상기 변화 상태로 갱신하는 단계,를 포함하고,상기 (b1) 단계 내지 상기 (b4) 단계는,상기 복수의 스위치 중 적어도 둘 이상의 스위치에 대하여 반복 수행되는 것인, 스위치 마이그레이션 방법
|
| 7 |
7
제6항에 있어서,상기 (b) 단계는,(b5) 상기 버퍼에 저장된 적어도 하나의 상기 경험 정보에 기초하여 상기 강화 학습 기반 모델을 훈련시키는 단계,를 더 포함하는 것인, 스위치 마이그레이션 방법
|
| 8 |
8
제4항에 있어서,상기 (c) 단계는,(c1) 상기 복수의 컨트롤러 각각에 대하여 획득된 상기 제1리소스 정보에 기초하여 상기 복수의 컨트롤러 중에서 최대 리소스 이용률을 보이는 최대 이용 컨트롤러를 결정하는 단계;(c2) 상기 최대 이용 컨트롤러에 대하여 기 할당된 상기 대상 스위치를 상기 복수의 컨트롤러 중 어느 하나로 마이그레이션하는 복수의 행위 각각에 따른 상기 보상을 상기 강화 학습 기반 모델에 기초하여 획득하는 단계; 및(c3) 상기 복수의 행위 중 상기 보상이 최대가 되도록 하는 정책을 상기 스위치 마이그레이션 정책으로 결정하는 단계,를 포함하는, 스위치 마이그레이션 방법
|
| 9 |
9
제1항에 있어서,상기 강화 학습 기반 모델은, 적어도 하나의 LSTM(Long short-term memory) 레이어 및 적어도 하나의 완전 연결(Fully-connected) 레이어를 포함하는 DQN(Deep Q-Network) 기반의 모델인 것인, 스위치 마이그레이션 방법
|
| 10 |
10
분산 SDN 컨트롤러의 부하 분산을 위한 스위치 마이그레이션 장치에 있어서,복수의 컨트롤러 및 복수의 스위치를 포함하는 분산 SDN(software-defined networking) 시스템에 대한 스위치 마이그레이션 정책을 수립하기 위한 강화 학습 기반 모델의 구조를 정의하는 모델 정의부;상기 복수의 스위치 중 적어도 하나를 상기 복수의 컨트롤러에 대하여 마이그레이션할 때의 상기 복수의 컨트롤러 각각의 부하의 변화 정보에 기초하여 상기 강화 학습 기반 모델을 학습시키는 학습부; 및상기 강화 학습 기반 모델에 기초하여, 상기 복수의 컨트롤러 각각의 부하가 균등하게 분산되도록 하는 상기 스위치 마이그레이션 정책을 결정하는 적용부,를 포함하는, 스위치 마이그레이션 장치
|
| 11 |
11
제10항에 있어서,상기 모델 정의부는,상기 복수의 스위치 중 어느 하나의 스위치인 대상 스위치를 상기 복수의 컨트롤러 중 어느 하나로 마이그레이션 되는 에이전트(Agent)로 정의하고, 상기 복수의 컨트롤러를 상기 에이전트에 대응하는 환경(Environment)으로 정의하고, 상기 에이전트 및 상기 환경과 연계된 행위(Action), 상태(State) 및 보상(Reward)을 정의하는 것인, 스위치 마이그레이션 장치
|
| 12 |
12
제11항에 있어서,상기 모델 정의부는,상기 복수의 컨트롤러 각각의 복수의 리소스 유형 각각에 대응하는 리소스 이용률을 포함하는 제1리소스 정보 및 상기 대상 스위치의 상기 복수의 리소스 유형 각각에 대응하는 리소스 이용률을 포함하는 제2리소스 정보를 포함하도록 상기 상태(State)를 정의하는 것인, 스위치 마이그레이션 장치
|
| 13 |
13
제12항에 있어서,상기 모델 정의부는,상기 복수의 컨트롤러 중 어느 하나를 상기 대상 스위치가 마이그레이션 될 컨트롤러로 선택하는 동작을 상기 행위(Action)로서 정의하고, 상기 행위(Action)에 따른 상기 상태(State)의 변화를 상기 보상(Reward)으로서 정의하는 것인, 스위치 마이그레이션 장치
|
| 14 |
14
제13항에 있어서,상기 학습부는,상기 정의된 구조에 기반하여 상기 분산 SDN 시스템의 초기 상태를 생성하고, 상기 복수의 스위치 중 임의로 선택된 어느 하나의 스위치를 상기 복수의 컨트롤러 중 어느 하나로 마이그레이션하고, 상기 마이그레이션에 의해 상기 초기 상태로부터 변화한 상기 분산 SDN 시스템의 변화 상태 및 상기 마이그레이션에 따른 상기 보상을 포함하는 경험(Experience) 정보를 버퍼에 저장하고, 상기 초기 상태를 상기 변화 상태로 갱신하는 학습 프로세스를 상기 복수의 스위치 중 적어도 둘 이상의 스위치에 대하여 반복 수행하는 경험 생성부; 및상기 버퍼에 저장된 적어도 하나의 상기 경험 정보에 기초하여 상기 강화 학습 기반 모델을 훈련시키는 훈련부,를 포함하는 것인, 스위치 마이그레이션 장치
|
| 15 |
15
제13항에 있어서,상기 적용부는,상기 복수의 컨트롤러 각각에 대하여 획득된 상기 제1리소스 정보에 기초하여 상기 복수의 컨트롤러 중에서 최대 리소스 이용률을 보이는 최대 이용 컨트롤러를 결정하고, 상기 최대 이용 컨트롤러에 대하여 기 할당된 상기 대상 스위치를 상기 복수의 컨트롤러 중 어느 하나로 마이그레이션하는 복수의 행위 각각에 따른 상기 보상을 상기 강화 학습 기반 모델에 기초하여 획득하고, 상기 복수의 행위 중 상기 보상이 최대가 되도록 하는 정책을 상기 스위치 마이그레이션 정책으로 결정하는 것인, 스위치 마이그레이션 장치
|
