| 1 |
1
오픈 스택(OpenStack)으로 구성된 NFV(Network Function Virtualization) 환경을 구현하는 네트워크 기능 가상화 서버; 및NFV 환경에서 SFC의 오토 스케일링을 강화학습 알고리즘 중 하나인 심층 Q 네트워크(Deep Q-networks, DQN)로 수행하는 심층 Q 네트워크(Deep Q-networks, DQN) 장치; 를 포함하는,오토 스케일링 시스템
|
| 2 |
2
청구항 1에 있어서, 심층 Q 네트워크(Deep Q-networks, DQN) 장치는,SFC(Service Function Chaining)의 오토 스케일링 문제를 해결하기 위한 Q-network, Target Q-network와 Replay Memory; 을 포함하는, 오토 스케일링 시스템
|
| 3 |
3
청구항 1에 있어서, 상기 시스템은, SFC(Service Function Chaining)를 구성하는 각 계층의 상황(Tier Status) 정보를 입력으로 받아 어느 위치(Place)에서 스케일링을 수행할지 결정하는,오토 스케일링 시스템
|
| 4 |
4
청구항 1에 있어서, 상기 시스템은,심층 Q 네트워크(Deep Q-networks, DQN) 장치를 통해 특정 상태에서 출력한 스케일링 행동을 수행할 때 얻게 되는 보상 값의 모델을 수학식 2를 통해 SFC(Service Function Chaining)의 SLO(Service Level Objectives) 값 대비 트래픽 평균 응답 시간, 가상 네트워크 기능(Virtual Network Functions) 인스턴스 분포도, SFC(Service Function Chaining)을 구성하는 가상 네트워크 기능(Virtual Network Functions) 인스턴스들이 배치된 물리 서버 개수에 따라 정의하고,SFC(Service Function Chaining)를 구성하는 VNF(Virtual Network Functions) 인스턴스들이 적은 물리 서버 위에 밀집된 형태로 배치되어 있는지 여부와 SFC(Service Function Chaining)의 성능(트래픽 응답 시간)을 고려하여 보상 값을 정의하는, 오토 스케일링 시스템
|
| 5 |
5
청구항 4에 있어서, 상기 시스템은,SFC(Service Function Chaining)를 구성하는 가상 네트워크 기능(Virtual Network Functions) 인스턴스들이 적은 물리 서버 위에 밀집된 형태로 배치되어 있는지 여부와 SFC(Service Function Chaining)의 성능인 트래픽 응답 시간을 고려하여 효과적으로 보상 값을 정의하는, 오토 스케일링 시스템
|
| 6 |
6
청구항 1에 있어서, 상기 시스템은,수학식 3을 통해 오토 스케일링 대상이 되는 SFC(Service Function Chaining)의 계층을 선택하는,오토 스케일링 시스템
|
| 7 |
7
심층 Q 네트워크(Deep Q-networks, DQN) 장치를 통해 SFC(Service Function Chaining)를 구성하는 VNF(Virtual Network Functions) 인스턴스들의 스케일 인아웃(Scale-in/out)을 주기적으로 수행하는 오토 스케일링 방법에 있어서, 심층 Q 네트워크(Deep Q-networks, DQN) 장치를 통해 SFC(Service Function Chaining)를 구성하는 계층(Tier)들의 상황(Status)을 강화학습의 상태(State)로 정의하여 입력 값으로 받아들인 후, 어떤 물리 서버에서 스케일 인아웃(Scale-in/out)을 수행할지 또는 현재 VNF(Virtual Network Functions) 인스턴스들을 유지(Maintain)할지를 행동으로 출력하는 단계; 및스케일 인아웃(Scale-in/out)을 수행할 때, 스케일링이 필요한 SFC(Service Function Chaining)의 계층을 선택하여 해당 계층에 스케일링을 적용하는 단계; 를 포함하는,오토 스케일링 방법
|
| 8 |
8
청구항 7에 있어서, 상기 방법은,에이전트가 심층 Q 네트워크(Deep Q-networks, DQN) 장치의 안정적인 학습을 위해 큐 네트워크(Q-network) 및 타겟 큐 네트워크(Target Q-network), 리플레이 메모리(Replay Memory)를 활용하는,오토 스케일링 방법
|
| 9 |
9
청구항 7에 있어서, 상기 방법은, 심층 Q 네트워크(Deep Q-networks, DQN) 장치가 큐-러닝(Q-learning)의 특정 상태에서 행동을 수행할 때 얻을 수 있는 보상을 예측하는 지표인 큐 밸류(Q-value)를 반복적으로 학습하고,학습된 큐 밸류(Q-value)는 특정 상태에서 어떤 행동을 수행할지 결정하는 정책으로 사용하는, 오토 스케일링 방법
|
| 10 |
10
청구항 7에 있어서, 상기 방법은,심층 Q 네트워크(Deep Q-networks, DQN) 장치가 학습을 통해 특정 상태에서 수행할 행동을 출력하는 큐 네트워크(Q-network)의 네트워크 파라미터를 갱신하고,학습된 큐 네트워크(Q-network)는 최적의 스케일링 행동을 수행하는 최적 정책으로 사용되는,오토 스케일링 방법
|
| 11 |
11
청구항 7에 있어서, 상기 방법은,심층 Q 네트워크(Deep Q-networks, DQN) 장치가 큐 네트워크(Q-network)와 타겟 큐 네트워크(Target Q-network)를 생성하고, 수학식 1의 손실 함수(Loss function) 값을 최소화하는 형태로 네트워크 파라미터를 학습하고,수학식 1은 심층 Q 네트워크(Deep Q-networks, DQN) 장치에서 학습을 위해 일반적으로 사용되는 손실 함수이며 리플레이 메모리(Replay Memory)에 저장된 데이터 를 학습 데이터로 입력받고,타겟 큐 네트워크(Target Q-network)(네트워크 파라미터 )에서 얻을 수 있는 최대 큐 밸류(Q-value)와 큐 네트워크(Q-network)(네트워크 파라미터 )의 Q-value의 차이를 줄이는 방향으로 Q-network를 학습하고,일정 횟수 이상 큐 네트워크(Q-network)를 학습하면 큐 네트워크(Q-network)의 네트워크 파라미터를 타겟 큐 네트워크(Target Q-network)로 복사하는, 오토 스케일링 방법
|
| 12 |
12
청구항 7에 있어서, 상기 방법은,심층 Q 네트워크(Deep Q-networks, DQN) 장치가 학습 과정에서 수행한 행동에 대한 보상 값(r)이 반영되는 수학식 2의 보상 모델로 정의되는,오토 스케일링 방법
|
| 13 |
13
청구항 12에 있어서, 상기 방법은,수학식 2에서 은 스케일링을 수행한 SFC(Service Function Chaining)를 통해 트래픽을 전송하고, 응답을 받을 때까지 소요되는 응답 시간(Response time)을 의미하고, DQN 기반 오토 스케일링 방법에서는 SLO(Service Level Objectives)로 트래픽의 응답 시간을 활용하고, 측정된 응답 시간인 을 미리 정의된 SLO(Service Level Objectives) 대비 응답 시간이 얼마나 되는지를 비율로 환산하여 보상 값에 반영하는,오토 스케일링 방법
|
| 14 |
14
청구항 13에 있어서, 상기 방법은,는 NFV 환경에서 가용할 수 있는 총 물리 서버 개수() 대비 SFC를 구성하는 VNF(Virtual Network Functions) 인스턴스가 배치되어 있는 물리 서버 개수()의 비율이며,는 SFC를 구성하는 VNF 인스턴스들의 분포도를 나타내는 값이며,수학식 2의 보상모델은 과 를 보상(r)에 반영하고,여기서, 는 NFV 환경에서 가용할 수 있는 총 물리 서버 개수() 대비 SFC(Service Function Chaining)를 구성하는 VNF 인스턴스가 배치되어 있는 물리 서버 개수()의 비율을 의미하고,는 SFC(Service Function Chaining)를 구성하는 VNF 인스턴스들의 분포도를 나타내는 값이며, SFC(Service Function Chaining)를 구성하는 전체 VNF 인스턴스 개수() 대비 VNF(Virtual Network Functions) 인스턴스가 배치된 각 물리 서버에서 실행되는 VNF(Virtual Network Functions) 인스턴스 개수()의 비율을 곱을 의미하는,오토 스케일링 방법
|
| 15 |
15
청구항 12에 있어서, 상기 방법은,수학식 2의 보상 모델은 지수 함수에 와 를 가중치 와 로 보정하여 반영하고, SFC(Service Function Chaining)를 흐르는 트래픽의 응답 시간을 보상(r)에 고려한,오토 스케일링 방법
|
| 16 |
16
청구항 7에 있어서, 상기 방법은,현재 상태에서 스케일링이 필요하다고 에이전트가 판단했을 경우, 수학식 3에 의해 스케일링을 적용할 계층을 선택하는,오토 스케일링 방법
|
| 17 |
17
청구항 7에 있어서, 상기 방법은,수학식 3은 각 계층마다 점수(Score)를 계산하여, 가장 높은 점수를 가지는 계층을 스케일링 할 계층으로 선택하고,각 계층의 점수는 와 함수 결과 값의 곱으로 계산되며,이 중, 는 해당 계층 내에서 스케일링이 불가능한 경우에 0, 가능한 경우에는 1을 할당하여 점수를 보정하고, 는 각 계층의 함수가 스케일 인아웃(Scale-in/out)에 적합한 정도를 나타내는 함수인,오토 스케일링 방법
|
| 18 |
18
청구항 17에 있어서, 상기 방법은,스케일링을 적용할 계층은 각 계층의 CPU 사용량()과 메모리 사용량()을 기반으로 로 정의하며, 각각 가중치 와 로 보정되고,는 현재 SFC(Service Function Chaining)를 구성하는 VNF 인스턴스들이 배치된 물리 서버의 개수()와 선택된 계층의 VNF 인스턴스들이 배치된 물리 서버의 개수()의 비율을 고려하고,수학식 3은 , , 와 지수 함수를 활용하여 각 계층이 스케일링에 적합한지 점수로 나타내는,오토 스케일링 방법
|
| 19 |
19
청구항 7에 있어서, 상기 방법은,보상 정의에 활용되는 데이터를 가져오기 위한 모니터링 기능이 존재한다고 가정하고,SFC(Service Function Chaining) 데이터, VNF(Virtual Network Functions) 인스턴스 설치 위치 데이터와 물리 서버 데이터는 VNF가 운영되는 NFV환경에서 제공하는 모니터링 도구를 활용하여 가져올 수 있으며, 각 VNF(Virtual Network Functions) 인스턴스의 자원 활용률은 오픈소스 모니터링 에이전트인 컬렉트(Collectd)를 설치해 주기적으로 모니터링한 후, 시계열 데이터베이스에 저장하는 것으로 확보할 수 있는,오토 스케일링 방법
|
| 20 |
20
청구항 7에 있어서, 상기 방법은,성능은 임계값(Threshold) 기반 오토 스케일링 방법과 대비하여 수행한 오토 스케일링이 더 좋은 성능을 가진다는 것을 보여서 검증하고,성능 지표로 오토 스케일링 되는 SFC(Service Function Chaining)의 SLO 위반 비율을 측정하여 활용하는, 오토 스케일링 방법
|
