| 1 |
1
시민감 네트워크(TSN)에 대한 흐름 목록을 입력 받아, 모든 흐름에 대한 전송기한을 충족하는 경로 집합을 찾고, 강화학습에 기반하여 부하 분산 라우팅(Load-Balanced Routing)을 수행하는 강화학습 기반 라우팅부; 및상기 강화학습 기반 라우팅부에서의 라우팅 결과를 입력받고, 상기 시민감 네트워크에 대해 경로 단계(Path Step)에 따른 스케줄을 생성하는 경로단계 스케줄링부를 포함하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 시스템
|
| 2 |
2
제1항에 있어서,상기 강화학습 기반 라우팅부는 상기 시민감 네트워크의 현재 스케줄링 정보, 현재 위치 정보, 현재 흐름의 목적지, 현재 흐름이 사용한 링크 집합을 포함하는 상태 행렬에 기초하여, 현재 위치의 각 이웃에 대한 링크로 정의된 행동 공간에서 다음 방문할 스위치를 선택하는 행동을 수행하는 것을 특징으로 하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 시스템
|
| 3 |
3
제2항에 있어서,상기 강화학습 기반 라우팅부는 전송기한을 준수하는 흐름이 많을수록 보상이 커지도록 상기 행동에 따른 스케줄링 결과가 흐름의 전송기한을 준수하는지 여부를 반영한 스케줄 점수를 보상으로 계산하는 것을 특징으로 하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 시스템
|
| 4 |
4
제3항에 있어서,상기 강화학습 기반 라우팅부는 최대 링크 활용도를 최소화하는 최소-최대 공정성(min-max fairness) 기준을 사용하여 부하 분산을 달성하는 것을 특징으로 하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 시스템
|
| 5 |
5
제1항에 있어서,상기 경로단계 스케줄링부는 상기 시민감 네트워크의 각 스위치에 대한 스케줄 목록을 초기화하고, 동일한 간격의 흐름을 그룹화하며, 간격이 작은 그룹 순으로 스케줄링을 수행하되, 경로의 홉을 의미하는 단계별 스케줄을 스케줄링하는 것을 특징으로 하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 시스템
|
| 6 |
6
시민감 네트워크 환경에서 수행되는 강화학습 기반 라우팅 및 스케줄링 통합 방법으로서, 강화학습 기반 라우팅부에 흐름 목록이 입력되는 단계;상기 흐름 목록에 속하는 각 흐름에 대한 라우팅 후보 경로를 탐색하는 단계;목적 함수에 기초하여 상기 라우팅 후보 경로에 대한 보상을 계산하여 라우팅을 결정하는 단계; 및경로단계 스케줄링부에서 라우팅 결과에 따라 경로 단계 스케줄링을 수행하는 단계를 포함하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 방법
|
| 7 |
7
제6항에 있어서,상기 경로 단계 스케줄링을 수행하는 단계는, 상기 시민감 네트워크에 속하는 각 스위치에 대한 스케줄 목록을 초기화하고, 동일한 간격의 흐름을 그룹화하는 단계;간격이 작은 그룹 순으로 스케줄링을 수행하는 단계;경로의 홉을 의미하는 단계별 스케줄을 스케줄링하는 단계;링크와 흐름의 관계를 파악하는 단계; 및스케줄링해야 하는 흐름 및 링크 목록을 읽고, 실제 스케줄링을 수행하는 단계를 포함하는 것을 특징으로 하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 방법
|
| 8 |
8
제6항에 있어서,상기 목적 함수는 다음 수학식으로 표현되는 것을 특징으로 하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 방법
|
| 9 |
9
제8항에 있어서,상기 스케줄 점수 함수 SCH(t)는 다음 수학식에 따라 전송기한을 준수하는 흐름이 많을수록 보상이 커져 스케줄링된 모든 흐름의 전송기한을 충족할 수 있는 라우팅 경로 집합이 만들어지게 하는 것을 특징으로 하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 방법
|
| 10 |
10
제8항에 있어서,상기 부하 분산 점수 함수 L(t)는 다음 수학식에 따라 과부하가 걸린 링크 선택 시 큰 음수 값을 가지도록 하여, 최소-최대 공정성 기준에 따른 부하 분산 달성이 가능하게 하는 것을 특징으로 하는 시민감 네트워크 환경에서의 강화학습 기반 라우팅 및 스케줄링 통합 방법
|
