| 1 |
1
복수의 센서 노드와 패킷 스케쥴링 장치를 포함하는 사물 인터넷(internet of things; IoT) 통신 환경에서 상기 패킷 스케쥴링 장치에서의 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법은, 상기 복수의 센서 노드로부터 센싱된 각각의 데이터 패킷을 복수의 큐-여기서, 상기 복수의 큐는 상기 센서 노드의 개수 만큼의 큐를 포함하며, 각 센서 노드당 하나의 큐가 할당됨-에서 제공받는 단계; 상기 각 큐의 데이터 패킷 도착율에 관한 상한 경계값과 하한 경계값을 설정하는 단계; 및상기 설정된 상한 경계값과 상기 하한 경계값에 기초하여 상기 각 큐의 데이터 패킷에 대한 평균 지연 시간의 지연 요구 조건 만족 여부를 확인하여 상기 각 큐의 데이터 패킷을 처리하는 단계를 포함하되,상기 상한 경계값 및 하한 경계값은 큐-러닝(Q-learning)의 초기화 조건에 대한 경계값 인 것을 특징으로 하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서, 새로이 들어오는 다음 p/2개의 데이터 패킷 도착율-여기서 p는 데이터 패킷의 개수로서 자연수-이 상기 상한 경계값과 상기 하한 경계값을 벗어나면 상기 상한 경계값과 상기 하한 경계값을 초기화하는 단계를 더 포함하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법
|
| 4 |
4
제1항에 있어서, 상기 각 큐의 상태-여기서 각 큐의 상태는 각 센서 노드의 지연요구조건보다 상기 각 센서 노드에 할당된 각 큐의 실제 측정된 평균 지연 시간이 큰 경우 상기 지연 요구 조건을 만족하지 못한 큐로 판단함-를 파악하고 상기 각 큐의 데이터 패킷에 대한 평균 지연 시간의 상기 지연 요구 조건을 만족하지 못하는 큐를 우선적으로 처리하는 것을 특징으로하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법
|
| 5 |
5
제1항에 있어서, 상기 각 큐의 현재 상태에 따른 학습된 스케줄링 정책(Scheduling policy)를 기반으로 상기 각 큐의 현재 상태에서 가능한 행동들 중 보상(reward)를 극대화 할 수 있는 행동(Action)-여기서 행동은 처리할 큐를 선택하여 선택된 큐의 패킷을 처리하는 것-을 선택하여 처리하는 것을 특징으로하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법
|
| 6 |
6
제1항에 있어서, 상기 큐-러닝(Q-learning)의 보상은 상기 각 큐의 상태의 행동(Action)에 대한 학습 알고리즘(Learning algorithm)의 피드백으로, 상기 보상을 기반으로 상기 학습 알고리즘의 스케줄링 정책을 갱신(Update)하는 것을 특징으로하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법
|
| 7 |
7
제1항에 있어서, 상기 각 큐의 데이터 패킷이 상기 지연 요구조건 내에서 처리될 경우 상기 패킷 스케쥴링 장치에게 긍정적인 보상을 부여하며, 상기 각 큐의 데이터 패킷이 상기 지연 요구조건 내에 처리되지 않을 경우 상기 패킷 스케쥴링 장치에게 부정적인 보상을 부여하는 것을 특징으로하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법
|
| 8 |
8
제1항에 있어서, 상기 각 큐의 p개의 데이터 패킷에 대한 데이터 패킷 도착율을 측정하는 단계를 더 포함하는 것을 특징으로하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법
|
| 9 |
9
복수의 센서 노드와 패킷 스케쥴링 장치를 포함하는 사물 인터넷(internet of things; IoT) 통신 환경에서, 상기 패킷 스케쥴링 장치는, 상기 복수의 센서 노드와 통신하여 상기 복수의 센서 노드로부터 센싱된 각각의 데이터 패킷을 수신하는 통신부; 상기 통신부와 연결된 프로세서를 포함하고, 상기 프로세서는 상기 복수의 센서 노드로부터 센싱된 각각의 데이터 패킷을 제공받아 복수의 큐-여기서, 상기 복수의 큐는 상기 센서 노드의 개수 만큼의 큐를 포함하며, 각 센서 노드당 하나의 큐가 할당됨-에 대하여 각 큐의 데이터 패킷 도착율에 관한 상한 경계값과 하한 경계값을 설정하고, 상기 설정된 상한 경계값과 상기 하한 경계값에 기초하여 상기 각 큐의 데이터 패킷에 대한 평균 지연 시간의 지연 요구 조건 만족 여부를 확인하여 상기 각 큐의 데이터 패킷을 처리하되,상기 상한 경계값 및 하한 경계값은 큐-러닝(Q-learning)의 초기화 조건에 대한 경계값 인 것을 특징으로 하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법을 수행하는 패킷 스케쥴링 장치
|
| 10 |
10
삭제
|
| 11 |
11
제9항에 있어서, 상기 프로세서는 새로운 p/2개의 데이터 패킷 도착율-여기서 p는 데이터 패킷의 개수로서 자연수-이 상기 상한 경계값과 상기 하한 경계값을 벗어나면 상기 상한 경계값과 상기 하한 경계값을 초기화하는 것을 더 수행하는 것을 특징으로 하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법을 수행하는 패킷 스케쥴링 장치
|
| 12 |
12
제9항에 있어서, 상기 프로세서는 상기 각 큐의 상태-여기서 각 큐의 상태는 각 센서 노드의 지연요구조건보다 상기 각 센서 노드에 할당된 각 큐의 실제 측정된 평균 지연 시간이 큰 경우 상기 지연 요구 조건을 만족하지 못한 큐로 판단함-를 파악하고 상기 각 큐의 데이터 패킷에 대한 평균 지연 시간의 상기 지연 요구 조건을 만족하지 못하는 큐를 우선적으로 처리하는 것을 특징으로 하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법을 수행하는 패킷 스케쥴링 장치
|
| 13 |
13
제9항에 있어서, 상기 프로세서는 상기 각 큐의 현재 상태에 따른 학습된 스케줄링 정책(Scheduling policy)를 기반으로 상기 각 큐의 현재 상태에서 가능한 행동들 중 보상(reward)를 극대화 할 수 있는 행동(Action)-여기서 행동은 처리할 큐를 선택하여 선택된 큐의 패킷을 처리하는 것-을 선택하여 처리하는 것을 특징으로 하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법을 수행하는 패킷 스케쥴링 장치
|
| 14 |
14
제9항에 있어서, 상기 큐-러닝(Q-learning)의 보상은 상기 각 큐의 상태의 행동(Action)에 대한 학습 알고리즘(Learning algorithm)의 피드백으로, 상기 프로세서는 상기 보상을 기반으로 상기 학습 알고리즘의 스케줄링 정책을 갱신(Update)하는 것을 특징으로 하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법을 수행하는 패킷 스케쥴링 장치
|
| 15 |
15
제9항에 있어서, 상기 각 큐의 데이터 패킷이 상기 지연 요구조건 내에서 처리될 경우 상기 패킷 스케쥴링 장치에게 긍정적인 보상을 부여하며, 상기 각 큐의 데이터 패킷이 상기 지연 요구조건 내에 처리되지 않을 경우 상기 패킷 스케쥴링 장치에게 부정적인 보상을 부여하는 것을 특징으로 하는 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법을 수행하는 패킷 스케쥴링 장치
|
| 16 |
16
복수의 센서 노드와 패킷 스케쥴링 장치를 포함하는 사물 인터넷(internet of things; IoT) 통신 환경에서 상기 패킷 스케쥴링 장치에서 큐-러닝(Q-learning)을 이용한 적응적 패킷 스케줄링 방법을 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 상기 복수의 센서 노드로부터 센싱된 각각의 데이터 패킷을 복수의 큐-여기서, 상기 복수의 큐는 상기 센서 노드의 개수 만큼의 큐를 포함하며, 각 센서 노드당 하나의 큐가 할당됨-에서 제공받는 단계; 상기 각 큐의 데이터 패킷 도착율에 관한 상한 경계값과 하한 경계값을 설정하는 단계; 및상기 설정된 상한 경계값과 상기 하한 경계값에 기초하여 상기 각 큐의 데이터 패킷에 대한 평균 지연 시간의 지연 요구 조건 만족 여부를 확인하여 상기 각 큐의 데이터 패킷을 처리하는 단계를 실행시키되,상기 상한 경계값 및 하한 경계값은 큐-러닝(Q-learning)의 초기화 조건에 대한 경계값 인 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
|
