| 1 |
1
복수의 이동체에 대한 사전 정의된 이동성을 기반으로 상기 복수의 이동체 각각의 통신에 대한 시뮬레이션 환경을 구현하는 네트워크 시뮬레이터;상기 시뮬레이션 환경의 라우팅 경로에서 상기 복수의 이동체 중 제1 노드의 다음 라우트인 제2 노드를 선택하는 액션을 추출하는 강화학습 에이전트; 및상기 네트워크 시뮬레이터로 상기 복수의 이동체 각각에 대한 통신을 시뮬레이션하고, 상기 시뮬레이션의 결과로부터 강화학습 데이터를 추출하며, 추출된 상기 강화학습 데이터로 상기 강화학습 에이전트를 학습시키는 강화학습 모듈을 포함하는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 2 |
2
제 1 항에 있어서,상기 강화학습 모듈은,상기 라우팅 경로에서 선택된 상기 제2 노드와 목적지에 대응하는 제3 노드까지의 거리가 가까워질수록 상기 강화학습 에이전트에 높은 보상(reward)을 제공하는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 3 |
3
제 1 항에 있어서,상기 강화학습 모듈은,상기 노드가 가지는 링크 에러(link error) 및 위치 에러(location error)가 작을수록 상기 강화학습 에이전트에 높은 보상(reward)을 제공하는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 4 |
4
제 1 항에 있어서,상기 강화학습 모듈은,상기 제1 노드가 상기 라우팅 시 선택한 노드가 최종 목적지 노드와 같을 때, 상기 라우팅이 성공한 것으로 확인하고 상기 학습을 종료하거나, 에러 혹은 더 이상 라우팅이 불가능함을 감지하였을 때 상기 학습을 종료하는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 5 |
5
제 1 항에 있어서,상기 강화학습 모듈은,처음 observation space와 action space를 상기 시뮬레이션의 환경과 동일하게 상기 복수의 이동체에 대응하는 노드의 총 수로 설정하고,Q-learning을 기반으로 학습될 보상의 기대값인 q-value들을 모두 음의 무한대로 설정하며,상기 각 액션에 대한 미래의 보상(q-value)을 업데이트할 q-table을 설정하는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 6 |
6
제 5 항에 있어서,상기 강화학습 모듈은,상기 강화학습 에이전트를 학습시키기 위해, 상기 강화학습 에이전트에 랜덤한 행동을 실행시키고, 상기 학습은 상기 q-table에 새로운 데이터를 누적하기 위한 exploration과, 학습된 지식을 사용하여 최적의 판단을 내리기 위한 exploitation으로 나뉘는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 7 |
7
제 6 항에 있어서,상기 강화학습 모듈은,상기 랜덤한 행동으로서, 일정한 1 미만의 상수 epsilon을 정의하여, 랜덤하게 생성된 1 미만의 수가 상기 상수 epsilon보다 작을 경우, 상기 각 액션에 대하여 무작위의 액션을 선정하고, 상기 선정된 무작위의 액션은 상기 네트워크 시뮬레이터로 전달되는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 8 |
8
제 7 항에 있어서,상기 강화학습 모듈은,상기 랜덤하게 생성된 1 미만의 수가 상기 상수 epsilon보다 클 경우, current node에 대응하는 상기 q-table에서 가장 기댓값이 높은 index를 검출하고, 상기 검출된 index의 노드를 라우팅에 있어서 선택될 다음 노드로 설정하는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 9 |
9
제 5 항에 있어서,상기 강화학습 모듈은,상기 라우팅 경로에서 제1 노드의 다음 라우트인 제2 노드를 선택하는 액션에 대응하는 상기 q-value를 수학식 1을 통해 업데이트하고,(수학식 1) 여기서, s_t는 current node, a_t는 action으로 판단된 다음 노드, 보상은 QGeo 알고리즘에 따라 정의된 앞의 서술된 보상 함수(reward function)의 값, s_t+1은 observation을 통해 받아온 다음 노드인 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 10 |
10
제 1 항에 있어서,상기 네트워크 시뮬레이터는,상기 각 이동체의 이동과 통신에 무작위 에러를 포함시켜 실제 전술 시행 환경의 변칙성을 반영하는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 11 |
11
제 5 항에 있어서,상기 강화학습 에이전트는, 실제 환경에서 사전 정의된 이동성을 기반으로 이동하는 복수의 이동체 각각에 대해 특정시점에서의 라우팅을 업데이트가 완료된 상기 q-table을 기반으로 실행하는 애드혹 라우팅 강화학습 시스템
|
| 12 |
12
제 1 항에 있어서,상기 사전 정의된 이동성은,무인 항공기의 군집 비행 시나리오 및 전사 시 무인 항공기의 비행 미션 중 적어도 하나로 정의되는 것을 특징으로 하는 애드혹 라우팅 강화학습 시스템
|
| 13 |
13
강화학습 모듈이 복수의 이동체에 대한 사전 이동성이 정의된 시나리오를 기반으로 상기 복수의 이동체 각각의 통신 시뮬레이션 환경을 구현하는 단계;상기 강화학습 모듈이 Q-learning의 보상 기댓값(q-value) 및 상기 보상 기댓값을 업데이트하여 저장하는 q-table을 설정하는 단계;상기 강화학습 모듈이 강화학습 에이전트를 학습시키기 위해, 상기 강화학습 에이전트에 랜덤한 행동을 실행시키면서 상기 q-table을 업데이트하는 단계; 및상기 강화학습 모듈이 상기 강화학습 에이전트로부터 추출된 액션을 기반으로 상기 Q-learning을 반복 수행하면서, 라우팅 종료 이벤트가 발생할 때까지 상기 q-table을 지속 업데이트하는 단계;를 포함하고,상기 액션은 상기 시뮬레이션 환경의 라우팅 경로에서 제1 노드의 다음 라우트인 제2 노드에 대한 선택인 것을 특징으로 하는 애드혹 라우팅 강화학습 방법
|
| 14 |
14
제 13 항에 있어서,상기 강화학습 모듈이 상기 보상 기댓값을 설정하는 단계는,상기 라우팅 경로에서 선택된 상기 제2 노드와 목적지에 대응하는 제3 노드까지의 거리가 가까워질수록, 상기 노드가 가지는 링크 에러(link error) 및 위치 에러(location error)가 작을수록 높은 보상이 제공되도록 설정하는 단계를 포함하는 것을 특징으로 하는 애드혹 라우팅 강화학습 방법
|
| 15 |
15
제 13 항에 있어서,상기 라우팅 종료 이벤트는,상기 제1 노드가 상기 라우팅 시 선택한 노드가 최종 목적지 노드와 같은 시점 또는 에러 혹은 더 이상 라우팅이 불가능함을 감지한 시점인 것을 특징으로 하는 애드혹 라우팅 강화학습 방법
|
| 16 |
16
제 13 항에 있어서,상기 q-table을 지속 업데이트하는 단계는,상기 라우팅 경로에서 제1 노드의 다음 라우트인 제2 노드를 선택하는 액션에 대응하는 상기 q-value를 수학식 1을 통해 업데이트하고,(수학식 1) 여기서, s_t는 current node, a_t는 action으로 판단된 다음 노드, 보상은 QGeo 알고리즘에 따라 정의된 앞의 서술된 보상 함수(reward function)의 값, s_t+1은 observation을 통해 받아온 다음 노드인 것을 특징으로 하는 애드혹 라우팅 강화학습 방법
|
| 17 |
17
제 13 항에 있어서,상기 통신 시뮬레이션 환경을 구현하는 단계는,상기 각 이동체의 이동과 통신에 무작위 에러를 포함시켜 실제 전술 시행 환경의 변칙성을 반영하고,상기 무작위 에러로서, 상기 각 드론에 대한 사전 이동성에 대응하는 포지션(position)에 조작된 일정량의 오차, 및 상기 통신에 포함된 링크 에러를 발생시키는 것을 특징으로 하는 애드혹 라우팅 강화학습 방법
|
| 18 |
18
제 13 항에 있어서,상기 강화학습 에이전트가 실제 환경에서 사전 정의된 이동성을 기반으로 이동하는 복수의 이동체 각각에 대해 특정시점에서의 라우팅을 업데이트가 완료된 상기 q-table을 기반으로 실행하는 애드혹 라우팅 강화학습 방법
|
| 19 |
19
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,강화학습 모듈이 복수의 이동체에 대한 사전 이동성이 정의된 시나리오를 기반으로 상기 복수의 이동체 각각의 통신 시뮬레이션 환경을 구현하는 단계;상기 강화학습 모듈이 Q-learning의 보상 기댓값(q-value) 및 상기 보상 기댓값을 업데이트하여 저장하는 q-table을 설정하는 단계;상기 강화학습 모듈이 강화학습 에이전트를 학습시키기 위해, 상기 강화학습 에이전트에 랜덤한 행동을 실행시키면서 상기 q-table을 업데이트하는 단계; 및상기 강화학습 모듈이 상기 강화학습 에이전트로부터 추출된 액션을 기반으로 상기 Q-learning을 반복 수행하면서, 라우팅 종료 이벤트가 발생할 때까지 상기 q-table을 지속 업데이트하는 단계;를 포함하고,상기 액션은 상기 시뮬레이션 환경의 라우팅 경로에서 제1 노드의 다음 라우트인 제2 노드에 대한 선택인 것을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체
|
| 20 |
20
컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,강화학습 모듈이 복수의 이동체에 대한 사전 이동성이 정의된 시나리오를 기반으로 상기 복수의 이동체 각각의 통신 시뮬레이션 환경을 구현하는 단계;상기 강화학습 모듈이 Q-learning의 보상 기댓값(q-value) 및 상기 보상 기댓값을 업데이트하여 저장하는 q-table을 설정하는 단계;상기 강화학습 모듈이 강화학습 에이전트를 학습시키기 위해, 상기 강화학습 에이전트에 랜덤한 행동을 실행시키면서 상기 q-table을 업데이트하는 단계; 및상기 강화학습 모듈이 상기 강화학습 에이전트로부터 추출된 액션을 기반으로 상기 Q-learning을 반복 수행하면서, 라우팅 종료 이벤트가 발생할 때까지 상기 q-table을 지속 업데이트하는 단계;를 포함하고,상기 액션은 상기 시뮬레이션 환경의 라우팅 경로에서 제1 노드의 다음 라우트인 제2 노드에 대한 선택인 것을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램
|
