| 1 |
1
복수의 에이전트(agent) 각각의 정책 매개변수의 훈련을 제어하는 시스템을 이용하여 수행되는 복수의 에이전트(agent) 각각의 정책 매개변수의 훈련을 제어하는 방법에 있어서,상기 복수의 에이전트(agent) 각각의 정책 매개변수의 훈련을 제어하는 시스템의 훈련 제어부는 상기 복수의 에이전트 각각을 대상으로 미리 공유된 안내 정책에 기초하여 독립적으로 훈련하도록 제어하는 정책 훈련 단계; 수신 제어부는 매 훈련 마다 다음 훈련에서 사용할 변수(,)를 획득하도록 하기 위해, 상기 복수의 에이전트 각각의 정보를 해당 에이전트로부터 수신하는 단계; 전송 제어부는 매 훈련 마다 각 에이전트의 정보를 기반으로 결정된 다음 훈련에 사용할 변수(,)를 상기 복수의 에이전트에게 전송하는 단계; 상기 수신 제어부는 미리 정의된 번의 훈련이 수행됨에 따라, 각 에이전트의 성능 정보를 해당 에이전트로부터 수신하는 단계; 및공유 제어부는 수신된 상기 각 에이전트의 성능 정보에 기초하여 결정된 베스트 에이전트의 정책 매개변수()를 상기 복수의 에이전트들이 공유하도록 제어하는 단계를 포함하고, 상기 각 에이전트는 심층 신경망(multi-layer perceptron)의 매개변수인 자신의 상기 정책 매개변수()를 가지며, 상기 정책 매개변수()로 자신의 정책을 구성하고, 자신의 상기 정책의 훈련에 필요한 상기 변수(,)와 안내 정책의 매개변수()를 공유하며, 공유된 상기 안내 정책의 매개변수()를 이용하여 안내 정책을 구성하여 훈련에 사용하는 것을 특징으로 하는 다중 에이전트 훈련 제어 방법
|
| 2 |
2
제1항에 있어서,상기 복수의 에이전트들 각각에 해당하는 현재 정책()의 매개변수()는 상기 복수의 에이전트들이 공유하는 상기 다음 훈련에 사용할 변수(,), 안내 정책(), 및 각 에이전트의 경험 정보에 기초하여 업데이트되고, 상기 다음 훈련에 사용할 변수(,)를 상기 복수의 에이전트에게 전송하는 단계는,상기 안내 정책과 각 에이전트의 현재 정책 사이의 쿨백 라이블러 발산(KL divergence)에 기초하여 상기 다음 훈련에 사용할 변수()를 계산하는 단계를 포함하고, 상기 베스트 에이전트의 안내 정책과 각 에이전트의 현재 정책의 쿨백 라이블러 발산(KL divergence) 항의 변수()를 조정하여 상기 베스트 에이전트의 안내 정책의 매개변수()에서 만큼 떨어진 매개변수 공간에서 상기 정책 매개변수()를 학습하도록 제어하는 것을 특징으로 하는 다중 에이전트 훈련 제어 방법
|
| 3 |
3
제2항에 있어서,상기 복수의 에이전트들 각각에 해당하는 현재 정책()의 매개변수()는, 미리 정의된 해당 에이전트의 목표 함수를 상대적으로 증가시키는 방향으로 업데이트되는 것을 특징으로 하는 다중 에이전트 훈련 제어 방법
|
| 4 |
4
삭제
|
| 5 |
5
제1항에 있어서,상기 정책 매개변수()를 상기 복수의 에이전트들이 공유하도록 제어하는 단계는,상기 복수의 에이전트 각각에서 상기 번의 훈련이 수행되면, 새로운 안내 정책을 선택하기 위해, 해당 에이전트의 성능을 나타내는 일정 개수()의 에피소드 보상의 평균()을 수신하는 단계를 포함하는 다중 에이전트 훈련 제어 방법
|
| 6 |
6
제5항에 있어서,상기 정책 매개변수()를 상기 복수의 에이전트들이 공유하도록 제어하는 단계는,수신된 상기 에피소드 보상의 평균()에 기초하여 상기 복수의 에이전트 중 평균이 가장 높은 에이전트를 상기 베스트 에이전트로 결정하는 단계; 및결정된 상기 베스트 에이전트로 상기 정책 매개 변수()를 요청하는 단계를 더 포함하는 다중 에이전트 훈련 제어 방법
|
| 7 |
7
제6항에 있어서,상기 정책 매개변수()를 상기 복수의 에이전트들이 공유하도록 제어하는 단계는,상기 정책 매개변수()의 요청에 대한 응답으로, 상기 베스트 에이전트의 현재 정책에 해당하는 매개변수()를 상기 베스트 에이전트로부터 수신하는 단계; 안내 정책의 매개변수()를 수신된 상기 베스트 에이전트의 현재 정책에 해당하는 매개변수()로 설정하는 단계; 및설정된 상기 안내 정책의 매개변수()를 상기 복수의 에이전트들로 전송하는 단계를 더 포함하는 다중 에이전트 훈련 제어 방법
|
| 8 |
8
복수의 에이전트(agent) 각각의 정책 매개변수의 훈련을 제어하는 시스템에 있어서,상기 복수의 에이전트 각각을 대상으로 미리 공유된 안내 정책에 기초하여 독립적으로 훈련하도록 제어하는 훈련 제어부;매 훈련 마다 다음 훈련에서 사용할 변수들을 획득하도록 하기 위해, 상기 복수의 에이전트 각각의 정보를 해당 에이전트로부터 수신하고, 미리 정의된 번의 훈련이 수행됨에 따라, 각 에이전트의 성능 정보를 해당 에이전트로부터 수신하는 수신 제어부; 매 훈련 마다 각 에이전트의 정보를 기반으로 결정된 다음 훈련에 사용할 변수를 상기 복수의 에이전트에게 전송하는 전송 제어부; 및수신된 상기 각 에이전트의 성능 정보에 기초하여 결정된 베스트 에이전트의 정책 매개변수()를 상기 복수의 에이전트들이 공유하도록 제어하는 공유 제어부를 포함하고, 상기 각 에이전트는 심층 신경망(multi-layer perceptron)의 매개변수인 자신의 상기 정책 매개변수()를 가지며, 상기 정책 매개변수()로 자신의 정책을 구성하고, 자신의 상기 정책의 훈련에 필요한 상기 변수(,)와 안내 정책의 매개변수()를 공유하며, 공유된 상기 안내 정책의 매개변수()를 이용하여 안내 정책을 구성하여 훈련에 사용하는 것을 특징으로 하는 다중 에이전트 훈련 제어 시스템
|
| 9 |
9
제8항에 있어서,상기 복수의 에이전트들 각각에 해당하는 현재 정책()의 매개변수()는 상기 복수의 에이전트들이 공유하는 상기 다음 훈련에 사용할 변수(,), 안내 정책(), 및 각 에이전트의 경험 정보에 기초하여 업데이트되고, 상기 전송 제어부는,상기 안내 정책과 각 에이전트의 현재 정책 사이의 쿨백 라이블러 발산(KL divergence)에 기초하여 상기 다음 훈련에 사용할 변수()를 계산하고, 상기 베스트 에이전트의 안내 정책과 각 에이전트의 현재 정책의 쿨백 라이블러 발산(KL divergence) 항의 변수()를 조정하여 상기 베스트 에이전트의 안내 정책의 매개변수()에서 만큼 떨어진 매개변수 공간에서 상기 정책 매개변수()를 학습하도록 제어하는 것을 특징으로 하는 다중 에이전트 훈련 제어 시스템
|
| 10 |
10
제9항에 있어서,상기 복수의 에이전트들 각각에 해당하는 현재 정책()의 매개변수()는, 미리 정의된 해당 에이전트의 목표 함수를 상대적으로 증가시키는 방향으로 업데이트되는 것을 특징으로 하는 다중 에이전트 훈련 제어 시스템
|
| 11 |
11
삭제
|
| 12 |
12
제9항에 있어서,상기 공유 제어부는,상기 복수의 에이전트 각각에서 상기 번의 훈련이 수행되면, 새로운 안내 정책을 선택하기 위해, 해당 에이전트의 성능을 나타내는 일정 개수()의 에피소드 보상의 평균()을 수신하는 것을 특징으로 하는 다중 에이전트 훈련 제어 시스템
|
| 13 |
13
제12항에 있어서,상기 공유 제어부는,수신된 상기 에피소드 보상의 평균()에 기초하여 상기 복수의 에이전트 중 평균이 가장 높은 에이전트를 상기 베스트 에이전트로 결정하고, 결정된 상기 베스트 에이전트로 상기 정책 매개변수()를 요청하는 것을 특징으로 하는 다중 에이전트 훈련 제어 시스템
|
| 14 |
14
제13항에 있어서,상기 공유 제어부는,상기 정책 매개변수()의 요청에 대한 응답으로, 상기 베스트 에이전트의 현재 정책에 해당하는 매개변수()를 상기 베스트 에이전트로부터 수신하고, 안내 정책의 매개변수()를 수신된 상기 베스트 에이전트의 현재 정책에 해당하는 매개변수()로 설정하고, 설정된 상기 안내 정책의 매개변수()를 상기 복수의 에이전트들로 전송하는 것을 특징으로 하는 다중 에이전트 훈련 제어 시스템
|
