| 1 |
1
무인 체계의 강화 학습을 위한 시뮬레이션 방법에 있어서,지도 정보를 기초로 시뮬레이션 환경을 구성하는 단계;상기 시뮬레이션 환경에서 무인기의 이동 좌표 값을 포함하는 에이전트 행동을 획득하는 단계;상기 에이전트 행동에 기초하여 상기 무인기의 이동 경로를 생성하고 상기 이동 경로를 트래킹(tracking)하기 위한 무인기 제어값을 획득하는 단계;상기 무인기 제어값에 기초하여 상기 시뮬레이션 환경에서 상기 무인기를 시뮬레이션하는 단계;상기 무인기의 시뮬레이션에 따라 상기 무인기의 센서 측정값 및 시뮬레이션 결과 추정 값을 획득하는 단계; 및상기 무인기의 센서 측정값, 상기 시뮬레이션 결과 추정 값 및 상기 무인기의 목표 도달 여부에 기초하여 상기 에이전트를 강화학습하는 단계를 포함하고, 상기 에이전트는 상기 무인기가 상기 목표에 도달하기까지 반복되어 강화학습되는, 무인 체계의 강화 학습을 위한 시뮬레이션 방법
|
| 2 |
2
제1항에 있어서,상기 지도 정보는 2D 장애물 정보, 3D 장애물 정보 및 3D 환경 모델 정보 중 적어도 하나를 포함하는, 무인 체계의 강화 학습을 위한 시뮬레이션 방법
|
| 3 |
3
제1항에 있어서, 상기 지도 정보 및 상기 무인기 제어값에 기초하여 시뮬레이션 현황 정보를 출력하는 단계를 더 포함하는, 무인 체계의 강화 학습을 위한 시뮬레이션 방법
|
| 4 |
4
제3항에 있어서,상기 시뮬레이션 현황 정보는, 상기 무인기 및 상기 센서에 대한 모델 정보에 기초하여 구성되는, 무인 체계의 강화 학습을 위한 시뮬레이션 방법
|
| 5 |
5
무인 체계의 강화 학습을 위한 시뮬레이션 방법에 있어서,지도 정보를 기초로 시뮬레이션 환경을 구성하는 단계;상기 시뮬레이션 환경에서 무인기의 이동 좌표 값을 포함하는 에이전트 행동을 획득하는 단계;상기 에이전트 행동에 기초하여 상기 무인기의 이동 경로를 생성하고 상기 이동 경로를 트래킹(tracking)하기 위한 무인기 제어값을 획득하는 단계;상기 무인기 제어값에 기초하여 상기 시뮬레이션 환경에서 상기 무인기를 시뮬레이션하는 단계;상기 무인기의 시뮬레이션에 따라 상기 무인기의 센서 측정값 및 시뮬레이션 결과 추정 값을 획득하는 단계; 및상기 무인기의 센서 측정값, 상기 시뮬레이션 결과 추정 값 및 상기 무인기의 목표 도달 여부에 기초하여 상기 에이전트를 강화학습하는 단계를 포함하고,상기 목표는 정찰 임무 및 감시 임무 중 어느 하나에 대한 목표이며,상기 정찰 임무는 상기 시뮬레이션 환경의 지도 정보를 상기 에이전트에게 제공하지 않고 상기 무인기를 통해 상기 시뮬레이션 환경의 지도 정보를 획득하기 위한 임무이고, 상기 감시 임무는 상기 시뮬레이션 환경 내에서 적대적 에이전트를 탐색하는 임무인, 무인 체계의 강화 학습을 위한 시뮬레이션 방법
|
| 6 |
6
제5항에 있어서,상기 목표가 정찰 임무에 대한 목표인 경우, 상기 에이전트를 강화학습하는 단계는, 상기 무인기가 상기 시뮬레이션 환경의 지도 정보를 많이 획득할수록 보상이 커지도록 학습하는 단계를 포함하고,상기 목표가 감시 임무에 대한 목표인 경우, 상기 에이전트를 강화학습하는 단계는, 상기 무인기가 상기 이동 경로에 따라 상기 이동 좌표 값에 도달하였을 때 상기 적대적 에이전트를 찾을 경우 보상이 커지도록 학습하는 단계를 포함하는, 무인 체계의 강화 학습을 위한 시뮬레이션 방법
|
| 7 |
7
삭제
|
| 8 |
8
무인 체계의 강화 학습을 위한 시뮬레이션 장치에 있어서,지도 정보를 포함하는 데이터베이스;상기 지도 정보를 기초로 시뮬레이션 환경을 구성하는 지도 생성 모듈;상기 시뮬레이션 환경에서 무인기의 이동 좌표 값을 포함하는 에이전트 행동을 획득하는 강화 학습 모듈;상기 에이전트 행동에 기초하여 상기 무인기의 이동 경로를 생성하고 상기 이동 경로를 트래킹하기 위한 무인기 제어값을 획득하는 무인 체계 운용 모듈;상기 무인기 제어값에 기초하여 상기 시뮬레이션 환경에서 상기 무인기를 시뮬레이션하는 3D 시뮬레이션 모듈; 및시뮬레이션 수행 중에 상기 강화 학습 모듈 및 상기 무인 체계 운용 모듈을 제어하는 시뮬레이션 제어 모듈을 포함하고,상기 무인 체계 운용 모듈은, 상기 무인기의 시뮬레이션에 따라 상기 무인기의 센서 측정값 및 시뮬레이션 결과 추정 값을 획득하고,상기 강화 학습 모듈은, 상기 무인기의 센서 측정값, 상기 시뮬레이션 결과 추정 값 및 상기 무인기의 목표 도달 여부에 기초하여 상기 에이전트를 강화학습하고,상기 에이전트는 상기 무인기가 상기 목표에 도달하기까지 반복되어 강화학습되는, 무인 체계의 강화 학습을 위한 시뮬레이션 장치
|
| 9 |
9
제8항에 있어서,상기 지도 정보 및 상기 무인기 제어값에 기초하여 시뮬레이션 현황 정보를 시각 정보로 출력하는 출력부를 더 포함하는, 무인 체계의 강화 학습을 위한 시뮬레이션 장치
|
| 10 |
10
무인 체계의 강화 학습을 위한 시뮬레이션 장치에 있어서,지도 정보를 포함하는 데이터베이스;상기 지도 정보를 기초로 시뮬레이션 환경을 구성하는 지도 생성 모듈;상기 시뮬레이션 환경에서 무인기의 이동 좌표 값을 포함하는 에이전트 행동을 획득하는 강화 학습 모듈;상기 에이전트 행동에 기초하여 상기 무인기의 이동 경로를 생성하고 상기 이동 경로를 트래킹하기 위한 무인기 제어값을 획득하는 무인 체계 운용 모듈;상기 무인기 제어값에 기초하여 상기 시뮬레이션 환경에서 상기 무인기를 시뮬레이션하는 3D 시뮬레이션 모듈; 및시뮬레이션 수행 중에 상기 강화 학습 모듈 및 상기 무인 체계 운용 모듈을 제어하는 시뮬레이션 제어 모듈을 포함하고,상기 무인 체계 운용 모듈은, 상기 무인기의 시뮬레이션에 따라 상기 무인기의 센서 측정값 및 시뮬레이션 결과 추정 값을 획득하고,상기 강화 학습 모듈은, 상기 무인기의 센서 측정값, 상기 시뮬레이션 결과 추정 값 및 상기 무인기의 목표 도달 여부에 기초하여 상기 에이전트를 강화학습하고,상기 무인 체계 운용 모듈은, 상기 무인기의 센서 측정값을 기초로 상기 무인기의 상태 및 위치 추정, 상기 무인기의 인근 시뮬레이션 환경에 대한 지도 추정 및 상기 목표에 대한 인식을 수행하는 센서 모듈; 및상기 센서 모듈로부터 수신하는 정보에 기초하여 상기 무인기의 이동 경로를 생성하고 상기 무인기 제어값을 계산하는 제어 모듈을 포함하고,상기 센서 모듈 및 상기 제어 모듈은 상기 강화 학습 모듈이 상기 에이전트를 강화학습하기 이전 마다 초기화되는, 무인 체계의 강화 학습을 위한 시뮬레이션 장치
|
| 11 |
11
무인 체계의 강화 학습을 위한 시뮬레이션 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 비일시적 기록매체로서,상기 무인 체계의 강화 학습을 위한 시뮬레이션 방법은:지도 정보를 기초로 시뮬레이션 환경을 구성하는 단계;상기 시뮬레이션 환경에서 무인기의 이동 좌표 값을 포함하는 에이전트 행동을 획득하는 단계;상기 에이전트 행동에 기초하여 상기 무인기의 이동 경로를 생성하고 상기 이동 경로를 트래킹하기 위한 무인기 제어값을 획득하는 단계;상기 무인기 제어값에 기초하여 상기 시뮬레이션 환경에서 상기 무인기를 시뮬레이션하는 단계;상기 무인기의 시뮬레이션에 따라 상기 무인기의 센서 측정값 및 시뮬레이션 결과 추정 값을 획득하는 단계; 및상기 무인기의 센서 측정값, 상기 시뮬레이션 결과 추정 값 및 상기 무인기의 목표 도달 여부에 기초하여 상기 에이전트를 강화 학습하는 단계를 포함하고,상기 에이전트는 상기 무인기가 상기 목표에 도달하기까지 반복되어 강화학습되는, 컴퓨터 판독 가능한 비일시적 기록매체
|
