| 1 |
1
자율형 CPS로부터 사고 기능 정보, 자율 운행 장치 정보, 및 환경 정보를 수신하는 단계;수신된 상기 사고 기능 정보, 자율 운행 장치 정보, 및 환경 정보를 기초로 실제 자율 운행 장치의 동역학 및 사고 환경을 모사하기 위한 적어도 하나의 분산 동역학 시뮬레이션 세션을 구성하는 단계;상기 적어도 하나의 분산 동역학 시뮬레이션 세션을 통해 적어도 하나의 로컬 자율 제어 모델을 학습시키고, 상기 학습이 완료된 적어도 하나의 로컬 자율 제어 모델에 기초하여 글로벌 자율 제어 모델을 갱신하는 단계;상기 글로벌 자율 제어 모델의 성능 검증을 수행하는 단계; 및상기 글로벌 자율 제어 모델이 성능 요구 기준을 충족할 경우, 상기 글로벌 자율 제어 모델로 자율형 CPS의 자율 제어 모델을 업데이트하고, 상기 글로벌 자율 제어 모델이 상기 성능 요구 기준을 충족하지 못하는 경우, 상기 분산 동역학 시뮬레이션 세션을 통해 상기 글로벌 자율 제어 모델을 다시 학습시키는 단계;를 포함하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크의 자율형 CPS 성능 자가진화 방법
|
| 2 |
2
제1 항에 있어서,상기 수신된 상기 사고 기능 정보, 자율 운행 장치 정보, 및 환경 정보를 기초로 실제 자율 운행 장치의 동역학 및 사고 환경을 모사하기 위한 적어도 하나의 분산 동역학 시뮬레이션 세션을 구성하는 단계는,상기 자율형 CPS에 대응되는 적어도 하나의 디지털 트윈 인스턴스(DTI)를 생성하는 단계;상기 적어도 하나의 디지털 트윈 인스턴스에 상기 수신된 상기 사고 기능 정보, 자율 운행 장치 정보, 및 환경 정보를 저장하는 단계; 및상기 적어도 하나의 디지털 트윈 인스턴스에 저장된 정보에 기초하여 적어도 하나의 분산 동역학 시뮬레이션 환경을 생성하는 단계;를 포함하는 것을 특징으로 하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크의 자율형 CPS 성능 자가진화 방법
|
| 3 |
3
제1 항에 있어서,상기 적어도 하나의 분산 동역학 시뮬레이션 세션을 통해 적어도 하나의 로컬 자율 제어 모델을 학습시키고, 상기 학습이 완료된 적어도 하나의 로컬 자율 제어 모델에 기초하여 글로벌 자율 제어 모델을 갱신하는 단계는,상기 적어도 하나의 분산 동역학 시뮬레이션 환경에 글로벌 자율 제어 모델을 배포하는 단계;상기 글로벌 자율 제어 모델을 적어도 하나의 로컬 자율 제어 모델로 변경한 뒤, 강화학습을 통해 상기 적어도 하나의 로컬 자율 제어 모델을 학습시키는 단계; 및상기 적어도 하나의 로컬 자율 제어 모델의 파라미터를 공유하여 상기 글로벌 자율 제어 모델을 갱신하는 단계;를 포함하는 것을 특징으로 하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크의 자율형 CPS 성능 자가진화 방법
|
| 4 |
4
제3 항에 있어서,상기 적어도 하나의 로컬 자율 제어 모델의 파라미터를 공유하여 상기 글로벌 자율 제어 모델을 갱신하는 단계는,상기 적어도 하나의 로컬 자율 제어 모델의 학습률에 따라 로컬 자율 제어 모델에 가중치를 차등적으로 부과하고, 상기 가중치가 차등적으로 부과된 로컬 자율 제어 모델의 파라미터를 공유하여 글로벌 자율 제어 모델을 갱신하는 단계;를 포함하는 것을 특징으로 하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크의 자율형 CPS 성능 자가진화 방법
|
| 5 |
5
제1 항에 있어서,상기 글로벌 자율 제어 모델의 성능 검증을 수행하는 단계는,상기 글로벌 자율 제어 모델의 파라미터를 성능 검증 모델에 입력하여 상기 글로벌 자율 제어 모델의 성능을 검증하는 단계;를 포함하는 것을 특징으로 하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크의 자율형 CPS 성능 자가진화 방법
|
| 6 |
6
자율형 CPS에 대한 디지털 트윈 인스턴스를 생성하고, 생성된 디지털 트윈 인스턴스를 관리하는 디지털 트윈 관리 모듈;상기 디지털 트윈 인스턴스를 저장하는 디지털 트윈 인스턴스 운용부;상기 자율형 CPS로부터 수신된 사고 기능 정보, 자율 운행 장치 정보, 및 환경 정보에 기초하여 상기 디지털 트윈 인스턴스에 대한 분산 동역학 모델 및 사고 환경 모델에 대한 공동의 분산 시뮬레이션을 수행하고, 상기 분산 시뮬레이션 결과에 기초하여 머신 러닝으로 상기 자율형 CPS의 자율 제어 모델을 학습시키는 자가진화 지원 모듈;상기 자율 제어 모델을 로컬 자율 제어 모델로 변환하여 병렬 시뮬레이션을 수행하여 상기 로컬 자율 제어 모델의 성능을 향상시키고, 상기 로컬 자율 제어 모델의 파라미터를 이용하여 글로벌 자율 제어 모델을 도출하고, 상기 글로벌 자율 제어 모델에 대한 성능 검증 결과에 따라 재학습을 수행하는 성능 진화 모듈; 및상기 글로벌 자율 제어 모델의 성능을 검증하고 성능 검증 결과에 기초하여 상기 글로벌 자율 제어 모델을 상기 자율형 CPS로 업데이트하거나 또는 상기 글로벌 자율 제어 모델의 재학습을 결정하는 성능 검증 모듈;을 포함하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크
|
| 7 |
7
제6 항에 있어서, 상기 디지털 트윈 관리 모듈은,상기 자율형 CPS에서 사고가 발생하거나 성능이 부족하다고 판단될 경우, 상기 성능 진화 모듈로 성능 진화 서비스를 요청하고, 상기 성능 검증 모듈로 성능 검증 서비스를 요청하되, 상기 성능 진화 서비스를 요청할 때, 성능 진화와 관련된 CPS 제어 모델 정보 및 CPS 운용 데이터를 상기 성능 진화 모듈에 제공하고, 상기 성능 검증 서비스를 요청할 때, 성능 검증 모델을 상기 성능 검증 모듈로 제공하는 디지털 트윈 서비스 요청 블록;상기 자율형 CPS에 대한 상기 디지털 트윈 인스턴스를 관리하고, 상기 글로벌 자율 제어 모델의 성능이 향상되었을 때 상기 디지털 트윈 인스턴스에 명세되어 있는 정보를 갱신하는 디지털 트윈 인스턴스 관리 블록;상기 자율형 CPS의 자율 제어 모델 및 동역학 모델을 저장하는 CPS 모델 저장부;상기 CPS 운용 데이터를 저장하는 시뮬레이션 환경 저장부; 및상기 글로벌 자율 제어 모델의 성능 진화에 대한 검증 모델을 저장하는 성능 검증 모델 저장부;를 포함하는 것을 특징으로 하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크
|
| 8 |
8
제6 항에 있어서, 상기 성능 진화 모듈은,로컬 자율 제어 모델을 학습시키기 위한 적어도 하나의 시뮬레이션 환경을 생성하고, 기존의 제1 글로벌 자율 제어 모델을 상기 적어도 하나의 시뮬레이션 환경에 배포하여 적어도 하나의 로컬 자율 제어 모델을 구성하는 병렬 시뮬레이션 환경 생성 블록;상기 적어도 하나의 시뮬레이션 환경에 매칭된 상기 적어도 하나의 로컬 자율 제어 모델을 시행착오 데이터를 통해 강화학습을 기반으로 학습시키는 로컬 자율 제어 모델 학습 블록; 및학습이 완료된 상기 적어도 하나의 로컬 자율 제어 모델의 파라미터를 융합하여 상기 제1 글로벌 자율 제어 모델을 제2 글로벌 자율 제어 모델로 갱신하는 글로벌 자율 제어 모델 갱신/배포 블록;을 포함하는 것을 특징으로 하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크
|
| 9 |
9
제8 항에 있어서, 상기 글로벌 자율 제어 모델 갱신/배포 블록은,상기 적어도 하나의 로컬 자율 제어 모델의 학습률에 따라 상기 적어도 하나의 로컬 자율 제어 모델에 가중치를 차등적으로 부과하고, 상기 가중치가 차등적으로 부과된 로컬 자율 제어 모델의 파라미터를 공유하여 상기 제1 글로벌 자율 제어 모델을 상기 제2 글로벌 자율 제어 모델로 갱신하는 것을 특징으로 하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크
|
| 10 |
10
제6 항에 있어서, 상기 성능 검증 모듈은,상기 글로벌 자율 제어 모델을 HILS 타겟 디바이스로 전송한 뒤, 상기 HILS 타겟 디바이스를 실행시키는 HILS 디바이스-시뮬레이션 연동 블록; 상기 글로벌 자율 제어 모델에 대해 가상 시뮬레이션 환경 내에서 성능 검증 모델을 기반으로 검증을 수행하여 정량적 성능 평가 결과를 출력하는 자율 제어 모델 성능 검증 블록; 및출력된 상기 정량적 성능 평가 결과에 기초하여 상기 자율 제어 모델의 성능 요구 기준의 충족 여부를 확인하고, 상기 성능 요구 기준의 충족 여부에 따라 상기 글로벌 자율 제어 모델의 재학습을 결정하는 자율형 CPS 업데이트 블록;을 포함하는 것을 특징으로 하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크
|
| 11 |
11
제10 항에 있어서, 상기 자율형 CPS 업데이트 블록은,상기 글로벌 자율 제어 모델이 상기 성능 요구 기준을 충족할 경우에는, 상기 디지털 트윈 인스턴스를 갱신하고, 상기 자율형 CPS의 자율 제어 모델을 상기 글로벌 자율 제어 모델로 갱신하고,상기 글로벌 자율 제어 모델이 상기 성능 요구 기준을 충족하지 못할 경우에는, 상기 성능 진화 모듈로 하여금 상기 글로벌 자율 제어 모델을 다시 학습시키도록 하는 것을 특징으로 하는 연합 강화학습 기반의 자율형 CPS 자가진화 프레임워크
|
