| 1 |
1
미리 설정한 에피소드에 따라 물리 환경에 위치하는 적어도 하나 이상의 디바이스에 대한 제어결과를 토대로 생성되는 전이정보를 FIFO(first in first out)방식으로 저장하는 경험 메모리; 및상기 경험 메모리에 저장된 전이정보를 이용하여 상기 디바이스를 제어하기 위한 디바이스 제어용 강화학습모델에 대한 강화학습을 수행하는 모방 강화학습부;를 포함하며,상기 전이정보는, 상기 디바이스의 현재 상태정보, 상기 디바이스를 제어하기 위한 제어정보, 상기 제어정보에 따라 제어된 상기 디바이스의 다음 상태정보 및 상기 다음 상태정보에 대한 리워드 정보를 포함하는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 시스템
|
| 2 |
2
청구항 1에 있어서,상기 모방 강화학습 시스템은,상기 전이정보가 미리 설정한 개수 미만으로 상기 경험 메모리에 저장되어 있는 경우, PID 제어모델을 이용한 PID 컨트롤러를 통해 상기 디바이스를 상기 에피소드에 따라 제어하여, 상기 전이정보를 생성함으로써, 상기 경험 메모리에 저장하며,상기 모방 강화학습부는, 상기 PID 컨트롤러를 통해 생성하여 저장한 전이정보가 상기 미리 설정한 개수로 되거나, 상기 전이정보가 상기 PID 컨트롤러를 통해 상기 경험 메모리에 저장될 때마다, 또는 상기 에피소드가 종료될 때, 상기 PID 컨트롤러를 통해 생성하여 저장한 전이정보를 토대로 상기 강화학습을 수행함으로써, 상기 디바이스를 제어한 상기 PID 컨트롤러의 경험을 모방하여 상기 강화학습을 수행하는 것을 더 포함하는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 시스템
|
| 3 |
3
청구항 2에 있어서,상기 모방 강화학습 시스템은,상기 전이정보가 미리 설정한 개수로 상기 경험 메모리에 저장되는 경우, 상기 디바이스의 상태정보를 상기 강화학습을 수행한 디바이스 제어용 강화학습모델에 입력하여 상기 디바이스를 제어하기 위한 제어정보를 추출함으로써, 상기 에피소드에 따라 상기 디바이스를 단계적으로 제어하기 위한 강화학습 에이전트;를 더 포함하며,상기 강화학습 에이전트는, 상기 제어정보를 토대로 제어된 상기 디바이스로부터 디바이스 상태정보를 수신 받아, 상기 디바이스에 대한 전이정보를 생성하여 상기 경험 메모리에 FIFO 방식으로 저장하는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 시스템
|
| 4 |
4
청구항 1에 있어서,상기 강화학습은,상기 디바이스의 특정 상태에 대한 디바이스 상태정보에 따라 미리 설정한 상기 디바이스의 최종 상태까지 리워드 정보의 총합이 최대가 되는 제어정보를 추출하도록 수행되며,상기 경험 메모리는, 상기 전이정보를 FIFO 방식으로 저장함으로써, 상기 강화학습시 상기 전이정보가 중복되어 적용되는 것을 방지하는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 시스템
|
| 5 |
5
청구항 1에 있어서,상기 리워드 정보는,상기 디바이스의 상태정보가 미리 설정한 임계범위 내에서 제어된 결과인 경우 플러스 보상값을 적용하고, 미리 설정한 임계범위를 초과하여 제어된 결과인 경우 마이너스 보상값을 적용함으로써, 생성되는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 시스템
|
| 6 |
6
미리 설정한 에피소드에 따라 물리 환경에 위치하는 적어도 하나 이상의 디바이스에 대한 제어결과를 토대로 생성되는 전이정보를 FIFO(first in first out)방식으로 경험 메모리에 저장하는 저장 단계; 및상기 경험 메모리에 저장된 전이정보를 이용하여 상기 디바이스를 제어하기 위한 디바이스 제어용 강화학습모델에 대한 강화학습을 수행하는 모방 강화학습 단계;를 포함하며,상기 전이정보는, 상기 디바이스의 현재 상태정보, 상기 디바이스를 제어하기 위한 제어정보, 상기 제어정보에 따라 제어된 상기 디바이스의 다음 상태정보 및 상기 다음 상태정보에 대한 리워드 정보를 포함하는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 방법
|
| 7 |
7
청구항 6에 있어서,상기 모방 강화학습 방법은,상기 전이정보가 미리 설정한 개수 미만으로 상기 경험 메모리에 저장되어 있는 경우, PID 제어모델을 이용한 PID 컨트롤러를 통해 상기 디바이스를 상기 에피소드에 따라 제어하여, 상기 전이정보를 생성함으로써, 상기 경험 메모리에 저장하며,상기 모방 강화학습 단계는, 상기 PID 컨트롤러를 통해 생성하여 저장한 전이정보가 상기 미리 설정한 개수로 되거나, 상기 전이정보가 상기 PID 컨트롤러를 상기 경험 메모리에 저장될 때마다, 또는 상기 에피소드가 종료될 때, 상기 PID 컨트롤러를 통해 생성하여 저장한 전이정보를 토대로 상기 강화학습을 수행함으로써, 상기 디바이스를 제어한 상기 PID 컨트롤러의 경험을 모방하여 상기 강화학습을 수행하는 것을 더 포함하는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 방법
|
| 8 |
8
청구항 7에 있어서,상기 모방 강화학습 방법은,상기 전이정보가 미리 설정한 개수로 상기 경험 메모리에 저장되는 경우, 강화학습 에이전트를 통해, 상기 디바이스의 상태정보를 상기 강화학습을 수행한 디바이스 제어용 강화학습모델에 입력하여 상기 디바이스를 제어하기 위한 제어정보를 추출함으로써, 상기 에피소드에 따라 상기 디바이스를 단계적으로 제어하기 위한 단계;를 더 포함하고,상기 강화학습 에이전트는, 상기 제어정보를 토대로 제어된 상기 디바이스로부터 디바이스 상태정보를 수신 받아, 상기 디바이스에 대한 전이정보를 생성하여 상기 경험 메모리에 FIFO 방식으로 저장하는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 방법
|
| 9 |
9
청구항 6에 있어서,상기 강화학습은,상기 디바이스의 특정 상태에 대한 디바이스 상태정보에 따라 미리 설정한 상기 디바이스의 최종 상태까지 리워드 정보의 총합이 최대가 되는 제어정보를 추출하도록 수행되며,상기 경험 메모리는, 상기 전이정보를 FIFO 방식으로 저장함으로써, 상기 강화학습시 상기 전이정보가 중복되어 적용되는 것을 방지하는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 방법
|
| 10 |
10
청구항 6에 있어서,상기 리워드 정보는,상기 디바이스의 상태정보가 미리 설정한 임계범위 내에서 제어된 결과인 경우 플러스 보상값을 적용하고, 미리 설정한 임계범위를 초과하여 제어된 결과인 경우 마이너스 보상값을 적용함으로써, 생성되는 것을 특징으로 하는 디바이스 원격 제어를 위한 모방 강화학습 방법
|
