| 1 |
1
정책에 기반한 동작 명령에 따라 동작한 사물의 출력 값을 획득하는 수집부; 및상기 동작 명령을 상기 사물에 적용하고, 상기 출력 값을 이용하여 상기 정책에 대한 보상을 결정하고, 상기 보상을 최적화하는 방향으로 상기 정책을 업데이트하는 강화학습을 수행하는 프로세서를 포함하되,상기 정책을 업데이트하는 경우 시연된 행동 궤적을 모방 학습하는 것을 특징으로 하는 사물 자율 제어 장치
|
| 2 |
2
제1 항에 있어서,상기 행동 궤적은 궤적 데이터로서 수집되는 것을 특징으로 하는 사물 자율 제어 장치
|
| 3 |
3
제2 항에 있어서,상기 사물의 출력 값은 상기 사물의 동작에 따라 변화하는 환경에 대한 환경 관찰 정보를 포함하는 것을 특징으로 하는 사물 자율 제어 장치
|
| 4 |
4
제2 항에 있어서,상기 궤적 데이터는 작업 시연에 따른 사물의 움직임에 대한 정보를 포함하는 입력 제어 정보와 상기 사물의 움직임에 따라 변화하는 환경에 대한 환경 관찰 정보를 포함하는 것을 특징으로 하는 사물 자율 제어 장치
|
| 5 |
5
제3 항에 있어서,상기 프로세서는,상기 환경 관찰 정보를 기반으로 상태 파라미터를 도출하는 것을 특징으로 하는 사물 자율 제어 장치
|
| 6 |
6
제5 항에 있어서,상기 프로세서는상기 보상과 상기 정책을 각각 파라미터화하는 것을 특징으로 하는 사물 자율 제어 장치
|
| 7 |
7
제6 항에 있어서,상기 보상은 상기 궤적 데이터, 상기 상태 파라미터 및 현재의 정책 파라미터를 이용하여 도출되는 것을 특징으로 하는 사물 자율 제어 장치
|
| 8 |
8
제4 항에 있어서,상기 입력 제어 정보는 상기 작업 시연에 포함되는 사물의 전원 동작, 사물의 자세 변화값, 사물의 기울임 정도, 사물의 상승 및 하강 정도에 대한 정보를 포함하는 사물 자율 제어 장치
|
| 9 |
9
제8 항에 있어서,상기 환경 관찰 정보는 사물의 동작 속도, 상기 사물의 동작에 따른 GPS 센서로부터 측정된 위치 값 및 위치 변화 값을 포함하는 사물 자율 제어 장치
|
| 10 |
10
정책에 기반한 동작 명령에 따라 동작한 사물의 출력값을 획득하는 단계;상기 정책에 대한 보상을 결정하는 단계;상기 보상을 최적화하는 방향으로 상기 정책을 업데이트 하는 단계;를 포함하되,상기 정책을 업데이트 하는 단계는,시연된 행동 궤적을 모방학습하는 것을 특징으로 하는 사물 자율 제어 방법
|
| 11 |
11
제10 항에 있어서,상기 행동 궤적은 궤적 데이터로서 수집된 것을 특징으로 하는 사물 자율 제어 방법
|
| 12 |
12
제11 항에 있어서,상기 출력값은 상기 사물의 동작에 따라 변화하는 환경에 대한 환경 관찰 정보를 포함하는 것을 특징으로 하는 사물 자율 제어 방법
|
| 13 |
13
제11 항에 있어서,상기 궤적 데이터는 작업 시연에 따른 사물의 움직임에 대한 정보를 포함하는 입력 제어 정보와 상기 사물의 움직임에 따라 변화하는 환경에 대한 환경 관찰 정보를 포함하는 것을 특징으로 하는 사물 자율 제어 방법
|
| 14 |
14
제12 항에 있어서,상기 보상을 결정하는 단계 이전에,상기 환경 관찰 정보를 기반으로 상태 파라미터를 도출하는 단계를 더 포함하는 사물 자율 제어 방법
|
| 15 |
15
제14 항에 있어서,상기 보상과 상기 정책은 각각 파라미터화 된 것을 특징으로 하는 사물 자율 제어 방법
|
| 16 |
16
제15 항에 있어서,상기 보상을 결정하는 단계는,상기 보상을 상기 궤적 데이터, 상기 상태 파라미터 및 현재의 정책 파라미터를 기반으로 도출하는 것을 특징으로 하는 사물 자율 제어 방법
|
| 17 |
17
제13 항에 있어서,상기 입력 제어 정보는 상기 작업 시연에 포함되는 사물의 전원 동작, 사물의 자세 변화값, 사물의 기울임 정도, 사물의 상승 및 하강 정도에 대한 정보를 포함하는 사물 자율 제어 방법
|
| 18 |
18
제17 항에 있어서,상기 환경 관찰 정보는 사물의 동작 속도, 사물의 동작에 따른 GPS 센서로부터 측정된 위치 값 및 위치 변화 값을 포함하는 사물 자율 제어 방법
|
| 19 |
19
사물 인터넷 기반 환경에서,제어 대상인 사물;작업 시연에 따른 궤적 데이터를 수집하는 궤적 수집부;상기 궤적 데이터와 정책을 이용하여 보상을 결정하는 보상 학습부;상기 보상을 최적화하는 정책을 도출하는 정책 학습부;상기 정책을 기반으로 사물의 동작 명령을 결정하는 학습 제어부; 및상기 동작 명령에 따른 사물의 출력값을 수집하여 상태 파라미터화 하는 상태 수집부를 포함하는 사물 자율 제어 시스템
|
