| 1 |
1
심층 강화 학습을 위한 데이터 처리 방법에 있어서,(a) 대상 데이터 중 휴먼 데몬스트레이션 데이터를 휴먼 리플레이 버퍼에 저장하고, 상기 대상 데이터 중 액터 데이터를 액터 리플레이 버퍼에 저장하는 단계; 및(b) 상기 휴먼 리플레이 버퍼에 저장된 상기 휴먼 데몬스트레이션 데이터의 샘플링을 위해, 상기 휴먼 리플레이 버퍼에 대하여 온라인 프레임 스킵핑을 적용하여 데이터 처리를 수행하는 단계를 포함하고,상기 온라인 프레임 스킵핑은, 프레임 스킵핑의 간격의 가변 여부를 고려한 두가지 유형의 프레임 스킵핑을 포함하는 것인, 심층 강화 학습을 위한 데이터 처리 방법
|
| 2 |
2
제1항에 있어서,상기 온라인 프레임 스킵핑은,제1 유형의 프레임 스킵핑으로서, 프레임 스킵핑의 간격을 가변하지 않고 일정하게 유지하여 스킵핑을 수행하는 FS-ER 스킵핑을 포함하고,제2 유형의 프레임 스킵핑으로서, 프레임 스킵핑의 간격을 가변하여 동적으로 스킵핑을 수행하는 DFS-ER 스킵핑을 포함하는 것인, 심층 강화 학습을 위한 데이터 처리 방법
|
| 3 |
3
제2항에 있어서,상기 (b) 단계는,상기 온라인 프레임 스킵핑의 적용 이전에, 상기 휴먼 리플레이 버퍼에 저장된 휴먼 데몬스트레이션 데이터에 대한 프레임 상태를 생성하고,상기 프레임 상태는 각각 프레임 스킵핑 계수에 대응하는 수의 프레임을 적층하여 생성되는 것인, 심층 강화 학습을 위한 데이터 처리 방법
|
| 4 |
4
제3항에 있어서,상기 (b) 단계는,상기 제1 유형의 프레임 스킵핑의 적용시, 미리 설정된 수의 프레임에 대응하는 간격마다 상기 프레임 스킵핑 계수에 대응하는 수의 프레임을 적층시키는 것인, 심층 강화 학습을 위한 데이터 처리 방법
|
| 5 |
5
제3항에 있어서,상기 (b) 단계는,상기 휴먼 데몬스트레이션 데이터의 각 프레임의 액션 지속 기간을 나타내는 액션 반복 값을 고려하여 상기 제2 유형의 프레임 스킵핑을 적용하고,상기 액션 반복 값은 두 개의 스킵 값을 포함하는 것인, 심층 강화 학습을 위한 데이터 처리 방법
|
| 6 |
6
제5항에 있어서,상기 (b) 단계는,상기 제2 유형의 프레임 스킵핑의 적용시, 상기 프레임 상태를 생성할 때 프레임마다의 스킵 값을 확인하고, 상기 확인된 스킵 값을 고려하여 상기 프레임 상태를 생성하는 것인, 심층 강화 학습을 위한 데이터 처리 방법
|
| 7 |
7
제1항에 있어서,(c) 상기 (b) 단계에서의 데이터 처리에 의해 샘플링된 휴먼 데몬스트레이션 데이터 및 상기 액터 데이터를 입력으로 하는 신경망의 업데이트시 이용되는 손실 값을 계산하기 위해 요구되는 반환 값을 재정의하는 단계,를 더 포함하고,상기 (c) 단계는, 상기 두가지 유형의 프레임 스킵핑 적용 각각에 대하여 반환 값을 재정의하는 것인, 심층 강화 학습을 위한 데이터 처리 방법
|
| 8 |
8
심층 강화 학습을 위한 데이터 처리 장치에 있어서,대상 데이터 중 휴먼 데몬스트레이션 데이터를 휴먼 리플레이 버퍼에 저장하고, 상기 대상 데이터 중 액터 데이터를 액터 리플레이 버퍼에 저장하는 리플레이 매니저; 및상기 휴먼 리플레이 버퍼에 저장된 상기 휴먼 데몬스트레이션 데이터의 샘플링을 위해, 상기 휴먼 리플레이 버퍼에 대하여 온라인 프레임 스킵핑을 적용하여 데이터 처리를 수행하는 데이터 처리부를 포함하고,상기 온라인 프레임 스킵핑은, 프레임 스킵핑의 간격의 가변 여부를 고려한 두가지 유형의 프레임 스킵핑을 포함하는 것인, 심층 강화 학습을 위한 데이터 처리 장치
|
| 9 |
9
제8항에 있어서,상기 온라인 프레임 스킵핑은,제1 유형의 프레임 스킵핑으로서, 프레임 스킵핑의 간격을 가변하지 않고 일정하게 유지하여 스킵핑을 수행하는 FS-ER 스킵핑을 포함하고,제2 유형의 프레임 스킵핑으로서, 프레임 스킵핑의 간격을 가변하여 동적으로 스킵핑을 수행하는 DFS-ER 스킵핑을 포함하는 것인, 심층 강화 학습을 위한 데이터 처리 장치
|
| 10 |
10
제9항에 있어서,상기 데이터 처리부는,상기 온라인 프레임 스킵핑의 적용 이전에, 상기 휴먼 리플레이 버퍼에 저장된 휴먼 데몬스트레이션 데이터에 대한 를 생성하고,상기 프레임 상태는 각각 프레임 스킵핑 계수에 대응하는 수의 프레임을 적층하여 생성되는 것인, 심층 강화 학습을 위한 데이터 처리 장치
|
| 11 |
11
신경망의 심층 강화 학습 장치에 있어서,대상 데이터에 대하여 심층 강화 학습을 위한 데이터 처리를 수행하는 데이터 처리 장치; 및상기 데이터 처리 장치의 데이터 처리에 의해 샘플링된 휴먼 데몬스트레이션 데이터 및 액터 데이터를 상기 신경망의 입력으로 하여 상기 신경망을 심층 강화 학습시키는 학습 제어부를 포함하고,상기 데이터 처리 장치는,대상 데이터 중 휴먼 데몬스트레이션 데이터를 휴먼 리플레이 버퍼에 저장하고, 상기 대상 데이터 중 액터 데이터를 액터 리플레이 버퍼에 저장하는 리플레이 매니저; 및상기 휴먼 리플레이 버퍼에 저장된 상기 휴먼 데몬스트레이션 데이터의 샘플링을 위해, 상기 휴먼 리플레이 버퍼에 대하여 온라인 프레임 스킵핑을 적용하여 데이터 처리를 수행하는 데이터 처리부를 포함하고,상기 온라인 프레임 스킵핑은, 프레임 스킵핑의 간격의 가변 여부를 고려한 두가지 유형의 프레임 스킵핑을 포함하는 것인, 신경망의 심층 강화 학습 장치
|
| 12 |
12
제11항에 있어서,상기 온라인 프레임 스킵핑은,제1 유형의 프레임 스킵핑으로서, 프레임 스킵핑의 간격을 가변하지 않고 일정하게 유지하여 스킵핑을 수행하는 FS-ER 스킵핑을 포함하고,제2 유형의 프레임 스킵핑으로서, 프레임 스킵핑의 간격을 가변하여 동적으로 스킵핑을 수행하는 DFS-ER 스킵핑을 포함하는 것인, 신경망의 심층 강화 학습 장치
|
