| 1 |
1
컴퓨팅 장치의 동작 방법으로서,순방향 동역학 모델을 통해, 연속된 이미지들 중에서 현재 상태 이미지와 액션을 입력하여 다음 상태 이미지를 예측하는 단계, 상기 연속된 이미지들중에서 상기 현재 상태 이미지의 실제 다음 상태 이미지와, 예측한 다음 상태 이미지간의 유사도를 기초로, 강화 학습 모듈의 강화 학습을 위한 보상을 결정하는 단계, 그리고상기 보상을 기초로, 상기 강화 학습 모듈이 입력 이미지로부터 액션을 추론하도록 강화 학습시키는 단계를 포함하는, 방법
|
| 2 |
2
제1항에서,상기 예측하는 단계는,쿼리 인코더를 이용하여, 상기 현재 상태 이미지를 특성짓는 현재 쿼리 특징을 생성하는 단계,액션 임베딩 모델을 이용하여, 상기 액션을 특성짓는 액션 특징을 생성하는 단계, 그리고상기 현재 쿼리 특징과 상기 액션 특징을 상기 순방향 동역학 모델에 입력하여 상기 예측 다음 상태 이미지를 특성짓는 예측 쿼리 특징을 생성하는 단계를 포함하는, 방법
|
| 3 |
3
제2항에서,상기 보상을 결정하는 단계는,키 인코더를 이용하여, 상기 입력 다음 상태 이미지를 특성짓는 입력 쿼리 특징을 생성하는 단계, 그리고상기 예측 쿼리 특징과 상기 입력 쿼리 특징 간의 유사도를 기초로 상기 보상을 결정하는 단계를 포함하는, 방법
|
| 4 |
4
제3항에서,상기 보상을 결정하는 단계는,상기 유사도에 반비례하여 상기 보상의 크기를 결정하는, 방법
|
| 5 |
5
제3항에서,상기 보상을 결정하는 단계는,시간에 비례하여 상기 보상의 크기를 감소시키는, 방법
|
| 6 |
6
제3항에서,상기 예측하는 단계 이후,상기 입력 쿼리 특징과 상기 예측 쿼리 특징을 이용하여 대조 학습 손실을 계산하고, 상기 대조학습 손실을 최소화하도록 상기 쿼리 인코더, 상기 액션 임베딩 모델, 상기 순방향 동역학 모델 및 상기 키 인코더 중 적어도 하나의 학습 파라미터를 업데이트하는 단계를 더 포함하는, 방법
|
| 7 |
7
제1항에서,상기 현재 상태 이미지 및 상기 입력 다음 상태 이미지는,이미지 또는 색상 중 적어도 하나의 변형을 통해 증강시킨 복수개의 이미지들을 포함하는, 방법
|
| 8 |
8
연속된 이미지들 중에서 현재 상태 이미지와 액션을 입력받아 다음 상태 이미지를 예측하는 순방향 동역학 모델, 상기 연속된 이미지들 중에서 상기 현재 상태 이미지의 실제 다음 상태 이미지와 상기 순방향 동역학 모델이 예측한 다음 상태 이미지간의 유사도를 계산하고, 상기 유사도를 기초로, 보상을 결정하는 보상 결정 모듈, 그리고상기 보상을 기초로, 입력 이미지로부터 액션을 추론하도록 강화 학습을 수행하는 강화 학습 모듈을 포함하는, 컴퓨팅 장치
|
| 9 |
9
제8항에서,상기 현재 상태 이미지를 특성짓는 현재 쿼리 특징을 생성하고, 상기 현재 쿼리 특징을 상기 순방향 동역학 모델의 입력 데이터로 제공하는 쿼리 인코더, 그리고상기 액션을 특성짓는 액션 특징을 생성하고, 상기 액션 특징을 상기 순방향 동역학 모델의 입력 데이터로 제공하는 액션 임베딩 모델을 더 포함하고,상기 순방향 동역학 모델은,상기 현재 쿼리 특징과 상기 액션 특징을 입력받아 상기 예측 다음 상태 이미지를 특성짓는 예측 쿼리 특징을 생성하여 상기 보상 결정 모듈의 입력 데이터로 제공하는, 컴퓨팅 장치
|
| 10 |
10
제9항에서,상기 입력 다음 상태 이미지를 특성짓는 입력 쿼리 특징을 생성하는 키 인코더를 더 포함하고,상기 보상 모듈은,상기 예측 쿼리 특징과 상기 입력 쿼리 특징 간의 유사도를 기초로 상기 보상을 결정하는, 컴퓨팅 장치
|
| 11 |
11
제10항에서,상기 쿼리 인코더 및 상기 키 인코더는,이미지 또는 색상 중 적어도 하나의 변형을 통해 증강시킨 복수개의 이미지를 입력받는, 컴퓨팅 장치
|
| 12 |
12
제10항에서,상기 입력 쿼리 특징과 상기 예측 쿼리 특징을 이용하여 대조 학습 손실을 계산하는 대조 학습 모듈을 더 포함하고,상기 대조 학습 손실은,상기 쿼리 인코더, 상기 액션 임베딩 모델, 상기 순방향 동역학 모델 및 상기 키 인코더 중 적어도 하나의 학습 파라미터를 업데이트하는데 사용되는, 컴퓨팅 장치
|
