| 1 |
1
비디오 게임에 참여하고 있는 복수의 일반 유저들 각각의 게임 행위에 관한 게임 행위 데이터를 수집하는 단계;상기 복수의 일반 유저들 각각의 게임 행위 데이터를 분석하여 유사 플레이를 수행한 게임 행위 데이터에 대한 군집화를 수행하는 단계; 및군집화 된 게임 행위 데이터에 모사 학습(IL: Imitation Learning)을 적용하여 일반 유저와의 협업이 가능한 에이전트를 생성하는 단계;를 포함하는 협업 에이전트 생성 방법
|
| 2 |
2
제1항에 있어서,상기 게임 행위 데이터를 수집하는 단계는,상기 비디오 게임의 각 스테이지에서 제공되는 이벤트들에 관한 상황 정보 및 상황 정보를 기반으로 비디오 게임을 플레이하는 과정에서 이루어지는 상호 작용에 관한 행동 정보로 구성된 게임 행위 데이터를 수집하는 협업 에이전트 생성 방법
|
| 3 |
3
제1항에 있어서,상기 게임 행위 데이터에 대한 군집화를 수행하는 단계는,상기 비디오 게임의 정책으로부터 일반 유저의 행동 특징을 순차적으로 모방하기 위한 ① 행동 복제(BC: Behavior Cloning), ② 견습 학습(AL: Apprentice Learning) 및 ③ 역강화학습(IRL: Inverse Reinforcement Learning) 중 적어도 하나를 이용해 모사 학습을 수행하는 협업 에이전트 생성 방법
|
| 4 |
4
제3항에 있어서,상기 게임 행위 데이터에 대한 군집화를 수행하는 단계는,상기 행동 복제를 이용해 모사 학습을 수행하는 경우, 상기 게임 행위 데이터를 구성하는 상황 정보와 행동 정보를 기반으로 일반 유저의 게임 행위에 대한 시연 궤적을 수집하는 단계;상기 일반 유저의 게임 행위에 대한 시연 궤적을 바탕으로 비디오 게임의 정책에 대한 행동 복제를 수행하는 단계; 및상기 수행된 행동 복제를 통해 군집화 된 게임 행위 데이터에 대한 모사 학습을 수행하는 단계;를 포함하는 협업 에이전트 생성 방법
|
| 5 |
5
제3항에 있어서,상기 게임 행위 데이터에 대한 군집화를 수행하는 단계는,상기 견습 학습을 이용해 모사 학습을 수행하는 경우, 상기 비디오 게임과 관련된 전문 유저의 게임 행위에 대한 시연 궤적을 수집하는 단계;상기 수집된 시연 궤적으로부터 생성된 보상 함수를 바탕으로 비디오 게임의 정책에 대한 견습 학습을 수행하는 단계; 및상기 수행된 견습 학습을 통해 군집화 된 게임 행위 데이터에 대한 모사 학습을 수행하는 단계;를 포함하는 협업 에이전트 생성 방법
|
| 6 |
6
제3항에 있어서,상기 게임 행위 데이터에 대한 군집화를 수행하는 단계는,상기 역강화학습을 이용해 모사 학습을 수행하는 경우,기 생성된 에이전트의 정책 또는, 비디오 게임에 대한 이전 유저로부터 수집된 게임 행위 데이터 중 적어도 하나에 의해 생성된 보상 함수를 바탕으로 비디오 게임의 정책에 대한 역강화학습을 수행하는 단계;상기 수행된 역강화학습을 통해 군집화 된 게임 행위 데이터에 대한 모사 학습을 수행하는 단계;를 포함하는 협업 에이전트 생성 방법
|
| 7 |
7
제1항에 있어서,상기 생성된 에이전트를 포함하는 에이전트 풀을 형성하는 단계;상기 에이전트 풀에 포함된 복수의 에이전트를 추출하여 비디오 게임 내에서 복수의 에이전트 간 협업 능력을 평가하는 단계;를 더 포함하는 협업 에이전트 생성 방법
|
| 8 |
8
비디오 게임에 참여한 일반 유저들을 대상으로 게임 진행을 위한 팀 매칭이 결정되었는지 여부를 확인하는 단계;상기 팀 매칭이 결정되지 않은 경우, 에이전트 풀에 저장된 적어도 하나의 에이전트를 로딩하여 비디오 게임의 스테이지를 실행하는 단계; 및비디오 게임의 스테이지가 실행되면, 스테이지에 참여한 일반 유저와 협업 가능한 에이전트를 제공하는 단계;를 포함하고,상기 협업 가능한 에이전트는,비디오 게임에 참여하고 있는 복수의 일반 유저 각각의 게임 행위에 관한 게임 행위 데이터를 이용하여 비디오 게임의 정책으로부터 일반 유저의 행동 특징을 순차적으로 모방하기 위한 모사 학습을 통해 생성되는 협업 에이전트 제공 방법
|
| 9 |
9
제8항에 있어서,상기 팀 매칭이 결정되었는지 여부를 확인하는 단계는,비디오 게임에 참여한 일반 유저들을 대상으로 비디오 게임의 정책에 따른 아군 또는, 적군 중 하나의 팀 매칭이 결정되었는지 여부를 확인하는 협업 에이전트 제공 방법
|
| 10 |
10
제8항에 있어서,상기 협업 가능한 에이전트를 제공하는 단계는,상기 스테이지를 플레이하는 일반 유저의 게임 행위를 보조하는 형태로 협업 가능한 에이전트를 제공하는 협업 에이전트 제공 방법
|
| 11 |
11
제8항에 있어서,상기 협업 가능한 에이전트를 제공하는 단계는,상기 스테이지에서 제공하는 이벤트에 대응하여 일반 유저가 에이전트의 게임 행위를 보조하는 형태로 협업 가능한 에이전트를 제공하는 협업 에이전트 제공 방법
|
| 12 |
12
제8항에 있어서,상기 협업 가능한 에이전트를 제공하는 단계는,비디오 게임의 스테이지가 종료되었는지 여부를 고려하여 일반 유저와 협업 가능한 에이전트를 조정하여 제공하는 협업 에이전트 제공 방법
|
| 13 |
13
프로세서를 포함하는 에이전트 관리 서버에 있어서,상기 프로세서는,비디오 게임에 참여하고 있는 복수의 일반 유저 각각의 게임 행위에 관한 게임 행위 데이터를 이용하여 모사 학습에 따른 일반 유저와의 협업이 가능한 에이전트를 생성하고,상기 생성된 에이전트를 포함하는 에이전트 풀을 생성한 후, 상기 에이전트 풀에 포함된 복수의 에이전트를 추출하여 비디오 게임 내에서 복수의 에이전트 간 협업 능력을 평가하고,상기 비디오 게임에 참여한 일반 유저들을 대상으로 팀 매칭이 결정되었는지 여부를 고려하여 비디오 게임의 스테이지에 참여한 일반 유저와 협업 가능한 에이전트를 제공하는 에이전트 관리 서버
|
| 14 |
14
제13항에 있어서,상기 프로세서는,상기 복수의 일반 유저들 각각의 게임 행위 데이터를 분석하여 유사 플레이를 수행한 게임 행위 데이터에 대한 군집화를 수행하고,군집화 된 게임 행위 데이터에 모사 학습을 적용하여 일반 유저와의 협업이 가능한 에이전트를 생성하는 에이전트 관리 서버
|
| 15 |
15
제13항에 있어서,상기 프로세서는,상기 행동 복제를 이용해 모사 학습을 수행하는 경우, 상기 게임 행위 데이터를 구성하는 상황 정보와 행동 정보를 기반으로 일반 유저의 게임 행위에 대한 시연 궤적을 수집하고,상기 일반 유저의 게임 행위에 대한 시연 궤적을 바탕으로 비디오 게임의 정책에 대한 행동 복제를 수행하고,상기 수행된 행동 복제를 통해 군집화 된 게임 행위 데이터에 대한 모사 학습을 수행하는 에이전트 관리 서버
|
| 16 |
16
제13항에 있어서,상기 프로세서는,상기 견습 학습을 이용해 모사 학습을 수행하는 경우, 상기 비디오 게임과 관련된 전문 유저의 게임 행위에 대한 시연 궤적을 수집하고,상기 수집된 시연 궤적으로부터 생성된 보상 함수를 바탕으로 비디오 게임의 정책에 대한 견습 학습을 수행하고,상기 수행된 견습 학습을 통해 군집화 된 게임 행위 데이터에 대한 모사 학습을 수행하는 에이전트 관리 서버
|
| 17 |
17
제13항에 있어서,상기 프로세서는,상기 역강화학습을 이용해 모사 학습을 수행하는 경우,기 생성된 에이전트의 정책 또는, 비디오 게임에 대한 이전 유저로부터 수집된 게임 행위 데이터 중 적어도 하나에 의해 생성된 보상 함수를 바탕으로 비디오 게임의 정책에 대한 역강화학습을 수행하고,상기 수행된 역강화학습을 통해 군집화 된 게임 행위 데이터에 대한 모사 학습을 수행하는 에이전트 관리 서버
|
| 18 |
18
제13항에 있어서,상기 프로세서는,상기 스테이지를 플레이하는 일반 유저의 게임 행위를 보조하는 형태로 협업 가능한 에이전트를 제공하는 에이전트 관리 서버
|
| 19 |
19
제13항에 있어서,상기 프로세서는,상기 스테이지에서 제공하는 이벤트에 대응하여 일반 유저가 에이전트의 게임 행위를 보조하는 형태로 협업 가능한 에이전트를 제공하는 에이전트 관리 서버
|
| 20 |
20
제13항에 있어서,상기 프로세서는,상기 비디오 게임의 스테이지가 종료되었는지 여부를 고려하여 일반 유저와 협업 가능한 에이전트를 조정하여 제공하는 에이전트 관리 서버
|
