| 1 |
1
피드백 제어 장치가 단말로부터 기지국으로 무선 채널 상태 정보(channel state information, CSI)를 전송하는 피드백을 제어하는 방법에 있어서,(a) 피드백 제어 장치가 무선 채널 상태 정보의 피드백 여부에 따라 강화 학습의 상태(state), 행동(action) 및 보상(reward)을 정의하는 단계; 및(b) 상기 피드백 제어 장치가 정의된 상기 강화 학습에 따라 단말로부터 기지국에 피드백 전송 제어를 수행하는 단계;를 포함하되,상기 (a) 단계는,(a1) 단말의 피드백 여부에 따라 무선 채널 상태 정보의 오차(error)가 제거되거나 오차가 더해지도록 상기 상태를 정의하는 단계;(a2) 단말의 피드백 여부에 따라 전송 동작으로서 상기 행동을 정의하는 단계; 및(a3) 단말의 피드백 여부에 따라 피드백 전송으로 인한 오버헤드(overhead) 및 무선 채널 상태 정보의 오차를 배타적인 페널티(penalty)로서 상기 보상을 정의하는 단계;를 포함하는, 피드백 제어 방법
|
| 2 |
2
제 1 항에 있어서,상기 강화 학습은 Q-학습(Q-learning)이고,피드백 제어 장치의 피드백 전송 제어를 수행하는 에이전트(agent)는 주어진 상태에서 정의된 행동을 수행하여 미래의 보상을 나타내는 Q-함수(Q-function)를 학습하며,상기 Q-함수는 이전의 Q-함수 값(old value) 및 새롭게 학습된 값(learned value)을 결합하되, 상기 단말이 피드백 전송을 수행하는 경우 또는 피드백 전송을 수행하지 않는 경우에 따라 반복하여 갱신되는, 피드백 제어 방법
|
| 3 |
3
제 2 항에 있어서,상기 Q-함수는 학습 속도 인자(learning rate)에 기반하여 상기 이전의 Q-함수 값 및 상기 새롭게 학습된 값(learned value)을 가중합으로 결합하고,상기 Q-함수의 새롭게 학습된 값은 미래의 Q-함수 값의 최대값에 할인 인자(discount factor)를 승산하고 보상을 가산하여 산출되는, 피드백 제어 방법
|
| 4 |
4
제 1 항에 있어서,상기 (a1) 단계의 상기 상태는,단말이 피드백을 하는 경우 무선 채널 상태 정보의 오차가 없음을 나타내는 '0'으로 설정되고,단말이 피드백을 하지 않는 경우 단말이 측정한 실제 무선 채널 상태와 기지국이 사용하는 무선 채널 상태의 차이를 이전의 상태 값에 가산하도록 설정되는, 피드백 제어 방법
|
| 5 |
5
제 1 항에 있어서,상기 (a2) 단계의 상기 행동은,단말이 피드백을 하는 경우 전송 동작이 '1'로 설정되고,단말이 피드백을 하지 않는 경우 전송 동작이 '0'으로 설정되는, 피드백 제어 방법
|
| 6 |
6
제 1 항에 있어서,상기 (a3) 단계의 상기 보상은,단말이 피드백을 하는 경우 피드백 전송으로 인한 오버헤드의 증가분만큼 페널티가 설정되고,단말이 피드백을 하지 않는 경우 무선 채널 상태 정보의 오차만큼 페널티가 설정되는, 피드백 제어 방법
|
| 7 |
7
제 6 항에 있어서,상기 피드백 전송으로 인한 오버헤드 및 상기 무선 채널 상태 정보의 오차는 피드백 전송 주기에 따라 서로 트레이드오프(tradeoff) 관계를 갖는, 피드백 제어 방법
|
| 8 |
8
제 1 항에 있어서,상기 (b) 단계는,(b1) 기지국으로부터 방송된 파일럿 신호를 단말이 수신하여 무선 채널 상태 정보를 추정하는 단계;(b2) 추정된 무선 채널 상태 정보를 이용하여 상기 강화 학습에 따라 상기 단말로부터 상기 기지국에 피드백 전송 여부를 결정하는 단계; 및(b3) 결정된 상기 피드백 전송 여부에 따라 피드백 전송을 동적으로 수행하는 단계;를 포함하는, 피드백 제어 방법
|
| 9 |
9
제 1 항에 있어서,상기 (b) 단계는,정의된 상기 강화 학습에 따라, 상기 단말이 피드백을 하는 경우에 설정된 페널티가 증가함에 따라 페널티를 피하기 위해 피드백 전송을 감소시키면, 상기 피드백 전송으로 인한 오버헤드는 감소하되 무선 채널 상태 정보의 오차가 증가하도록 피드백 전송 제어를 수행하는, 피드백 제어 방법
|
| 10 |
10
제 1 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
|
| 11 |
11
단말로부터 기지국으로 무선 채널 상태 정보(channel state information, CSI)를 전송하는 피드백 제어 장치에 있어서,무선 신호를 송수신하는 통신부;무선 채널 상태 정보의 피드백 여부에 따라 강화 학습의 상태(state), 행동(action) 및 보상(reward)을 정의하고, 통신부를 통해 수신된 무선 신호에 기초하여 단말로부터 기지국에 피드백 전송을 제어하는 프로그램을 저장하는 메모리; 및상기 프로그램을 구동하여 피드백 전송 제어를 수행하는 프로세서를 포함하되,상기 메모리에 저장된 프로그램은,단말의 피드백 여부에 따라 무선 채널 상태 정보의 오차(error)가 제거되거나 오차가 더해지도록 상기 상태를 정의하고, 단말의 피드백 여부에 따라 전송 동작으로서 상기 행동을 정의하며, 단말의 피드백 여부에 따라 피드백 전송으로 인한 오버헤드(overhead) 및 무선 채널 상태 정보의 오차를 배타적인 페널티(penalty)로서 상기 보상을 정의하는 명령어를 포함하는, 피드백 제어 장치
|
| 12 |
12
제 11 항에 있어서,상기 강화 학습은 Q-학습(Q-learning)이고,피드백 제어 장치의 피드백 전송 제어를 수행하는 에이전트(agent)는 주어진 상태에서 정의된 행동을 수행하여 미래의 보상을 나타내는 Q-함수(Q-function)를 학습하며,상기 Q-함수는 이전의 Q-함수 값(old value) 및 새롭게 학습된 값(learned value)을 결합하되, 상기 단말이 피드백 전송을 수행하는 경우 또는 피드백 전송을 수행하지 않는 경우에 따라 반복하여 갱신되는, 피드백 제어 장치
|
| 13 |
13
제 12 항에 있어서,상기 Q-함수는 학습 속도 인자(learning rate)에 기반하여 상기 이전의 Q-함수 값 및 상기 새롭게 학습된 값(learned value)을 가중합으로 결합하고,상기 Q-함수의 새롭게 학습된 값은 미래의 Q-함수 값의 최대값에 할인 인자(discount factor)를 승산하고 보상을 가산하여 산출되는, 피드백 제어 장치
|
| 14 |
14
제 11 항에 있어서,상기 메모리에 저장된 프로그램의 상기 상태는,단말이 피드백을 하는 경우 무선 채널 상태 정보의 오차가 없음을 나타내는 '0'으로 설정되고,단말이 피드백을 하지 않는 경우 단말이 측정한 실제 무선 채널 상태와 기지국이 사용하는 무선 채널 상태의 차이를 이전의 상태 값에 가산하도록 설정되는, 피드백 제어 장치
|
| 15 |
15
제 11 항에 있어서,상기 메모리에 저장된 프로그램의 상기 행동은,단말이 피드백을 하는 경우 전송 동작이 '1'로 설정되고,단말이 피드백을 하지 않는 경우 전송 동작이 '0'으로 설정되는, 피드백 제어 장치
|
| 16 |
16
제 11 항에 있어서,상기 메모리에 저장된 프로그램의 상기 보상은,단말이 피드백을 하는 경우 피드백 전송으로 인한 오버헤드의 증가분만큼 페널티가 설정되고,단말이 피드백을 하지 않는 경우 무선 채널 상태 정보의 오차만큼 페널티가 설정되는, 피드백 제어 장치
|
| 17 |
17
제 16 항에 있어서,상기 피드백 전송으로 인한 오버헤드 및 상기 무선 채널 상태 정보의 오차는 피드백 전송 주기에 따라 서로 트레이드오프(tradeoff) 관계를 갖는, 피드백 제어 장치
|
| 18 |
18
제 11 항에 있어서,상기 메모리에 저장된 프로그램은,기지국으로부터 방송된 파일럿 신호를 단말이 수신하여 무선 채널 상태 정보를 추정하고, 추정된 무선 채널 상태 정보를 이용하여 상기 강화 학습에 따라 상기 단말로부터 상기 기지국에 피드백 전송 여부를 결정하며, 결정된 상기 피드백 전송 여부에 따라 피드백 전송을 동적으로 수행하는 명령어를 포함하는, 피드백 제어 장치
|
| 19 |
19
제 11 항에 있어서,상기 메모리에 저장된 프로그램은,정의된 상기 강화 학습에 따라, 상기 단말이 피드백을 하는 경우에 설정된 페널티가 증가함에 따라 페널티를 피하기 위해 피드백 전송을 감소시키면, 상기 피드백 전송으로 인한 오버헤드는 감소하되 무선 채널 상태 정보의 오차가 증가하도록 피드백 전송 제어를 수행하는, 피드백 제어 장치
|
| 20 |
20
이동 통신 시스템에서 무선 채널 상태 정보의 피드백을 기지국으로 전송하는 단말에 있어서,제 11 항 내지 제 19 항 중 어느 한 항에 따른 피드백 제어 장치를 구비하고,상기 통신부를 통해 기지국이 사용하는 무선 채널 상태를 수신하여 무선 채널 상태 정보의 오차를 산출하거나, 또는 단말 자신이 측정한 실제 무선 채널 상태를 상기 기지국에 전송하여 산출된 무선 채널 상태 정보의 오차를 상기 기지국으로부터 수신받음으로써 피드백 전송 제어를 수행하는, 단말
|
| 21 |
21
이동 통신 시스템에서 무선 채널 상태 정보의 피드백을 단말로부터 수신하는 기지국에 있어서,제 11 항 내지 제 19 항 중 어느 한 항에 따른 피드백 제어 장치를 구비하고,상기 통신부를 통해 기지국 자신이 사용하는 무선 채널 상태를 단말에 송신하여 상기 단말로 하여금 무선 채널 상태 정보의 오차를 산출하도록 유도하거나, 또는 단말이 측정한 실제 무선 채널 상태를 수신하여 산출된 무선 채널 상태 정보의 오차를 상기 단말에 송신함으로써 피드백 전송 제어를 유도하는, 기지국
|
