| 1 |
1
맨해튼 이동성 모델에서 구획화된 영역에서 하위 시스템을 구성하는 차량 단말기들 각각에 대한 역할을 설정하고, 상기 하위 시스템으로부터 네트워크 상태정보를 수집하는 네트워크 상태정보 수집부;상기 네트워크 상태정보 수집부에서 수집된 네트워크 상태정보를 기초로 상기 차량 단말기들 각각의 전송전력을 결정하는 액터 네트워크부;상기 네트워크 상태정보 수집부에서 수집된 네트워크 상태정보와 상기 액터 네트워크부에서 결정된 전송전력에 대한 보상값을 산출하는 보상 산출부;상기 네트워크 상태 정보 수집부에서 수집된 네트워크 상태정보, 상기 액터 네트워크부에서 결정된 전송전력, 및 상기 보상 산출부에서 산출된 보상값을 저장하는 리플레이 메모리부; 및상기 액터 네트워크부에서 결정된 전송전력의 가치를 평가하여 액터 네트워크에 피드백을 주는 크리틱 네트워크부를 포함하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 2 |
2
제1항에 있어서, 상기 하위 시스템은,상기 맨해튼 이동성 모델에서 구획화된 영역에 위치하며, 셀룰러 네트워크 기반 차량 통신 시스템에서 같은 주파수 자원을 공유하는 차량 단말기들로 구성되는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 3 |
3
제1항에 있어서, 상기 하위 시스템은,같은 주파수 자원을 공유하며, 상기 차량 단말기들 사이에 형성되는 제1 통신 링크와, 상기 차량 단말기들과 기지국 사이에 형성된 제2 통신 링크가 형성되며, 상기 차량 단말기들 각각은 제1 및 제2 통신링크들을 상향링크로 활용하여 데이터를 송신하고, 상기 기지국은 제2 통신링크를 하향링크로 활용하여 데이터를 수신하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 4 |
4
제3항에 있어서, 상기 네트워크 상태정보 수집부는, 상기 차량 단말기들 중 구획 내 차량의 진행방향에서 가장 선두에 위치한 차량 단말기를 제1 차량 단말기로 설정하고, 상기 구획 내 제1 차량 단말기를 제외한 나머지를 제2 차량 단말기로 설정하며, 다른 구획에 배치되며 차량의 진행방향에서 상기 제1 차량 단말기와 가장 인접한 차량 단말기를 제3 차량 단말기로 설정하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 5 |
5
제4항에 있어서, 상기 제1 차량 단말기는 전송전력 차이를 활용하여 상기 제1 차량 단말기와 상기 제2 차량 단말기 사이의 상향의 제1 통신 링크와, 상기 제1 차량 단말기와 상기 기지국 사이의 상향의 제2 통신 링크에 중첩신호를 송신하고,상기 기지국은 전송전력 차이를 활용하여 상기 기지국과 상기 차량 단말기들과 하향의 제2 통신 링크에 중첩 신호를 송신하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 6 |
6
제1항에 있어서, 상기 네트워크 상태정보 수집부는, 상기 하위 시스템에 포함된 차량 단말기들 중 수신단에서 측정 가능한 채널상태정보를 수집하는 채널상태정보 산출부;상기 하위 시스템에 포함된 차량 단말기들 중 수신단에서 측정 가능한 스펙트럼 효율정보를 수집하는 스펙트럼 효율정보 측정부;상기 하위 시스템에 포함된 차량 단말기들 중 중앙에 위치한 차량 단말기와 기지국 사이의 거리를 측정하는 사용자-기지국 거리 측정부; 및상기 하위 시스템에 포함된 차량 단말기들 사이의 거리를 추정하는 사용자-사용자 거리 추정부를 포함하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 7 |
7
제6항에 있어서, 상기 채널상태정보 산출부는,상기 하위 시스템에 포함된 차량 단말기들 중 수신단에서 측정하는 대한 신호 대 간섭 및 잡음비를 수집하여, 전이중 통신으로 인한 자체간섭, 동일채널간섭과, 및 비직교 다중접속으로 인한 동일채널간섭에 대한 신호 감쇄 정도를 측정하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 8 |
8
제6항에 있어서, 상기 스펙트럼 효율정보 측정부는,상기 하위 시스템에 포함된 차량 단말기들 중 수신단에서 측정하는 스펙트럼 효율을 측정하여 셀룰러 네트워크 기반 차량 통신 시스템의 통신 품질 향상 여부를 판단하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 9 |
9
제6항에 있어서, 상기 사용자-기지국 거리 측정부는,상기 차량 단말기들의 위치와 기지국 사이의 거리를 측정하여, 중첩 신호의 복호화를 수집하기 위해 전송전력의 도출에 필요한 정보를 생성하고,상기 차량 단말기 사이의 거리를 추정하여, 동일채널간섭을 최소화하기 위한 전송전력을 도출하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 10 |
10
제1항에 있어서, 상기 보상 산출부는,상기 네트워크 상태정보와 전송전력을 기초로 통신품질정보를 계산하여 보상으로 산출하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 11 |
11
제1항에 있어서, 상기 액터 네트워크부는,전송전력을 결정하는 정책 네트워크부, 안정된 학습을 위한 타겟 정책 네트워크부, 및 정책 네트워크를 최적화하는 액터옵티마이저부를 포함하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 12 |
12
제11항에 있어서, 상기 정책 네트워크부는 상기 네트워크 상태정보와 이전 상태에 대한 전송 전력으로 계산된 보상을 이용하여 최적의 전송전력을 결정하고, 상기 타겟 정책 네트워크부는 상기 정책 네트워크의 전송전력의 결정 과정에서 상기 정책 네트워크의 업데이트에 따른 불안정한 결과 도출을 방지하기 위해 전송전력 결정을 별도로 수행하고, 일정한 주기마다 상기 정책 네트워크의 파라미터와 상기 타겟 정책 네트워크의 파라미터를 혼합하여 상기 타겟 정책 네트워크를 업데이트하는 소프트 업데이트를 진행하며,상기 액터옵티마이저부는 상기 정책 네트워크의 업데이트를 위해 보상을 최대화하기 위한 알고리즘을 포함하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 13 |
13
제1항에 있어서, 상기 리플레이 메모리부는, 편향된 학습을 방지하기 위해 이전 네트워크 상태정보와 전송전력, 보상, 및 다음 네트워크 상태 정보를 포함하는 전이 정보를 저장하고, 심강강화학습시 상기 전이 정보를 제공하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 14 |
14
제1항에 있어서, 상기 크리틱 네트워크부는,정책 네트워크가 도출한 전송전력을 분석하는 가치 네트워크부, 안정된 학습을 위한 타겟 가치 네트워크부, 및 상기 정책 네트워크를 최적화하는 크리틱옵티마이저부를 포함하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
| 15 |
15
제14항에 있어서, 상기 가치 네트워크부는 상기 정책 네트워크가 도출한 전송전력과 상기 네트워크 상태정보를 기초로 전송전력의 가치를 평가하여 정책 네트워크에 피드백을 제공하고,상기 타겟 가치 네트워크부는 상기 가치 네트워크의 전송전력의 가치평가 과정에서 가치 네트워크의 업데이트에 따른 불안정한 평가를 방지하기 위해 전송전력 가치평가를 별도로 수행하고, 일정한 주기마다 상기 가치 네트워크의 파라미터와 상기 타겟 가치 네트워크의 파라미터를 혼합하여 타겟 가치 네트워크를 업데이트하는 소프트 업데이트를 진행하며, 상기 크리틱옵티마이저부는 상기 가치 네트워크의 업데이트를 위해 보상을 최대화하기 위한 알고리즘을 포함하는 심층강화학습을 이용한 전이중 비직교 다중접속 기반 전송전력 제어장치
|
