맞춤기술찾기

이전대상기술

자율적인 행동 학습(Q-Learning)을 이용한 협력 통신을 위한 릴레이 선택 장치 및 그 방법

  • 기술번호 : KST2014051598
  • 담당센터 :
  • 전화번호 :
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 자율적인 행동 학습(Q-Learning)을 이용한 협력 통신을 위한 릴레이 선택 장치 및 그 방법에 관한 것이다. 본 발명에 따른 협력 통신을 위한 릴레이 선택 방법은, 모든 릴레이가 협력 통신에 참여하고, 모든 릴레이의 인덱스 집합을 정의하는 단계; Q-테이블을 초기화하고, 초기 상태를 랜덤하게 선택하는 단계; 및 모든 릴레이 선택 구간 동안 협력 릴레이 개수를 선택하는 단계를 포함하고, 상기 협력 릴레이 개수를 선택하는 단계는 현재 상태에서 가능한 모든 행동들로부터 하나의 행동을 선택하는 단계; 상기 선택된 행동을 이용하여 다음 상태로 이동하는 단계; 가능한 모든 행동들에 기반하여 상기 다음 상태 가운데 Q 값의 최대값을 가지는 행동을 선택하는 단계; 상기 Q 값을 업데이트하고, 상기 Q-테이블에서 최대의 Q 값을 가지는 협력 릴레이 개수를 선택하는 단계; 및 다음 상태를 현재 상태로 선택하는 단계를 포함한다.이와 같이 본 발명에 따르면, 물리 계층 관점에서 자율적인 행동 학습(Q-Learning)을 위한 상태, 행동, 보상값을 명확하게 정의하고 전체 알고리즘을 단계화할 수 있고, 자율적인 행동 학습(Q-Learning)을 이용한 제안 기법은 수학적인 분석을 통해서 릴레이를 선택하는 기법과 비교했을 때 시스템의 복잡도를 효율적으로 저감시키며 유사한 심벌오율(Symbol Error Rate) 성능을 낼 수 있다. 또한, 자율적인 행동 학습(Q-Learning) 알고리즘은 차세대 무선통신 시스템의 성능 향상을 위해서 효과적으로 사용될 수 있다.
Int. CL H04B 7/02 (2006.01)
CPC H04B 7/026(2013.01) H04B 7/026(2013.01) H04B 7/026(2013.01)
출원번호/일자 1020130053056 (2013.05.10)
출원인 숭실대학교산학협력단
등록번호/일자 10-1462199-0000 (2014.11.10)
공개번호/일자 10-2014-0103797 (2014.08.27) 문서열기
공고번호/일자 (20141119) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020130017581   |   2013.02.19
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2013.05.10)
심사청구항수 8

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 숭실대학교산학협력단 대한민국 서울특별시 동작구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 신요안 대한민국 서울 동작구
2 정홍규 대한민국 서울 동작구
3 김광열 대한민국 서울 동작구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인태백 대한민국 서울 금천구 가산디지털*로 *** 이노플렉스 *차 ***호

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 주식회사 스튜디오엑스코 서울특별시 강북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2013.05.10 수리 (Accepted) 1-1-2013-0414362-08
2 의견제출통지서
Notification of reason for refusal
2014.04.14 발송처리완료 (Completion of Transmission) 9-5-2014-0254861-41
3 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2014.05.21 수리 (Accepted) 1-1-2014-0477548-37
4 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2014.05.21 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2014-0477546-46
5 등록결정서
Decision to grant
2014.10.28 발송처리완료 (Completion of Transmission) 9-5-2014-0737417-33
6 [일부 청구항 포기]취하(포기)서
[Abandonment of Partial Claims] Request for Withdrawal (Abandonment)
2014.11.10 수리 (Accepted) 2-1-2014-0620727-15
7 출원인정보변경(경정)신고서
Notification of change of applicant's information
2016.08.04 수리 (Accepted) 4-1-2016-5110636-51
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
자율적인 행동 학습(Q-Learning)을 이용한 협력 통신을 위한 릴레이 선택 장치에 있어서,상기 자율적인 행동 학습의 상태, 행동 및 보상에 대해, 선택된 협력 릴레이 개수를 상태로, 상기 릴레이 개수의 변화를 행동으로, 그리고 신호대잡음비(Signal-to-Noise Ratio: SNR)에 관한 함수값을 보상으로 설정하는 설정부;상기 자율적인 행동 학습의 상태에서 임의의 상태값 및 상기 선택된 상태값에서 가능한 하나 이상의 행동값을 선택하는 선택부;상기 선택된 상태값 및 행동값을 기초로 이에 대응하는 하나 이상의 보상값을 연산하는 연산부; 및상기 하나 이상의 보상값 중에서 최고의 보상값을 가지는 행동의 릴레이 개수를 최적의 릴레이 개수로 결정하는 제어부를 포함하되,상기 연산부는,아래 수학식에 따라 보상값을 업데이트 하는 협력 통신을 위한 릴레이 선택 장치:여기서, s는 현재 상태, s'는 미래 상태, a는 현재 행동 그리고 a'는 미래 행동을 그리고 r은 즉각적인 보상값을 의미하고, (0003c#003c#1)는 미래 상황이 현재의 학습에 미치는 영향을 결정하는 할인계수(Discount Factor)이다
2 2
청구항 2은(는) 설정등록료 납부시 포기되었습니다
3 3
청구항 3은(는) 설정등록료 납부시 포기되었습니다
4 4
삭제
5 5
제 1항에 있어서,상기 제어부는,상기 업데이트된 보상값인, Q-Value Q(s, a)으로 Q-Table을 생성하고,상기 최적의 릴레이 개수 결정에서 상기 Q-Table을 이용하는 협력 통신을 위한 릴레이 선택 장치
6 6
자율적인 행동 학습(Q-Learning)을 이용한 협력 통신을 위한 릴레이 선택 장치의 릴레이 선택 방법에 있어서,협력통신 네트워크의 이득을 최대화시키기 위해, 자율적인 행동 학습(Q-Learning)을 이용한 릴레이 선택 방법에 있어서,상기 자율적인 행동 학습의 상태, 행동 및 보상에 대해, 선택된 협력 릴레이 개수를 상태로, 상기 릴레이 개수의 변화를 행동으로, 그리고 신호대잡음비(Signal-to-Noise Ratio: SNR)에 관한 함수값을 보상으로 각각 설정하는 단계;상기 자율적인 행동 학습의 상태에서 임의의 상태값 및 상기 선택된 상태값에서 가능한 하나 이상의 행동값을 선택하는 단계;상기 선택된 상태값 및 행동값을 기초로 이에 대응하는 하나 이상의 보상값을 연산하는 단계; 및상기 하나 이상의 보상값 중에서 최고의 보상값을 가지는 행동의 릴레이 개수를 최적의 릴레이 개수로 결정하는 단계를 포함하되,상기 연산하는 단계에서,다음의 수학식에 따라 보상값을 업데이트 하는 협력 통신을 위한 릴레이 선택 방법:여기서, s는 현재 상태, s'는 미래 상태, a는 현재 행동, a'는 미래 행동을 그리고 r은 즉각적인 보상값을 의미하고, (0003c#003c#1)는 미래 상황이 현재의 학습에 미치는 영향을 결정하는 할인계수(Discount Factor)이다
7 7
청구항 7은(는) 설정등록료 납부시 포기되었습니다
8 8
청구항 8은(는) 설정등록료 납부시 포기되었습니다
9 9
삭제
10 10
제 6항에 있어서,상기 최적의 릴레이 개수로 결정하는 단계에서,상기 업데이트된 보상값인, Q-Value Q(s, a)으로 Q-Table을 생성하고,상기 최적의 릴레이 개수 결정에서 상기 Q-Table을 이용하는 협력 통신을 위한 릴레이 선택 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육과학기술부 숭실대학교 산학협력단 중견(핵심)연구자지원사업 2차년도 생태계 모방 인지 라디오 스펙트럼 공유 기술