[发明专利]基于深度强化学习的多优先级无线终端的信道接入方法有效

专利信息
申请号: 202110781263.0 申请日: 2021-07-10
公开(公告)号: CN113613339B 公开(公告)日: 2023-10-17
发明(设计)人: 孙红光;高银洁;张宏鸣;李书琴;徐超;高振宇 申请(专利权)人: 西北农林科技大学
主分类号: H04W74/04 分类号: H04W74/04;G06F30/27;G06N3/092
代理公司: 西安长和专利代理有限公司 61227 代理人: 黄伟洪
地址: 712100 陕*** 国省代码: 陕西;61
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明属于无线通信技术领域,公开了一种基于深度强化学习的多优先级无线终端的信道接入方法,所述基于深度强化学习的多优先级无线终端的信道接入方法包括:建立具有不同优先级业务的网络场景;设计并明确该协议的系统模型,根据该协议网络场景进行状态空间建模、动作空间建模,并针对不同场景设计奖励函数;明确并建立该协议所使用的神经网络模型,并通过经验元组对网络模型进行训练;将训练好的模型通过多场景的仿真对比进行性能验证。本发明使用深度强化学习对多优先级业务无线终端的信道接入方法进行设计,更适用于具有不同优先级业务的无线网络,提高系统的吞吐量和无线信道资源的利用率,在减小高优先级业务调度时延的同时,提高低优先级业务接入信道的机会。
搜索关键词: 基于 深度 强化 学习 优先级 无线 终端 信道 接入 方法
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西北农林科技大学,未经西北农林科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/202110781263.0/,转载请声明来源钻瓜专利网。

同类专利
  • 基于深度强化学习的多优先级无线终端的信道接入方法-202110781263.0
  • 孙红光;高银洁;张宏鸣;李书琴;徐超;高振宇 - 西北农林科技大学
  • 2021-07-10 - 2023-10-17 - H04W74/04
  • 本发明属于无线通信技术领域,公开了一种基于深度强化学习的多优先级无线终端的信道接入方法,所述基于深度强化学习的多优先级无线终端的信道接入方法包括:建立具有不同优先级业务的网络场景;设计并明确该协议的系统模型,根据该协议网络场景进行状态空间建模、动作空间建模,并针对不同场景设计奖励函数;明确并建立该协议所使用的神经网络模型,并通过经验元组对网络模型进行训练;将训练好的模型通过多场景的仿真对比进行性能验证。本发明使用深度强化学习对多优先级业务无线终端的信道接入方法进行设计,更适用于具有不同优先级业务的无线网络,提高系统的吞吐量和无线信道资源的利用率,在减小高优先级业务调度时延的同时,提高低优先级业务接入信道的机会。
  • 一种基于跳频的非竞争随机接入方法及装置-202111204084.7
  • 王峰;张健 - 北京通广龙电子科技有限公司
  • 2021-10-15 - 2023-07-14 - H04W74/04
  • 本发明公开了一种基于跳频的非竞争随机接入方法及装置,在基站/控制节点发起非竞争随机接入时,将基于同步跳频的跳时与随机接入前导码相结合,在时域和码域构造基于同步跳频的两维随机接入前导码集合,支持不同可靠度等级的随机接入;随机接入用户与两维随机接入前导码的映射,保证任意一个码时资源块能且只能分配给一个接入用户使用,保证占用多个时域资源的接入用户具备更高的检测概率和可靠度。本发明解决了资源受限情况下同时调度的用户数量少、随机接入性能受功率控制和远近效应影响较大、支持不同可靠度等级的非竞争随机接入能力较弱等等问题。
  • 一种广播场景下的无人机自组网信道接入方法及系统-202310340147.4
  • 燕锋;杭天阳;夏玮玮;沈连丰;胡静;宋铁成 - 东南大学
  • 2023-03-31 - 2023-06-30 - H04W74/04
  • 本发明公开了一种广播场景下的无人机自组网信道接入方法及系统,包括:当无人机节点有发送需求时,节点统计上一次传输的反馈,根据Q‑Learning算法输出一个退避窗口值CW,退避完成后节点接入信道;发包前,节点根据接收成功率门限选择转发节点的个数,将选中的转发节点编号和CW附在数据包中广播发出;节点收到广播包后读取MAC头字段,统计邻居CW值,维护邻居表和CW流行度表,并比对自身是否是转发节点;若当前节点为选中的转发节点,则节点需要将收到的数据包以广播的形式进行转发;源节点在ACK时限到达时统计此次发送收到的有效ACK个数,计算得出此次传输的反馈,在下次传输前更新Q‑Learning的权值表;节点重复以上过程,迭代更新出自适应的信道接入策略。
  • 控制小区高优先级用户比例的方法、基站及介质-202310101660.8
  • 李一;金雨超;龙青良;狄子翔;贾玉玮;曹丽娟;郑雨婷;朱小萌;程新洲 - 中国联合网络通信集团有限公司
  • 2023-01-29 - 2023-05-12 - H04W74/04
  • 本发明提供一种控制小区高优先级用户比例的方法、基站及介质,涉及通信技术领域,用于解决现有技术基站不能够控制高优先级用户比例的问题,所述方法包括:获取小区中不同5QI的qos flow的平均个数,所述不同5QI包括:对应高优先级用户的5QI和对应普通用户的5QI;根据小区中不同5QI的qos flow的平均个数计算小区中高优先级用户占比;根据小区中高优先级用户占比调度不同5QI的qos flow的接入,以控制小区中高优先级用户比例。本发明通过不同5QI的qos flow个数统计小区中高优先级用户占比,并根据高优先级用户占比调度不同5QI的qos flow的接入以控制小区中高优先级用户的比例,可以有效控制小区中高优先级用户的比例,从而保障普通用户的感知不受到严重影响。
  • 智能分配设备信道方法、路由器、无线设备和系统-202211643899.X
  • 刘佳豪;巫锦辉;陈锦辉;韦春梅 - 珠海格力电器股份有限公司;珠海联云科技有限公司
  • 2022-12-20 - 2023-05-09 - H04W74/04
  • 本申请提供了一种智能分配设备信道方法、路由器、无线设备和系统。其中,方法包括:获取来自于无线设备的连接请求,其中,所述连接请求用于请求通过接入路由器以与服务器连接;在互不干扰的多个候选信道中,确定出分配给所述无线设备的目标信道;将所述目标信道的目标信道信息发送给所述无线设备,以使所述无线设备通过所述目标信道信息接入所述目标信道,并完成与所述服务器的连接。本申请通过提供多个不同的候选信道,并分配给无线设备,从而可以减少使用同一个信道的设备的数量,进而可以克服相关技术中不同设备都选择相同或相近信道会因为干扰导致信息传输效率降低,造成很多的重传的技术问题。
  • 一种分层架构下的多无人机群通道接入控制方法-202310053018.7
  • 黄晓燕;黄达;康淳;吴凡;张科;冷甦鹏 - 电子科技大学
  • 2023-02-03 - 2023-05-05 - H04W74/04
  • 本发明公开一种分层架构下的多无人机群通道接入控制方法,应用于无线通讯技术领域,针对传统的接入控制方法不适用于大规模、多无人机、多任务需求的通信场景,且不利于动态场景下接入控制和管理的问题;本发明将大规模网络划分为多个独立的集群,每个集群独立决定集群内的通道分配,在具有多无人机分群的大规模场景下能够取得更高的接入效率。同时,提出了基于分群需求的通道接入修正方法,当单一分群从各集群获得的总的通道资源不满足分群需求时,会对集群间通道或集群内通道进行二次修正,以满足所有分群的通信需求。
  • 一种被用于无线通信的节点中的方法和装置-202111286517.8
  • 吴克颖;张晓博 - 上海朗帛通信技术有限公司
  • 2021-11-02 - 2023-05-05 - H04W74/04
  • 本申请公开了一种被用于无线通信的节点中的方法和装置。第一节点接收第一信令和M个信号;所述第一信令包括所述M个信号的调度信息;所述M个信号在时域两两相互正交;所述M个信号中的任一信号携带一个TB或者两个TB;所述M个信号携带的TB的数量分别等于M个整数;所述第一信令包括第一域,所述第一信令中的所述第一域和所述M个整数中的最大值共同被用于确定第一DMRS端口集合,所述M个信号中的任一信号占用的DMRS端口属于所述第一DMRS端口集合。上述方法在一个DCI调度多个PDSCH时,支持不同PDSCH携带不同数量的TB,增加了调度灵活性。
  • 一种基于无线网状网络的分段竞争式信标发送方法-202011046441.7
  • 任塨晔;柏荣胜;黄镠;吕卫祥 - 中国船舶重工集团公司第七二四研究所
  • 2020-09-29 - 2022-12-27 - H04W74/04
  • 本发明公开了一种无线网状网络中分段竞争式的信标发送方法,该方法包括三个方面:周期和区间的划分、区间选择规则和信标帧发送规则。时间被划分为等长的周期,每个周期被划分为若干个等长的区间。节点在每个周期的开始时刻根据之前周期发送信标帧的情况依照区间选择规则被分配到某个区间,使得最近发送过信标帧的节点被分配到时间靠后的区间,而最近未发送过信标帧的节点被分配到时间靠前的区间。节点在被分配的区间的开始时刻(PBTT)计划发送信标帧。在每个周期,节点如果在PBTT之前、或在PBTT之后启动信标帧回退计时器之前、或在信标帧回退计时器递减为0之前收到信标帧,则取消本周期的信标帧的发送;否则在回退计时器递减为0时发送信标帧。
  • FBE的数据传输方法、装置及存储介质-201880001003.3
  • 周珏嘉 - 北京小米移动软件有限公司
  • 2018-08-10 - 2022-10-04 - H04W74/04
  • 一种FBE的数据传输方法、装置及存储介质,属于通信技术领域。所述方法包括:第二接入网设备接收第一接入网设备发送的传输状态指示信息;第二接入网设备确定与第一波束具有干扰互斥关系的第二波束;若第二接入网设备存在使用第二波束与第二终端之间传输第二数据的需求,则第二接入网设备根据第一数据所占用的固定周期,确定第二数据占用的固定周期;第二接入网设备在第二数据占用的固定周期中,与第二终端之间传输第二数据。本公开实施例可节省设备的处理开销,提升接入信道的成功率。
  • 一种面向6TiSCH网络的突发性紧急数据流时隙抢占方法-202210716711.3
  • 蒲宬亘;罗佳;王平;王希;陈煜 - 重庆邮电大学
  • 2022-06-23 - 2022-09-23 - H04W74/04
  • 本发明属于IPv6无线传感网络技术领域,具体涉及一种面向6TiSCH网络的突发性紧急数据流时隙抢占方法,包括:突发性紧急数据流源节点发送时隙抢占请求报文,等待并监听时隙抢占确认报文;周期性数据节点竞争回复时隙抢占请求报文,并在时隙抢占确认报文中添加发包时刻信息;突发性紧急数据流收到竞争成功节点发来的时隙抢占确认报文之后,根据时隙抢占确认报文携带的发包时刻信息等待发包,根据跳数信息决定是否重复上述动作;本发明能够在低通信报文开销的情况下完成突发紧急数据流抢占时隙,有效避免信道冲突,可保证突发紧急数据流的及时交付,降低对周期性数据流影响。
  • 传输数据的方法及设备-202210751379.4
  • 李迎阳;王轶;张世昌 - 北京三星通信技术研究有限公司;三星电子株式会社
  • 2016-06-03 - 2022-09-13 - H04W74/04
  • 本申请提出了一种传输数据的方法,包括:第二设备检测第一设备发送的调度信令,并确定第一设备配置的竞争信道的LBT机制和相应的参数;第二设备执行LBT,并在LBT成功后传输上行数据。第二设备的数据传输的LBT机制可以是对一组或者全部第二设备用公共的控制信令来设置,并且第二设备根据是否收到所述公共控制信令相应的确定其采用的LBT机制。第二设备需要向第一设备报告其在邻近载波上同时收发的能力,从而第一设备根据这个能力合理调度第二设备的上下行传输。采用本发明的方法,提高基站控制UE上行传输的LBT机制的灵活性,避免上下行资源的浪费,并保证与其他设备的友好共存。
  • 无线通信系统、调度方法、无线通信方法及装置-201910492934.4
  • 刘晟 - 华为技术有限公司
  • 2019-06-06 - 2022-08-26 - H04W74/04
  • 本申请提供了一种无线通信系统、调度方法、无线通信方法及装置,属于通信领域。该无线通信系统中第一无线接入小区包括的多个无线接入节点的工作信道的频率相同,该系统的控制器可以指示第一无线接入小区中的一个无线接入节点作为第一调度时段内的收发接入节点,并指示其他无线接入节点为上行接入节点。由于在第一调度时段内,仅收发接入节点能与无线终端进行上行通信和下行通信,而上行接入节点不能发送无线信号,因此可有效避免同频干扰的问题。又由于多个无线接入节点的工作信道的频率相同且避免了同频干扰,因此相邻无线接入节点之间的距离可较小,且每个无线接入节点均可采用较大带宽的工作信道,从而有效提高了系统容量和数据传输速率。
  • 一种考虑业务优先级的多信道接入建模及分布式实现方法-202210158814.2
  • 张树英;倪祖耀;匡麟玲;赵旭 - 清华大学
  • 2022-02-21 - 2022-05-13 - H04W74/04
  • 本发明提出了一种考虑业务优先级的多信道接入建模及分布式实现方法,基于一个考虑业务优先级分类的通用缓存队列模型,结合相同无线资源传输不同优先级业务对全网所产生的效益不同这一特性,建立了新的网络效益最大化约束优化模型;将该模型转化为Multi‑agent强化学习决策过程,从而构建了基于该模型的多链路分布式动态信道接入的深度学习框架,用所建立模型的优化目标作为奖励对所有Agent进行集中训练,得到了相应的分布式动态信道接入方法;通过将该深度学习框架训练的Agent加载到链路发射机上进行分布式执行,可实现各链路仅利用局部观测就能实现具有全局业务优先级平衡效果的动态频谱接入决策。
  • 一种无线单信道通信网络避免冲突的通信方法-202110276697.5
  • 蔡文郁;谢起楠;张美燕;张铭坤 - 杭州电子科技大学
  • 2021-03-15 - 2022-05-06 - H04W74/04
  • 本发明公开了一种无线单信道通信网络避免冲突的通信方法,其步骤如下:一、设置通信网络,通信网络包括网关节点和多个终端节点。二、通信网络依照预备时间段、节点通信时间段、网络管理时间段、网络空闲时间段的顺序依次循环运行。本发明解决了单信道通信网络易发生冲突的问题,相较于传统的基于时分复用的单通道网络,本发明具有更高的实时性。此外,本发明提出的网关节点可通过终端节点仲裁的方式迁移到任意网络终端节点上,相较于传统固定位置网络,能够在网关节点出现故障时自动切换得到新的网关节点,能够防止因为网关故障导致全网瘫痪事故的发生,具有更高的灵活性以及通信网络具有更高的容错性。
  • 一种无线基站、终端以及通信方法-202110975266.8
  • 陈宇;戴晨阳;陆卫军;王文辉;王磊阳;林强 - 浙江中控技术股份有限公司
  • 2021-08-24 - 2021-11-23 - H04W74/04
  • 本申请实施例提供了一种无线基站和通信方法,无线基站包括呼叫机,呼叫机包括:呼叫发送机和呼叫接收机,呼叫发送机用于获取呼叫匹配列表,响应于达到目标呼叫周期的预设呼叫时刻广播呼叫包,呼叫接收机用于响应于在目标呼叫周期内接收到呼叫应答包,判断是否满足预设入网条件;若满足预设入网条件,发送目标终端的入网指令,以使目标终端入网。呼叫匹配列表包括按照预设的呼叫序位排列的待入网终端、以及每一呼叫序位与预设的呼叫周期的对应关系,无线基站通过呼叫发送机依据呼叫匹配列表,在达到目标呼叫周期的预设呼叫时刻,广播携带目标终端的标识信息的呼叫包,实现依序呼叫待入网终端,提高无线基站的通信可靠性。
  • 信道接入方法、装置、计算机设备和存储介质-201910756654.X
  • 高创;李辉 - 浙江大华技术股份有限公司
  • 2019-08-16 - 2021-06-08 - H04W74/04
  • 本发明涉及一种信道接入方法、装置、计算机设备和存储介质。该方法包括:监测AP无线接入点使用的当前信道的信道稳定度;若信道稳定度小于预设稳定度,则将AP无线接入点使用的当前信道切换至第一目标信道,并配置AP无线接入点对应的STA站点的信道时隙;以及将第一目标信道和信道时隙发送给STA站点,以使STA站点基于第一目标信道,以及按照信道时隙与AP无线接入点进行数据传送。上述的信道接入方法,由于AP无线接入点可以实时监测自身的信道稳定度,并根据信道稳定度实时切换至稳定度高的第一目标信道,因此这样的信道接入方法可以提高无线网络的数据吞吐量,以及数据传输的稳定性。
  • 一种VDES系统的接入上行信道的调度方法-201910841005.X
  • 丁大为;丁晓光;智慧;张红伟 - 山东星通易航通信科技有限公司;上海航天测控通信研究所
  • 2019-09-06 - 2021-04-27 - H04W74/04
  • 本发明涉及无线通信技术领域,具体涉及一种VDES系统的接入上行信道的调度方法,该方法包括以下步骤:一、业务分类和信道设置;二、根据t时刻和之前N个时刻所到达的业务数,预测t+1时刻的信道分配阈值Q(t+1),并做出t+1时刻的上行信道分配的调整;三、根据t+1时刻的所有业务数,做t+1时刻的上行信道分配的调整;四、重复使用t+1时刻的信道调度方法。与现有的所有业务一起竞争使用信道的方法相比,本发明利用紧急业务数的预测进行接入上行信道的分配调整,可以有效的保证紧急业务的接入,防止系统因业务排队问题可能造成的重大事故,还可以有效避免系统瞬时访问容量过大从而导致服务性能过度下降的问题。
  • 用于无线数据通信网络的事务调度系统-201680031994.0
  • B.C.扬尼;D.D.罗斯;J.E.班尼特;M.E.齐霍拉斯;H.A.霍林格;K.D.辛格;D.B.范沃尔斯特 - 迪迪体育公司
  • 2016-04-01 - 2021-04-02 - H04W74/04
  • 用于在无线数据通信网络中调度和协调传输信号的系统和方法,包括主节点和至少一个标签节点。在一些实施例中,网络还可以包括从属节点。主节点将时间划分为包括配置窗和至少一个事务窗的重复的时分块。在配置窗期间,主节点向标签或从属节点提供操作参数,包括为标签或从属节点保留的以向主节点广播数据的在事务窗内的时隙。将事务窗细分为多个保留时隙,并且将每个时隙指派给具体标签或从属节点。当保留时隙到达时,标签或从属节点将向主节点广播数据信号。根据需要,主周期性地调整用于每个标签或从属节点的传输调度,以确保每个标签或从属节点继续仅在其保留时隙期间广播,由此减少通信数据冲突并且优化数据通信网络的总体性能和吞吐量。
  • 用于确定设备到设备传输模式的方法和装置-202010837461.X
  • C-C·图;B·佩尔蒂埃;P·马里内尔;M·鲁道夫 - 交互数字专利控股公司
  • 2015-08-05 - 2020-12-11 - H04W74/04
  • 提供一种用于确定设备到设备传输模式的方法和装置。所述方法包括:基于至少传输配置来确定用于直接与第二WTRU进行设备到设备(D2D)通信的基础模式长度,其中所述基础模式长度包括一数量的子帧;基于来自网络的指示,选择具有所确定的基础模式长度的基础模式,其中,所述基础模式包括在所述一数量的子帧中的一个或多个传输时机;以及在所述基础模式的所述一个或多个传输时机的至少一个传输时机中向所述第二WTRU传送一个或多个数据分组。
  • 一种用于信道调度的船舶VDES通信系统-202020515414.9
  • 韩周安;尹森林 - 成都爱科特科技发展有限公司
  • 2020-04-08 - 2020-08-25 - H04W74/04
  • 本实用新型公开了一种用于信道调度的船舶VDES通信系统,本系统包括,船舶通信系统和卫星通信系统,所述的船舶通信系统,包括第一控制模块、采集模块和第一传输模块,所述的卫星通信系统,包括第二控制模块、第二传输模块和信道管理模块。本实用新型通过卫星系统基于当前时刻的业务数及业务种类,提前预测下一时刻的业务数及业务种类,并基于当前预测结果规划下一时刻各业务所需的时隙数。同时,为紧急业务提供充分的信道支持。在船舶需要向卫星发送紧急信号时,该VDES系统星地信道的调度分配方式可以发挥关键性的作用。
  • 车联网中动态无冲突的多址接入方法及系统-201910401863.2
  • 刘凯;马梦媛;张涛;曹先彬;谢晋东;肖振宇 - 北京航空航天大学
  • 2019-05-15 - 2020-08-04 - H04W74/04
  • 本发明实施例提供一种车联网中动态无冲突的多址接入方法及系统,该方法包括:目标车辆获取目标路侧单元发送的时隙安排,时隙安排用于供目标路侧单元分配给通信范围内的车辆;若目标车辆为目标路侧单元已分配时隙的车辆,在对应的分配时隙向目标路侧单元和目标车辆的一跳邻居车辆发送对应的安全数据包,以供目标路侧单元和目标车辆的一跳邻居车辆根据安全数据包得到目标车辆的信息;若目标车辆为目标路侧单元未分配时隙的车辆,则向目标路侧单元发送预约消息,以供目标路侧单元在下一同步间隔为目标车辆分配时隙。本发明实施例提供的车联网中动态无冲突的多址接入方法及系统能降低传输延时,且在车辆密度不均衡时较好的适应道路交通多变性。
  • 一种应用于酒店客控系统的防冲撞方法-202010189056.1
  • 姚周军;于庆祥;赵敏;李守华;田江文;王伟 - 山东比特智能科技股份有限公司
  • 2020-03-18 - 2020-07-03 - H04W74/04
  • 本发明公开了一种应用于酒店客控系统的防冲撞方法,属于酒店客控防冲撞领域,要解决的技术问题为如何在应用层提供防冲撞机制,以解决酒店客控系统中无线冲突。包括:S100、设定N个间隔时间;S200、逐次选取一个间隔时间作为间隔,进行如下操作:通过主控网关等间隔的向每个副网关模组发送场景数据,并判断每个副网关模组是否均接受到对应的场景数据且不丢包;S300、如果在某个间隔时间下,满足每个副网关模组均接受到对应的场景数据且不丢包,则间隔时间为最优间隔时间;S400、如果上述N个间隔时间下,不能满足每个副网关模组均接受到对应的场景数据且不丢包,重新设定N个间隔时间,依次执行步骤S200‑S400。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top