[发明专利]基于Q学习的自适应路由方法及相关设备

说明书

本申请提供一种基于Q学习的自适应路由方法及相关设备。所述方法包括：根据获取的信噪比和环境温度变化，构建路径质量评估模型；利用路径质量评估模型计算得到第一节点和第二节点间的路径质量；根据路径质量从第二节点中确定最优下一跳节点并将最优下一跳节点作为新的第一节点；根据最优下一跳节点，更新第一节点的Q表；根据新的第一节点确定新的最优下一跳节点；响应于新的第一节点为待传输业务的目标节点，停止计算；根据Q表，确定待传输业务的传输路径。本申请实施例可以依据片上光互连网络的通信状况，通过构建路径质量评估模型，依据此模型更新路由器节点的Q表，依据Q表确定待传输业务的传输路径，完成业务传输。

技术领域

本申请涉及通信技术领域，尤其涉及一种基于Q学习的自适应路由方法及相关设备。

背景技术

在片上光互连网络中，光信号经过各种光学器件时，将会不可避免地产生损耗，并受到串扰噪声影响。在超深亚微米/纳米工艺下，损耗和串扰将是影响传输质量的主要因素。尤其是在基于WDM的片上光互连网络背景下，随着光学器件数量越来越多，多个不同波长的光信号在传输过程中会产生较大的损耗，并引入额外的信道内与信道间串扰，进一步造成主光信号传输质量恶化，甚至导致传输错误。另外，由于热光效应的存在，硅基微环谐振器的谐振波长会随着环境温度的变化而发生偏移。而芯片上的温度偏差将导致额外的光损耗，进一步影响传输质量。

发明内容

有鉴于此，本申请的目的在于提出一种基于Q学习的自适应路由方法及相关设备。

基于上述目的，本申请提供了一种基于Q学习的自适应路由方法，包括：

根据获取的信噪比和环境温度变化，构建路径质量评估模型；

利用所述路径质量评估模型计算得到待传输业务中第一节点和第二节点间的路径质量；所述第二节点为所述第一节点的任一下一跳节点；

根据所述路径质量从所述第二节点中确定最优下一跳节点并将所述最优下一跳节点作为新的第一节点；

根据所述最优下一跳节点，更新所述第一节点的Q表；

根据所述新的第一节点确定新的最优下一跳节点；响应于所述新的第一节点为所述待传输业务的目标节点，停止计算；

根据所述Q表，确定待传输业务的传输路径。

在一种可能的实现方式中，通过下述方法获取所述信噪比：

利用源知识产权核向目标知识产权核发送光信号，获取在所述目标知识产权核处接收到的信号功率；

根据获取的所述源知识产权核处的串扰噪声功率、片上光互联网络中的串扰噪声功率和所述目标知识产权核处的串扰噪声功率，计算得到所述光信号的串扰噪声；

根据所述信号功率和所述串扰噪声，计算得到所述信噪比。

在一种可能的实现方式中，通过下述方法获取所述环境温度变化；

获取环境温度和预期工作温度；

根据所述环境温度和预期工作温度计算差值，得到所述环境温度变化；

其中，通过下式计算所述环境温度：

其中，T_e表示环境温度，T₀表示预期工作温度，θ表示微环谐振器Drop端光功率传输谱的-3dB带宽，κ表示唤醒波导与直波导中光功率的耦合系数，表示光信号在环形波导中传输一周的固有功率损耗，表示微环谐振器Drop端处的光功率损耗，λ_TX表示激光器发出的入射光信号的波长，λ₀表示在预期工作温度下的预期谐振波长。

在一种可能的实现方式中，所述路径质量评估模型通过下式表示：