[发明专利]一种红外和可见光图像的融合方法

说明书

本发明属于图像处理技术领域，具体涉及一种红外和可见光图像的融合方法。本发明提供的基于混合l₁‑l₀分解模型与自编码器的红外和可见光图像融合方法，使用混合l₁‑l₀分解模型将图像分解结果作为双层自编码网络的输出，使得双层自编码网络自备层分解能力。将图像特征分解到基础层特征和细节层特征，对不同层次定制不同的融合策略能够保有更多的纹理信息和热辐射信息。利用l₁范数策略补偿显著性检测忽略的热辐射信息，提高了基础层融合的鲁棒性。网络采用端到端的方式简化训练过程，降低了模型复杂度。通过矩阵运算，降低了特征融合处理时耗，进而提升融合框架的响应速度。

技术领域

本发明属于图像处理技术领域，具体涉及一种红外和可见光图像的融合方法。

背景技术

红外和可见光融合是图像融合技术的一个重要分支，红外技术已被广泛的应用于生物、医疗、军事及安防等领域。虽然红外图像能提供较好的热辐射信息帮助人们检测诊断，但是由于其分辨率较低、缺少大量的纹理信息使其在应用层面的价值大打折扣，因此人们希望利用图像融合技术将可见光图像的纹理空间信息注入到红外图像中使得融合图像既保留红外辐射信息又持有丰富的纹理信息，从而提高其应用价值。

目前最为常见的红外和可见光图像融合方法是基于多尺度变换的融合方法，它需要确定基函数和分解层次。然而如何灵活选择基函数使得源图像能够被最佳表示和如何自适应的选择分解层次仍然是待解决的问题。基于稀疏表示的融合方法采用基于块的方法，但是忽略了块间相关性，往往会导致细节信息的丢失。随着深度学习的兴起，许多基于深度学习的融合方法被提出，利用卷积神经网络(CNN)获得图像特征，并对融合后的图像进行重构。在这些基于CNN的融合方法中，一般性策略是利用特征提取网络的最后一层结果作为图像特征，这种策略会丢失网络中间层所包含的大量信息，影响融合结果。

香港理工大学Zhetong Liang等人提出混合l₁-l₀分解模型对基础层使用l₁约束使得基础层可以保留较大梯度，且是分段光滑的，对细节层使用l₀范数约束强制细节层的小纹理梯度为零，同时保持主要结构梯度不变，是一种鲁棒的层分解模型。自编码器是前馈非循环神经网络，具有非常好的提取数据特征表示的能力，利用编码器提取特征，利用解码器重构，天然的适合做特征级的融合实现。基于此，本发明提出基于混合l₁-l₀分解模型与自编码器的红外和可见光图像融合方法。

发明内容

本发明的目的在于提供一种基于混合l₁-l₀分解模型与自编码器的红外和可见光图像融合方法，将热辐射信息和纹理信息的提取和融合拆分到不同网络中进行，使得融合策略更具有针对性，进而实现更好的融合效果。

本发明的技术方案为：一种红外和可见光图像的融合方法，包括以下步骤：

S1、获取训练数据集：采用混合l₁-l₀分解模型将网络输入图像S分解为基础层B和细节层S-B，作为训练数据集：

其中p表示像素点，N表示像素总数，表示沿i方向的偏导运算，λ₁、λ₂表示l₁范数和l₀范数的权值系数，第一项(S_p-B_p)²使得基础层在像素级别上趋近于源图像，第二项对基础层使用l₁约束使得基础层可以保留较大梯度，因此基础层是分段光滑的，第三项对细节层使用l₀范数约束强制细节层的小纹理梯度为零，同时保持主要结构梯度不变；

S2、构建自编码融合网络模型，如图1所示，具体为：