[发明专利]空间信息引导角度信息的光场相机全聚焦图像融合算法

说明书

本发明属于光场全聚焦图像融合领域，传统基于引导滤波的图像融合算法只利用了图像的空间信息，将其应用于光场全聚焦图像融合时，角度信息的合理利用可以有效提高图像融合精度，基于此，本发明提出一种空间信息引导角度信息的光场相机全聚焦图像融合算法，该算法基于4D光场的角度信息获取初步融合权重图，以初步融合权重图为被引导图像，将4D光场坐标变换、积分得到的空间信息作为引导图像完成引导滤波，实验论证了本发明所提算法的有效性：定量评价结果表明，在不牺牲图像信息丰富性及感知清晰度的前提下，本发明所提算法得到的融合图像在基于特征和基于结构相似性的性能评价指标下质量更高。

技术领域

本发明属于光场全聚焦图像融合领域，特别是涉及一种空间信息引导角度信息的光场相机全聚焦图像融合算法。

背景技术

由于采用了一种新的相机成像系统模型，光场相机凭借先拍照后聚焦的技术亮点获得国内外相关领域研究学者的普遍关注。相比于传统相机，光场相机不仅可以记录空间光线位置信息，同时还可以记录光线的角度信息，使得光场图像在后期的处理、应用中体现了更大的优势。目前，针对光场相机的研究内容主要包括相机标定、光场数字重聚焦、多视点图像获取、多聚焦及全聚焦图像融合、深度估计以及超分辨率重构等。其中光场全聚焦图像融合是光场图像处理领域的一个重要分支，由于融合后的图像具备更完备的场景信息，在后期的图像识别、超分辨率重构、视频文件的生成中具有重要的应用价值。

目前，获取光场全聚焦图像的一般方法是先将光场原图像经数字重聚焦技术得到多幅重聚焦图像，再利用传统多聚焦图像融合技术得到全聚焦图像。多聚焦图像融合算法可分为基于变换域和基于空间域两大类，变换域算法将被融合图像转化到其它特征域来完成图像融合，典型的算法以小波变换法为代表。空间域算法包括基于像素和基于区域的算法，如通过多尺度形态学聚焦测量实现边界划分的方法即为最典型的基于区域的空间融合算法。相对于基于区域的融合算法，基于像素的融合算法不需要将被融合图像分区，具有算法简单且计算复杂度低的优势，典型算法包括拉普拉斯评价法、主成分分析法及引导滤波法等。该类算法的精度主要取决于权重图的计算，如引导滤波法首先将源图像双尺度分解为不同特征层，通过引导滤波对初步融合决策图进行优化得到每一特征层的优化权重图，将优化后的权重图与对应特征层加权平均得到各特征层融合图像后再组成最终融合图像。将传统图像融合算法应用于光场全聚焦图像计算时，被融合图像为4D光场沿角度方向积分后的多幅重聚焦图像，由于积分过程只保留了光场的位置信息，使得光场角度信息在图像融合过程中没有得到充分的利用。

将传统引导滤波用于光场全聚焦图像获取时，最简单、直接的方法是利用数字重聚焦技术由单幅光场原图像计算得到多幅重聚焦图像，再用引导滤波方法将多幅重聚焦图像融合得到全聚焦图像。此时引导滤波输入的源数据并不是4D光场数据，而是由4D光场积分得到的重聚焦图像。由于积分过程丢失了光场的角度信息(u,v)，仅保留了光场的空间信息(x,y)，导致数据融合过程中光场的4维信息没有得到合理利用。

发明内容

为了使光场记录的空间与角度信息均得到合理利用，本发明以传统引导滤波图像融合算法为基础，提出基于空间信息引导角度信息的光场全聚焦图像融合算法，该算法利用光场的角度信息计算重聚焦图像初步融合权重图，将初步融合权重图作为被引导图像、携带光场空间信息的重聚焦图像作为引导图像进行引导滤波完成融合权重图的优化。

为解决上述技术问题，本发明保护的技术方案为：空间信息引导角度信息的光场相机全聚焦图像融合算法，按照以下步骤进行：

步骤1)将光场原图像解码得到4D光场数据，利用数字重聚焦算法得到聚焦在不同场景深度的多幅重聚焦图像，利用光场的角度信息计算多幅重聚焦图像对应的初步融合权重图：

1.1根据光场数字重聚焦理论，光场重聚焦图像获取的表达式如下：

式中，F表示光场相机主透镜平面与传感器平面之间的距离；α_n为重聚焦调焦数,α_n·F表示调焦后主透镜平面与重聚焦平面的距离；