[发明专利]一种基于重构损失的自监督立体匹配方法

说明书

本发明涉及一种基于重构损失的自监督立体匹配方法，包括以下步骤：获取立体图像对信息，所述立体图像对信息包括一个左图和一个右图，以及图像深度信息；建立端到端立体匹配网络PSMNet；将立体图像对信息输入端到端立体匹配网络PSMNet，得到预测视差值；基于预测视差值对右图进行重构，并计算重构后的右图与左图之间的重构损失；基于重构损失反向传播对端到端立体匹配网络PSMNet进行迭代训练；利用训练完成的端到端立体匹配网络PSMNet进行立体图像的匹配。与现有技术相比，本发明减少了立体网络对视差真值的依赖，提升了自监督流程的准确性与稳定性。

技术领域

本发明涉及机器人视觉领域，尤其是涉及一种基于重构损失的自监督立体匹配方法。

背景技术

随着全球智慧城市的稳步构建与交通网络化的推进，探究道路的日常质量勘测工作对数字城市发展有着深远的意义。而在对道路进行三维重建的过程中非常重要的一步就是对图像进行立体匹配。

立体匹配的全监督学习算法需要标记数据来分析预测未知数据的结果。对于大型可标记训练数据集，手动数据标记具有费时低效等缺点。同时，对于无法或难以获得基准真值的数据集，如对路面信息的立体匹配领域，带有绝对基准真值的数据集少之又少，人们常用虚拟数据集进行学习训练，而利用虚拟数据训练模型应用到真实场景时的结果存在精度低的问题。

发明内容

本发明的目的就是为了提供一种基于重构损失的自监督立体匹配方法，提高立体匹配的准确性，并减少对视差真值的依赖，具有实用性。

本发明的目的可以通过以下技术方案来实现：

一种基于重构损失的自监督立体匹配方法，包括以下步骤：

获取立体图像对信息，所述立体图像对信息包括一个左图和一个右图，以及图像深度信息；

建立端到端立体匹配网络PSMNet；

将立体图像对信息输入端到端立体匹配网络PSMNet，得到预测视差值；

基于预测视差值对右图进行重构，并计算重构后的右图与左图之间的重构损失；

基于重构损失反向传播对端到端立体匹配网络PSMNet进行迭代训练；

利用训练完成的端到端立体匹配网络PSMNet进行立体图像的匹配。

所述端到端立体匹配网络PSMNet执行以下步骤：

将左图和右图分别输入CNN卷积神经网络模块进行初步特征提取；

将左图和右图的初步特征提取结果分别依次输入空间金字塔池化模块和卷积模块提取特征点附近的信息得到特征图；

将左、右特征图拼接成一个代价损失量矩阵；

基于3D CNN和上采样对代价损失量矩阵进行融合得到代价损失值；

基于代价损失值和深度信息进行视差回归计算得到预测视差值。

所述CNN卷积神经网络模块的前三层为标准卷积层，后四层为采用残差结构的标准卷积层和空洞卷积层。

所述空间金字塔池化模块由四个固定大小的平均池化层组成，将专注的信息由全局转向局部，并与CNN卷积神经网络模块的部分结果进行拼接，得到特征信息。

所述将左、右特征图拼接成一个代价损失量矩阵具体为：通过在每个视差水平上将左特征图和对应的右特征图连接起来，形成一个高度×宽度×视差×通道的四维矩阵，得到代价损失量矩阵。

基于堆叠沙漏卷积网络对代价损失量矩阵进行融合得到代价损失值，其中所述堆叠沙漏卷积网络包括三个主要的沙漏网络，对沙漏网络的输出分别进行双线性插值处理得到代价损失值。