[发明专利]基于双重空间池化金字塔的立体匹配方法

说明书

本发明公开了一种基于双重空间金字塔的立体匹配方法，主要解决现有双目立体匹配方法中缺失多尺度语义信息及无法充分提取特征的纹理信息与整体信息的问题，其实现方案为：获取双目立体匹配训练样本集T与验证样本集V；分别建立特征提取网络E、代价聚合网络R以及视差回归网络G，并将级联构成双目立体匹配网络S；使用训练样本集T，通过随机梯度下降法对该双目立体匹配网络S进行训练；将验证样本集V输入到训练好的双目立体匹配网络S^t中，得到立体匹配的结果Iⁱ_pred。本发明提升了立体匹配方法在语义边缘处、纹理复杂区域的匹配精度，有效地减少了匹配结果中的离群点，有效提高了立体匹配结果的准确性，可用于对双目相机获取的图像与视频进行视差估计。

技术领域

本方法属于计算机视觉技术领域，更进一步涉及一种立体匹配方法，可用于对双目相机获取的图像与视频进行视差估计。

背景技术

双目视觉是计算机视觉领域的一个重要方向，其中的立体匹配任务又是双目视觉中最重要的子任务之一。立体匹配指对双目相机获取的二维双目图像进行极线矫正，通过对校正后的二维双目图像进行特征点匹配以获取三维场景下的视差值及深度信息。其基本原理是在左右目图像中查找双目图像的对应点，获取左右目图像中对应点相对的横坐标之差的绝对值，便可获得视差值。利用视差值与相机的焦距、双目相机的基线距离可进一步获得三维的深度信息。立体匹配方法建立在空间几何结构的基础上，具有求解速度快、硬件成本低等优势。

传统的立体匹配方法分为了全局方法与半全局方法两类。全局方法基于平滑性假设构造全局能量函数，并利用最优化方法求解能量函数的最小值点。该方法运算量大、用时长、实时性差。半全局方法利用局部信息，通过计算特定大小匹配窗口内的总匹配代价，利用赢家通吃WTA策略查找最小值最终得到视差值。该方法受窗口大小影响较大，窗口过小会造成无法包含物体的全部纹理信息产生多义性，窗口过大则会在深度非连续区域产生膨胀效应，且增大计算量。

随着计算机技术的发展，人工智能领域的深度学习得到了迅速的发展，相比传统的立体匹配方法，基于深度学习的立体匹配方法具有更强的特征表达能力与特征学习能力，且具有可并行化的优点。使用深度学习的立体匹配方法通过基于卷积神经网络的构建，以及不断的训练与基于反向传播的梯度更新，可以完成对立体匹配网络的建立，实现一次性完成立体匹配的功能。

北京理工大学在申请号为202110550638.2，公开号为113177565A的专利文献中提出了“一种基于图像金字塔距离度量的近邻传播立体匹配方法”，其实现步骤如下：1)对左图和右图组成的立体图像对进行特征提取，并利用距离度量的方式进行配对；2)对图像进行连续的二倍下采样，并对下采样之后的图像进行匹配；3)选取匹配正确的像素点对，向相邻像素点传播匹配结果。该方法使用特征匹配构建的约束来寻找匹配点，但是由于只针对输入的左右目图像对构建图像金字塔并获取特征，无法对图像更深层次的语义、纹理等信息进行充分的提取，得到的匹配结果精度较差。

山东大学在申请号为202110281313.9，公开号为112991420A的专利文献中提出了“一种视差图的立体匹配特征提取及后处理方法”，其实现步骤如下：1)使用卷积核进行立体匹配特征的提取，并使用卷积核金字塔特征提取法；2)使用4路径代价聚合方法对卷积网络输出的特征进行聚合；3)使用内部型左右一致性检查对视差图进行左右一致性检测，对无效视差点进行填充从而获得最终的视差图。该方法存在的不足之处是：将卷积神经网络仅用于特征提取部分，未构建端到端的网络进行学习与训练，不利于算法对视差的进一步学习以及降低模型的训练难度；同时其使用的代价聚合算法复杂度高，且不易于进行并行处理与加速，最终输出的视差图精度较低、耗时较长。