[发明专利]一种单视彩色图像深度图获得方法及装置

说明书

本发明公开了一种单视彩色图像深度图获得方法及装置，可以从输入的一张单视角彩色图像中提取预设尺度队列中的多个尺度下的初始特征图；对多个尺度中的任一尺度：在该尺度下将提取的多个尺度下的初始特征图进行融合，获得该尺度下的融合特征图；根据多个尺度中的最粗尺度下的初始特征图和所述最粗尺度下的融合特征图获得所述最粗尺度下的深度图；对多个尺度中的除所述最粗尺度外的任一尺度：根据该尺度下的融合特征图获得该尺度下的深度残差图，将该尺度下的深度残差图与预设尺度队列中上一尺度下的深度图融合后获得该尺度下的深度图；将所述多个尺度中最细尺度下的深度图确定为单视角彩色图像的深度图。本发明在定量和定性上均实现了最优的性能。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种单视彩色图像深度图获得方法及装置。

背景技术

最近几年，卷积神经网络已经在各种计算机视觉任务上已经取得了显著的效果，Eigen等人(David Eigen et al.,Depth map prediction from a single image using amulti-scale deep network.In Advances in Neural Information ProcessingSystems,2014.)是第一个将卷积神经网络用于单目深度估计上的，首先通过粗网络估计场景的全局结构，然后细网络利用CNN的底层特征的局部信息对全局结构进行优化，超越了几乎所有的传统算法。之后，随着全卷积网络在语义分割任务中被提出(Jonathan Long etal.,Fully convolutional networks for semantic segmentation.In IEEE Conferenceon Computer Vision and Pattern Recognition,2015.)，该网络被广泛的用于包括深度估计在内的许多其他的稠密的计算机视觉任务。

Laina等人是第一个利用全卷积神经网络的架构预测深度，其利用ResNet作为编码器的骨架网络，用于从图像中提取特征，并利用上投影块恢复出高分辨率下的深度图，显著改善了预测深度图的精度(IroLaina et al.,Deeper depth prediction with fullyconvolutional residual networks.In 3DV,IEEE,2016.)。同时为了改善预测深度图的局部细节，也有大量方法被提出。Li等人利用条件随机场作为深度估计的后处理步骤(Bo Liet al.,Depth and surface normal estimation from monocular images usingregression on deep features and hierarchical crfs.In IEEE Conference onComputer Vision and Pattern Recognition,2015.)。Xu等人在卷积神经网络中整合条件随机场预测深度(Dan Xu et al.,Multi-scale continuous CRFs as sequential deepnetworks for monocular depth estimation.In IEEE Conference on Computer Visionand Pattern Recognition,2017.)。随后，又在其拓展工作中将注意力机制整合到该网络中(Dan Xu et al.,Structured attention guided convolutional neural fields formonocular depth estimation.In IEEE Conference on Computer Vision and PatternRecognition,2018.)，这些方法均使得预测的深度图得到了改善。Fu等人利用多尺度的架构去缓解由于池化操作和带步长的卷积操作所引起的细节丢失(Huan Fu et al.,Deepordinal regression network for monocular depth estimation.In IEEE Conferenceon Computer Vision and Pattern Recognition,2018.)。Hao等人利用膨胀卷积也同样缓解了细节丢失的问题(ZhixiangHao et al.,Detail preserving depth estimation froma single image using attention guided networks.In 3DV,IEEE,2018.)，Hu等人提出一个有效的多尺度融合模块明显的改善了预测深度图的边缘(Junjie Hu et al.,Revisiting single image depth estimation:Toward higher resolution maps withaccurate object boundaries.In IEEE Winter Conference on Applications ofComputer Vision,2019.)。为了更好地恢复结构细节，一些方法也提出了一些新颖的损失函数去显式地约束场景几何。Zheng等人提出序数敏感归一化损失函数用于约束全局布局(Kecheng Zheng et al.,LA-Net:Layout-aware dense network for monocular depthestimation.In ACM Multimedia Conference on Multimedia Conference,2018.)。相似的，Fu等人提出利用序数回归损失函数有效的改善了预测精度(Huan Fu et al.,Deepordinal regression network for monocular depth estimation.In IEEE Conferenceon Computer Vision and Pattern Recognition,2018.)。Hu等人提出在损失函数中融合深度，梯度和法向显著改善了预测精度(Junjie Hu et al.,Revisiting single imagedepth estimation:Toward higher resolution maps with accurate objectboundaries.In IEEE Winter Conference on Applications of Computer Vision,2019.)。