[发明专利]一种基于深度学习的三维模型重建技术

摘要

本发明公开了一种基于深度学习的三维模型重建技术，通过Kinect传感器对物体进行全方位的拍摄，获取物体的深度图像和彩色图像，对深度图像进行去噪和修复等图像增强过程，获得深度图像的二维信息，对深度图像进行点云计算，以场景的公共部分为基准对深度图像依次进行粗糙配准、精细配准、全局配准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中，计算出相应的平移向量与旋转矩阵，同时消除冗余信息，经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息，对点云数据进行融合处理，以获得更加精细的重建模型，计算机视觉知识推到出现实中物体的三维信息。

主权项

1.一种基于深度学习的三维模型重建技术，其特征在于：通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推到出现实中物体的三维信息；包括如下步骤：步骤一：旋转Kinect传感器对物体进行全方位的拍摄，获取物体的深度图像和彩色图像；步骤二：对获取的深度图像进行去噪和修复等图像增强过程，获取深度图像的二维信息，像素点的值是深度信息，表示物体表面到Kinect传感器之间的距离，以毫米为单位；步骤三：摄像机成像原理为基础，世界坐标系与图像像素坐标系之间具有下式的转换关系：由于fdx和fdy始终在一起步骤四：提取两帧图像之间的特征点，这种特征点可以是直线、拐点、曲线曲率等显示特征，也可以是自定义的符号、旋转图形、轴心等类型的特征，根据特征方程实现初步的配准，粗糙配准后的点云和目标点将处于同一尺度与参考坐标系内，通过自动记录坐标，的到粗匹配初始值；经过前一步粗配准，得到了变换估计值，将此值作为初始值，在经过不断收敛与迭代的精细配准后，达到更加精准的效果，基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，ICP算法能够获得精正确无误的配准结果，对自由形态曲面配准问题具有重要意义；通过对两帧精细配准结果，按照一定的顺序或一次性的进行多帧图像的配准，这两种配准方式分别称为序列配准和同步配准，配准过程中，匹配误差被均匀的分散到各个视角的多帧图像中，达到削减多次迭代引起的累积误差的效果；步骤五：经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息，需要对点云数据进行融合处理，以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格，网格把点云空间分割成极多的细小立方体，这种立方体叫做体素，通过为所有体素赋予SDF值，来隐式的模拟表面；SDF值等于此体素到重建表面的最小距离值，当SDF值大于零，表示该体素在表面前，当SDF小于零时，表示该体素在表面后，当SDF值越接近于零，表示该体素越贴近于场景的真实表面；鉴于TSDF算法采用了最小二乘法进行了优化，点云融合时又利用了权重值，所有该算法对点云数据有着明显的降噪功能；步骤六：表面生成的目的是为了构造物体的可视等值面，常用体素级方法直接处理原始灰度体数据，移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处，对于一个边界体素上一条棱边的两个端点而言，当其值一个大于给定的常数T，另一个小于T时，则这条棱边上一定有等值面的一个顶点；然后计算该体元中十二条棱和等值面的交点，并构造体元中的三角面片，所有的三角面片把体元分成了等值面内与等值面外两块区域，最后连接此数据场中的所有体元的三角面片，构成等值面，合并所有立方体的等值面便可生成完整的三维表面。