[发明专利]一种三维空间坐标估计方法、装置、终端和存储介质

说明书

本发明实施例公开了一种三维空间坐标估计方法、装置、终端和存储介质。该方法包括：获取二维视频的标记图像帧中的标记点对应的二维像素坐标；根据像素坐标系与相机坐标系之间的第一转换关系，确定于相机坐标系下二维像素坐标对应的第一映射直线；根据世界坐标系与相机坐标系之间的第二转换关系、预设筛选规则、以及于世界坐标系下的三维世界点云，确定于相机坐标系下的目标相机点；根据与预设筛选规则相对应的预设估计规则、第一映射直线以及目标相机点，确定于相机坐标系下标记点对应的相机三维空间坐标。本发明实施例的技术方案，可以提高三维空间坐标的估计准确度，并降低硬件成本。

技术领域

本发明实施例涉及计算机视觉技术，尤其涉及一种三维空间坐标估计方法、装置、终端和存储介质。

背景技术

在计算机视觉研究领域中，通常需要估计二维视频中某张二维图像帧上的某个标记点对应的三维空间坐标。例如，在基于增强现实的远程指导中，需要确定远程端的指导人员在某张二维图像帧上的标记点对应的三维空间坐标，以使现场端的操作人员可以看到三维立体的标记点，便于操作准确。

通常，利用两种估计方法来确定标记点对应的三维空间坐标。第一种估计方法是：在根据SLAM(Simultaneous Localization And Mapping)算法创建三维点云后，利用重建的三维点云拟合出一个世界坐标系下的平面，然后通过坐标系的映射关系，将标记点的像素坐标映射到拟合出的世界坐标系下的平面上，确定与该标记点对应的映射点，最后根据该平面在世界坐标系下的表达式，反推出该映射点在世界坐标系下的三维坐标。第二种估计方法是：利用RGB(Red Green Blue)摄像头和深度摄像头分别采集二维图像和深度图像，计算标记点的像素坐标对应的在深度图像中的深度像素坐标，然后从该深度像素坐标获取深度信息，从而可以推算出在世界坐标系下该标记点对应的三维空间坐标。

然而，对于第一种估计方法，无论二维视频中的标记点是否在平面上，该标记点的三维空间坐标均会落到强行拟合出来的平面上，从而在计算画面中非平面上的标记点对应的三维空间坐标时，会出现很大的偏差，估计准确度较差。例如，在应用场景是在一个桌面上的话，由于桌面不是绝对平面的，桌面上可能有各种摆设、办公用具等，这些物体都是具有深度信息，使得拟合出来的平面经常会漂浮在空中，从而导致二维视频中标记点对应的三维空间坐标的估计出现很大偏差。

对于第二种估计方法，由于需要在RGB摄像头外增加一个深度摄像头，从而大大增加了硬件的成本。同时，在已有的硬件上，若没有深度摄像头，则无法使用该种方法，使得该种方法的实用限制较大。

可见，目前急需一种只利用一个普通RGB摄像头来更加准确的确定标记点对应的三维空间坐标的技术方案。

发明内容

本发明实施例提供了一种三维空间坐标估计方法、装置、终端和存储介质，以提高估计准确度，并降低硬件成本。

第一方面，本发明实施例提供了一种三维空间坐标估计方法，包括：

获取二维视频的标记图像帧中的标记点对应的二维像素坐标；

根据像素坐标系与相机坐标系之间的第一转换关系，确定于所述相机坐标系下所述二维像素坐标对应的第一映射直线；

根据世界坐标系与所述相机坐标系之间的第二转换关系、预设筛选规则、以及于所述世界坐标系下的三维世界点云，确定于所述相机坐标系下的目标相机点，其中所述三维世界点云和所述第二转换关系根据所述二维视频和预设重建算法确定；

根据与所述预设筛选规则相对应的预设估计规则、所述第一映射直线以及所述目标相机点，确定于所述相机坐标系下所述标记点对应的相机三维空间坐标。

第二方面，本发明实施例还提供了一种三维空间坐标估计装置，包括：

二维像素坐标获取模块，用于获取二维视频的标记图像帧中的标记点对应的二维像素坐标；