[发明专利]标记优化、标记、轨迹规划方法、装置及系统

说明书

本申请涉及一种标记优化、标记、轨迹规划方法、装置及系统。其中，标记优化方法包括获取预测标记；获取预测标记的候选标记和/或候选标记示意；基于至少候选标记和/或候选标记示意，求取优化标记和/或优化标记的关联信息。采用本申请的技术方案通过基于至少候选标记和/或候选标记示意对预测标记进一步优化，得到优化标记和/或优化标记关联信息，从而可以提高标记和/或标记关联信息的精度。

技术领域

本申请涉及图像自动标记优化技术领域，特别是涉及一种标记优化、标记、轨迹规划方法、装置及系统。

背景技术

随着科技水平的提高，基于人工智能、图像处理等的图像的自动标记技术得到快速发展和广泛应用。

以人工智能为例，将2D或3D等初始图像输入预先经过训练的自动标记模型，可以输出目标物关联的关键特征的预测标记结果。

如图2A或2B所示，为一个实施例中标记系统的结构框图。以左、右两个图像传感器210、220(简称“双目”相机)为例，基于双目相机210、220分别采集得到目标物M的左图和右图，将左图和右图发送给终端110，终端110用于获取左图和右图，并将左图和右图输入已经训练好的自动标记网络模型，输出标注了2D预测标记的左标记图L1和右标记图L2(如图3A所示)，针对该左标记图L1和右标记图L2中的2D预测标记a1-a8，基于三角测量的方法进行投影，从而得到三维空间中的目标物M关联的3D关键点A1-A8的预测。

但是，应当看到的是，目前基于自动标记模型等输出的预测标记往往存在一定的误差，进而使得基于此生成的3D关键点等预测标记的关联信息(比如:3D关键点)也存在误差。

发明内容

有鉴于此，本发明提供一种标记优化、标记、轨迹规划方法、装置及系统。

本发明第一方面提供一种标记优化方法，所述标记优化方法包括：获取预测标记；获取所述预测标记的候选标记和/或候选标记示意；基于至少所述候选标记和/或所述候选标记示意，求取优化标记和/或所述优化标记的关联信息。

在一个实施例中，所述基于至少所述候选标记，求取优化标记和/或所述优化标记的关联信息包括：获取第一标记优化模型；将所述预测标记和所述候选标记输入所述第一标记优化模型，输出所述优化标记和/或所述优化标记的关联信息。

在一个实施例中，所述候选标记示意为概率预测图；所述基于至少所述候选标记示意，求取优化标记和/或所述优化标记的关联信息包括：获取第二标记优化模型；将所述预测标记和所述概率预测图输入所述第二标记优化模型，输出所述优化标记和/或所述优化标记的关联信息。

在一个实施例中，所述候选标记示意为概率预测图；所述候选标记为所述预测标记的邻域内的候选标记；所述基于至少所述候选标记和所述候选标记示意，求取所述优化标记和/或所述优化标记的关联信息包括：获取第三标记优化模型；将所述预测标记、及所述候选标记和所述概率预测图输入所述第三标记优化模型，输出所述优化标记和/或所述优化标记的关联信息。

在一个实施例中，所述优化标记为符合几何约束信息的优化标记。

在一个实施例中，所述获取所述预测标记的候选标记之前包括：优化所述预测标记，使得所述预测标记满足几何约束信息。

在一个实施例中，所述优化预测标记，使得所述预测标记满足几何约束信息包括：基于所述预测标记，求取预测关键点的姿态；获取约束关键点的姿态；所述约束关键点为满足所述几何约束信息的关键点；求取所述约束关键点的姿态和所述预测关键点的姿态的最优变换关系；基于所述最优变换关系，将所述约束关键点投影在所述标记图上，得到满足所述几何约束信息的所述预测标记。

在一个实施例中，所述获取所述预测标记的候选标记之前包括：结合概率预测图，优化所述预测标记。