[发明专利]面向行人图像的人体骨架热图引导的图像描述算法

摘要

本发明提供了一种面向行人图像的人体骨架热图引导的图像描述算法，所述方法包括以下步骤：使用人体骨架点热图提取方法得到行人的骨架点热图特征矩阵；采用图像特征提取方法将原图像送入特征提取网络生成原图全局特征矩阵；将骨架点热图特征矩阵和原图全局特征矩阵加权线性叠加生成特征融合矩阵；利用得到的视觉特征融合矩阵与行人图片参考文本的特征向量进行图像细粒度调节，进行模型训练，得到训练模型；将行人图像送入训练好的基于人体骨架热图识别模块的图像描述链式模型，得到行人图像描述结果。本发明针对目前基于行人图像描述方法可能会面临特征覆盖不全、描述不准确的问题，选择人体骨架热图识别的方式弥补了这些缺陷，从而提高了网络的特征发掘能力和融合能力，提高行人图像描述的精确度与细粒度。