[发明专利]基于迁移学习和视频帧关联学习的视频分析方法

摘要

本发明公开了一种基于迁移学习和视频帧关联学习的视频内容分析方法，主要解决了现有视频内容分析方法需要大量人工标记以及视频分析中存在“黑洞”现象的问题。其实现步骤是：(1)依据运动预测和光流分析算法对标签进行视频帧之间的迁移；(2)利用现有的图像标注数据集对上述步骤中产生的“黑洞”现象进行跨媒体迁移学习；(3)利用马尔科夫随机场模型对单幅视频帧中对象空间分布进行先验知识建模；(4)在最大后验概率模型下将以上三步统一求解，得到最终的视频分析结果。本发明充分利用了视频中空‑时域信息，迁移学习方法将大规模的已标注图像数据信息迁移到视频域对“黑洞”进行补绘，从而取得更精准的视频内容的像素级自动标注结果。

主权项

1.一种基于迁移学习和视频帧关联学习的视频内容分析方法，其特征在于：包括以下步骤：(1)利用运动估计和光流场估计进行视频帧关联学习；(1a)计算前向映射函数，并以此为据，对下一帧的标签进行估计；其中，代表视频中第t帧的第i个超像素，L(·)表示超像素的类别信息，而f(·)为前向映射函数；(1b)计算反向映射函数，并以此为据，对上一帧的标签进行交叉验证；(1c)以(1a)和(1b)步骤得到的结果，构造能量函数，如下：通过上式得到视频的标签信息，其中包括某些像素无标签信息；(2)对步骤(1)产生的某些像素无标签信息，利用跨媒体迁移学习进行补绘，分为以下两种方法：(2a)基于近邻匹配的策略；对某些像素无标签信息区域进行视觉特征信息提取，然后利用K近邻在已标注的图像数据库中进行相似度计算，选取前K最近邻，将类别标签赋予像素无标签信息区域；具体可以表示为如下目标式：式中表示黑洞区域，s_i表示已知标签信息的图像区域；(2b)基于分类器的迁移策略。在已有的大规模图像标注数据集上对每类对象提取颜色统计特征、均值、方差量化指标以及LBP纹理特征等特征训练分类器，本方法中采用SVM分类器，然后对“黑洞”区域进行与上述相同的特征提取，再利用已训练好的分类器对其类别进行判断，进而确定其类别标签；分类器的训练方法如下：式中w_i为系数矩阵，b_i为偏移项；(3)将步骤(1)和步骤(2)中得到的函数公式相加，得到最终的目标优化函数式，然后在最大后验概率框架下进行统一优化求解；目标优化函数式可以归结为以下公式：其中，c^t为第t帧的类别标签图；p(.)代表概率分布；根据贝叶斯公式，对上式的一系列等价变换，最终得到最终的求解形式：式中s_i为第i个区域，c_i为第i个区域的类别标签。