[发明专利]基于关键帧序列和行为信息的两阶段行为识别方法及系统

说明书

本发明公开了一种基于关键帧序列和行为信息的两阶段行为识别方法及系统，通过计算视频帧的稀疏表示结果之间的相似度，筛选掉相似的相邻帧，获得关键帧序列；使用行为类别标签的行为信息计算类别之间的相似度，并将所有的行为类别划分为若干个大类；构建两阶段的行为识别方法模型并训练，第一阶段的训练使网络具有粗分类的能力，第二阶段的训练使网络具有细分类的能力；最后使用训练好的模型对视频进行识别。本发明获取了视频的关键帧序列作为输入数据，使其包含更多的信息，并利用行为类别标签的信息，将网络训练过程和识别过程划分为两个阶段，最终使网络的学习过程更加容易，并提升了识别准确率。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于关键帧序列和行为信息的两阶段行为识别方法及系统。

背景技术

随着计算机算力的提升，以及流媒体的发展，视频数据越来越多，人们已经不满足于计算机对图像数据的处理能力。人们希望计算机也能像处理图像数据那样处理视频数据，解析视频数据中所包含的信息，所以视频分析成为了人工智能领域中急需解决的重要问题。行为识别是视频分析的内容之一，它也被称为动作识别，其目的是从一个包含完整动作的视频里分析人的行为，识别出视频中人所做出的动作类别。和静态图像中的物体识别不同的是，行为识别的研究对象不是静态的，而是动态的视频数据，所以它需要关注到视频中人或物体的时空运动变化才能进行有效的识别，数据也从静态图像的二维空间变换到动态视频的三维时空，所以行为识别的复杂性远高于图像识别。

目前基于深度学习的行为识别方法各有不同。其中基于3D卷积网络的行为识别方法因为能同时对视频的时间信息和空间信息进行建模，表现出了不错的识别效果。基于3D卷积网络的行为识别方法都是使用一个深度网络作为特征提取器对输入视频帧序列提取特征，然后使用分类器对特征进行分类得到行为类别。但是这一类方法因为使用的3D卷积，所以计算量和参数量都比较大，问了减少计算量，只能减小输入视频帧序列的长度，并且这些方法大多采用随机截取固定长度视频帧序列的方法来获取输入视频帧序列，这容易使输入视频帧序列包含过多冗余的信息。另外，目前基于3D卷积网络的行为识别方法都是端到端的对网络模型进行训练，直接让网络习数据与真实标签的对应关系，这可能会增加网络学习的难度。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供基于关键帧序列和行为信息的两阶段行为识别方法及系统，通过引入行为类别标签的行为信息，将网络学习过程和预测分为两个阶段，并且利用图像的稀疏表示进行关键帧挑选，使输入视频帧序列包含更多的信息，进而使最终的识别准确率提升。

本发明采用以下技术方案：

一种基于关键帧序列和行为信息的两阶段行为识别方法，包括以下步骤：

S1、对数据集中的所有视频V^all逐个进行关键帧选择，得到所有视频对应的关键帧序列F^all，然后将所有视频划分为训练视频V^train和测试视频V^test，对应的关键帧序列分为F^train和F^test；

S2、计算视频中的所有行为类别之间的相似度，获得类别相似性矩阵S；

S3、根据步骤S2得到的相似性矩阵S将行为类别C中的N个类别划分为K个大类；

S4、构造基于关键帧的两阶段行为识别网络模型，两阶段行为识别网络模型包括一阶段特征提取器G₁、一阶段分类器Class₁、二阶段特征提取器G₂和二阶段分类器Class₂，将步骤S1训练视频对应的关键帧序列F^train和对应的标签Y^train分批次送入两阶段行为识别网络模型中，利用步骤S3划分的K个大类进行训练，每个批次的大小为B；