本发明公开了一种基于时间位移和注意力机制的考试异常行为识别方法,包括:获取待分类视频;对待分类视频进行预处理,得到待输入图像,待输入图像中包括多张图片;将待输入图像输入分类模型进行特征提取与学习得到每张图片的分类结果,所述分类模型包括时间位移模块和通道空间注意力模块;将每张图片的分类结果进行融合,得到待分类视频的分类结果。与现有技术相比,本发明通过在空间交换卷积双流网络中加入时空注意力机制,对通道间和空间的依赖关系进行显式建模,在关注重要特征的同时抑制次要特征,更有效地提取关键特征信息,提高了对于小尺度的动作及考试异常行为的识别效果。
1.一种基于时间位移和注意力机制的考试异常行为识别方法,其特征在于,包括:S1、获取待分类视频;步骤S1包括:S101、采集原始视频图像;S102、对原始视频图像进行分割得到单个考生视频图像;S103、将单个考生视频图像抽帧得到对应的帧序列,并按时间顺序将帧序列平均分为多个组;S104、从每个组中随机抽取一帧图片,组成新的帧序列代表待分类视频;S2、对待分类视频进行预处理,得到待输入图像,待输入图像中包括多张图片;步骤S2中,对待分类视频缩放、中心剪裁、归一化处理后得到待输入图像X,X=[x1,x2,x3,…,xn],x1至xn表示待分类视频中的第1至第n张图片;S3、将待输入图像输入分类模型进行特征提取与学习得到每张图片的分类结果,所述分类模型包括时间位移模块和通道空间注意力模块;所述分类模型主干网络采用残差网络ResNet,包括多个stage,每个stage包括多个Bottleneck,每个Bottleneck均包括时间位移模块和通道空间注意力模块;其中,对于分类模型的每个Bottleneck,时间位移模块利用存储在内存中的每个子网络对应层的Channels集合到一起,然后进行时间位移操作;经过时间位移操作后的特征图作三次卷积运算,也即一次Bottleneck运算,在Bottleneck后加入通道空间注意力模块,构成TS-CBAM模块;重复以上操作,最后即得到输出结果;还采用了注意力机制模块,注意力机制模块包括通道注意力模块和空间注意力模块;通道注意力模块中,将特征映射的每个通道被认为是特征检测器;空间注意力模块中,利用特征间的空间关系生成空间注意图;在Bottleneck的第一次卷积之前进行时间位移操作,在最后作一个卷积操作后加入通道空间注意力模块,最后将得到的注意力信息与上一个Bottlenck输出的结果相加,作为下一个Bottleneck的输入;S4、将每张图片的分类结果进行融合,得到待分类视频的分类结果;其中,融合各分组的特征,将通过多帧图像经过时间位移与注意力机制模块计算学习后得特征分别进行全连接后再分类,并将各组的分类结果通过融合,得到最终的分类结果。
本文链接:http://www.vipzhuanli.com/tech/sell/s_2311152.html,转载请声明来源钻瓜专利网。