[发明专利]融合知识蒸馏的生成回放框架式的持续型图像识别系统和方法

权利要求书

1.一种融合知识蒸馏的生成回放框架式的持续型图像识别方法，其特征在于，包括生成器和解决器；

所述生成器包括特征生成模型和图像生成模型，分别对应不同的持续型图像识别需求和场景；

所述解决器包括特征提取器和特征分类器，前者负责提取图像中的视觉特征，后者负责将特征向量分类；

所述特征生成模型包括特征判别器和特征生成器；

所述特征判别器进行特征判别和注意力概率判别；

所述图像生成模型包括图像判别器和图像生成器；

所述图像判别器进行图像判别和注意力特征图判别；

所述特征提取器包括风格共享层和风格特定层；

所述特征分类器用以最小化类别输出与样本标记的交叉熵；

根据注意力概率和蒸馏，对每一层的所有特征图的输出增加对应的重要性预测器：

其中，f(·)表示flatten或者全局最大值或均值池化转换函数；x_l表示特征提取器第l层的特征图输出；w_l表示第l个重要性预测器全连层的权重参数；b_l表示第l个重要性预测器全连层的偏置向量；

蒸馏包括概率蒸馏，公式为：

D₁(x)表示判别输入数据真假的二元交叉熵；D₂(·)表示判别变换数据真假的二元交叉熵；Z(·)为持续型图像识别框架的解决器中结合注意力的概率蒸馏；

蒸馏还包括注意力特征蒸馏，公式为：

R(·)为持续型图像识别框架中，图像在特征提取器中的注意力特征蒸馏加上图像判别之后的结果的加权平均；

图像判别器分别判别图像以及图像提取器中的注意力图；

所述融合知识蒸馏的生成回放框架式的持续型图像识别方法，执行如下步骤：

步骤1：创建并随机初始化新图像风格对应的特征提取器、特征分类器、特征生成器和图像生成器；

步骤2：冻结特征提取器的共享层以及其他特征提取器，将新特征提取器的风格特定层以及新的特征分类器联合训练至收敛；

步骤3：生成旧风格图像及对应的风格标签，并对旧风格图像的特征向量进行采样；

步骤4：使用采样的假特征标记当前任务的训练数据，对特征提取器的共享层、风格特定层进行联合训练；

步骤5：使用特征提取器的共享层采样新图像风格训练数据的特征图；

步骤6：使用特征图输出的加权平均与新风格图像，训练新风格的图像生成器；

步骤7：使用新图像风格的特征提取器，对新任务的训练数据进行特征采样，使用特征分类器对图像特征采样概率输出；

步骤8：使用特征分类器的概率输出与图像特征，训练新的图像特征生成器。