[发明专利]神经网络的动态裁剪方法、装置及存储介质

权利要求书

1.一种神经网络的动态裁剪方法，其特征在于，包括：

设定裁剪率目标、裁剪范围、裁剪对象及裁剪阶段个数，所述裁剪范围为对神经网络中的特定层进行裁剪，既可以单独对整个网络中的某些层裁剪，也可以对网络中的特定层的特定滤波器进行裁剪，还可以对整个网络中所有基于内积运算的网络层进行裁剪；

根据所述裁剪率目标和裁剪阶段个数，确定每个裁剪阶段的裁剪率目标；

根据神经网络原始模型的网络训练参数和所述裁剪阶段个数，确定每个裁剪阶段的网络训练参数，包括：

根据神经网络原始模型的训练迭代次数以及所述裁剪阶段数量，确定每个裁剪阶段的训练迭代次数；

根据神经网络原始模型的训练迭代次数、训练参数以及每个裁剪阶段前裁剪累计训练迭代次数，确定每个裁剪阶段的初始化训练参数；

基于每个裁剪阶段的网络训练参数，按裁剪阶段进行网络训练，并在每个裁剪阶段中，根据对应裁剪阶段的裁剪率目标，对所述裁剪范围内的所述裁剪对象进行裁剪。

2.如权利要求1所述的方法，其特征在于，所述裁剪对象包括如下对象之一：权重的连接、滤波器和卷积核。

3.如权利要求1所述的方法，其特征在于，确定的每个裁剪阶段的训练迭代次数为M_i，所述M_i＝α×M/N；其中，M为原始训练迭代次数，N为裁剪阶段的个数，α为设置的迭代次数影响因子，1≤i≤N。

4.如权利要求1所述的方法，其特征在于，所述根据神经网络原始模型的训练迭代次数、训练参数以及每个裁剪阶段前裁剪累计训练迭代次数，确定每个裁剪阶段的初始化训练参数，包括：

根据神经网络的原始训练迭代次数和训练参数，估算出原始训练过程中任意迭代周期的训练参数；

确定当前裁剪阶段前的裁剪累计训练迭代次数所匹配的所述迭代周期，根据匹配的所述迭代周期对应的训练参数，估算出当前裁剪阶段更新点对应的初始化训练参数。

5.如权利要求1所述的方法，其特征在于，所述对所述裁剪范围内的所述裁剪对象进行裁剪，具体包括：

在每个所述裁剪阶段中，在每次迭代训练前，基于概率函数和当前网络训练状态，确定裁剪操作的概率；其中，所述概率函数为随着迭代次数的增加而逐渐下降的函数；

当所述裁剪操作的概率大于指定阈值时，对所述裁剪范围内的所述裁剪对象进行裁剪。

6.如权利要求5所述的方法，其特征在于，所述指定阈值包括：随机数产生器产生的数与随机数产生器所产生的数的上限的比值。

7.如权利要求5所述的方法，其特征在于，所述基于概率函数和当前网络训练状态，确定裁剪操作的概率，包括：

通过所述概率函数，生成一个基准的裁剪动作激发概率；

根据当前网络的训练状态，确定裁剪概率影响因子，所述裁剪概率影响因子小于等于1；

将所述激发概率与所述裁剪概率影响因子相乘，得到所述裁剪操作的概率。

8.如权利要求7所述的方法，其特征在于，所述根据当前网络的训练状态，确定裁剪概率影响因子，包括：

通过停滞检测判断网络是否处于训练停滞状态，若是，则将所述裁剪概率影响因子设置为小于第一阈值的值；否则，将所述裁剪概率影响因子设置为大于第二阈值的值；其中，第二阈值大于等于第一阈值。

9.如权利要求1或5所述的方法，其特征在于，所述对所述裁剪范围内的所述裁剪对象进行裁剪，具体包括：

确定所述裁剪范围内的所述裁剪对象的重要性；

根据当前阶段的裁剪率目标，设定所述裁剪对象的裁剪阈值；

将所述裁剪对象的重要性与所述裁剪阈值进行比较，并根据比较结果，更新所述裁剪对象的连接状态。