[发明专利]一种基于空洞卷积堆叠网络的半监督光流学习方法

摘要

本发明提供了一种基于卷积神经网络的半监督学习光流方法，属于网络设计领域。本发明提供的方法可以针对带标签和无标签的混合数据进行训练，并设计一种遮挡感知损失函数，将用于监督学习的端点误差代价函数与用于非监督学习的数据项和平滑项相结合，构建一种半监督学习光流模型，在网络架构上采用堆叠网络结构，在卷积层引入空洞卷积来增大感受野，并设计遮挡感知层来估计遮挡区域，该网络能够端到端地进行半监督光流学习。本发明提供的方法能够提高光流估计精度，并且还提出一种遮挡感知损失函数来半监督训练网络，在网络架构上设计一种堆叠网络结构从而进一步提升网络性能。

主权项

1.一种基于空洞卷积堆叠网络的半监督光流学习方法，其特征在于：步骤一、构建第1个光流学习子网络，并命名为SA‑Net_1，SA‑Net_1光流学习网络采用全卷积架构，由收缩和扩张2个部分构成，收缩部分首先对2幅图像分别采用4层标准卷积操作提取特征图，之后将2幅特征图输入相关层进行特征匹配以及合并，再通过4层空洞卷积层提取光流特征，扩张部分包含4层反卷积层，将收缩部分提取的光流恢复成原始图像分辨率；步骤二、构建第2个光流学习子网络，并命名为SA‑Net_2，SA‑Net_2光流学习网络采用全卷积架构，由收缩和扩张2部分组成，输入层将2幅图像堆叠后输入网络，网络通过4层标准卷积层和4层空洞卷积层提取图像对之间的光流，收缩部分由4层反卷积层组成，将收缩部分提取的光流恢复成原始图像分辨率；步骤三、构建2个堆叠网络，在SA‑Net_1子网络之后连接2个SA‑Net_2子网络从而构成第1个堆叠网络，每个子网络连接处采用变形技术将第2幅图像向第1幅图像变形，之后将变形后的图像和第1幅图像作为下一个子网络的输入，计算2幅图像的光流增量；第2个堆叠网络与第1个堆叠网络共享网络架构和参数，第1个堆叠网络的输入端输入t时刻与t+1时刻的2幅图像，提取图像对之间的正向光流，同时将t与t+1时刻的图像对调顺序输入到第2个堆叠网络中，提取图像对之间的反向光流；步骤四、训练2个堆叠网络，其中只需要训练第1个堆叠网络，第2个网络共享其更新后的网络权重，在同步训练2个堆叠网络对应位置的子网络时，扩张部分的每1层分别输出不同分辨率的正向光流和反向光流，将每一层的正向光流和反向光流同时输入遮挡感知层，通过一致性校验函数判别出遮挡区域，直到正向光流恢复至原始分辨率后停止正反一致性校验；步骤五、设计一种遮挡感知损失函数，可以半监督学习网络，将用于监督学习的端点误差代价函数与用于非监督学习的数据项和平滑项相结合，既可以对带标签数据训练，也可以对无标签的数据训练，其中数据项是基于图像结构纹理分解以及Census变换来设计恒常假设，采用基于图像驱动的各向同性扩散来设计平滑项，损失函数通过反向传播端对端地半监督训练网络；步骤六、训练阶段，首先在网络输入端输入大量无标签数据，通过对损失权重求和得到总损失，之后利用反向传播算法训练网络，得到初始的网络权重，之后用少量带标签数据训练网络，得到最后的网络模型；步骤七、利用训练好的模型进行测试，输入为图像对，输出为对应的光流。