[发明专利]一种基于车载单目摄像头的驾驶环境感知方法

权利要求书

1.一种基于车载单目摄像头的驾驶环境感知方法，其特征在于，包括：

S1、对上采样模块进行结构重参数化：包括训练阶段和推理阶段，其中，

在训练阶段，将上采样模块的一个转置卷积层扩充为多分支，其中一个分支使用线性插值算法，其他分支使用不同卷积核大小的转置卷积；

在推理阶段，将多分支的结构进行重参数化，无损的转化为单分支结构；

S2、自动驾驶多任务感知：通过多任务深度学习模型，实现基于单目摄像头的感知实时推理，完成目标检测、道路可行驶区域分割、车道线分割三个任务。

2.根据权利要求1所述的基于车载单目摄像头的驾驶环境感知方法，其特征在于，在S1中的训练阶段，线性插值通过添加1*1的卷积层，改变输出特征图的通道数；在每个上采样分支之后添加batch normalizaiton，进一步提高模型性能。

3.根据权利要求2所述的基于车载单目摄像头的驾驶环境感知方法，其特征在于，在S1中的在推理阶段，对于二倍上采样，训练时三个分支分别使用双线性插值接1*1卷积、2*2转置卷积、4*4转置卷积，且其后各连接batch normalization层；输入特征图经过上采样之后得到特征图

4.根据权利要求3所述的基于车载单目摄像头的驾驶环境感知方法，其特征在于，4×4转置卷积的卷积核为偏置由于是转置卷积，需要先填充再卷积，其卷积过程的卷积核为对应关系如公式1，先转置的前两维，再反转的后两维；

卷积之后在经过BN层进行归一化，在推理过程中，卷积将BN层参数进行融合，融合之后的转置卷积参数如公式2、3所示：

其中γ、β、σ、μ分别对应BN层的权重、偏置、方差和均值，得到权重W_4×4，最后经过公式3的变换得到最终的转置卷积权重

2×2转置卷积的卷积核为通过将2×2的卷积核外圈填充零值至4×4大小，再融合BN层的参数，得到权重

双线性插值接1*1卷积，其卷积核无偏置，而变换通道数的1×1卷积的卷积核偏置将得到的4×4转置卷积先和1×1卷积进行参数融合，得到的新权重如公式4、5所示：

W_bilinear←W_1×1×W_bilinear         (4)

b_bilinear←b_1×1                (5)

最后再融合BN层参数，得到权重

三个分支都独立地变换为4×4转置卷积后，将三个转置卷积的权重和偏置相加得到最终的结果，如公式6、7所示：

通过结构重参数化，将训练时的多分支复杂结构无损的压缩。

5.根据权利要求1所述的基于车载单目摄像头的驾驶环境感知方法，其特征在于，S2中，多任务深度学习模型的总体结构采用编码-解码网络结构，针对三个任务，分别使用不同的解码头部网络，并共享编码网络；编码网络又根据不同的作用和位置，划分为backbone网络和neck网络，backbone网络直接接受来自摄像头的输入，用来挖掘网络的浅层特征信息，neck网络接受来自backbone网络的特征信息，进行进一步的特征融合和特征提取，获取更深层次的特征信息，并传递给不同的解码网络。

6.根据权利要求5所述的基于车载单目摄像头的驾驶环境感知方法，其特征在于，所述Backbone网络采用ResNet，单目摄像头所拍摄到的图像经过缩放到640*340大小，经过多层残差结构，获得不同大小的特征图。