[发明专利]一种基于全卷积网络的车道线检测方法

摘要

本发明提供了一种基于全卷积网络的车道线检测方法，涉及交通信息检测领域，本发明对全卷积车道线检测网络的输出特征图进行概率运算，得到输入图片中每块区域出现车道线的概率，并设定预测概率阈值，实现车道线的提取与检测。本发明能够同时实现直线型车道线和弯曲型车道线的检测，使用车道线检测损失函数对全卷积车道线检测网络进行训练，提升车道线的检测效果，卷积神经网络从车道线分类数据集中学习车道线的抽象特征，而不是简单地提取车道线的外部特征；只需存储车道线检测网络模型就能够实现对新输入图像的检测，节省存储空间，适用于车载嵌入设备；采用小型浅层的全卷积车道线检测网络进行检测加速，检测速度较快。

主权项

1.一种基于全卷积网络的车道线检测方法，其特征在于包括下述步骤：第一步：构建车道线分类网络车道线分类网络由三个卷积层、三个池化层和两个全连接层构成，车道线分类网络的输入限制为为n×n像素大小且包含车道线的图片，输出为输入图片中所包含车道线的类别序号，序号0代表背景区域，序号1代表黄色实线，序号2代表黄色虚线，序号3代表白色实线，序号4代表白色虚线，车道线分类网络中每个卷积层之后均连接一个池化层，并且每个卷积层与激活函数相连，第一个全连接层与最后一个池化层相连，并与激活函数相连，即车道线分类网络具体结构按照卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3，全连接层1、全连接层2顺序相连，卷积层1、卷积层2、卷积层3及全连接层均分别与激活函数相连，损失层和准确率层同时与全连接层2相连，损失层与准确率层二者之间不相连，并且，标签信息需要作为底层输入连接到损失层与准确率层，车道线分类网络中池化层的池化方式采用MAX池化方式，MAX池化方式将池化核覆盖范围内像素点的最大值作为池化结果，对特征图实现降维；第二步：训练车道线分类网络模型在车道线分类数据集上对第一步中构建的车道线分类网络进行训练，得到车道线分类网络模型，原始视频序列中的车道线标记信息包括车道线的类别信息及车道线边界点在视频帧中的像素点位置信息，利用车道线的边界点位置信息进行直线拟合，得到车道线两条边线的边界方程，然后依据标记信息在两条边线上选取坐标点形成矩形框，利用矩形框将原始视频序列中对应位置的车道线区域截取出来，截取的车道线区域均保存为n×n大小的图片，与第一步中分类网络的输入图片大小一致，将截取的车道线区域图片制作为lmdb数据库格式的车道线分类数据集，车道线分类数据集包含训练集和测试集，在训练集上对车道线分类网络进行训练，在测试集上对所得模型的效果进行检验，得到车道线分类网络模型；第三步：将车道线分类网络中的全连接层修改为卷积层，构建全卷积车道线检测网络，并将第二步中得到的车道线分类网络模型转化为初始化检测网络模型，用于初始化全卷积车道线检测网络，车道线分类网络的图片输入像素大小为n×n，结合车道线分类网络结构及表1所示分类网络参数设置；表1车道线分类网络结构及参数配置网络层卷积核个数卷积核大小步长补零卷积层1325×512激活函数132------池化层1322×220卷积层2325×512激活函数232------池化层2322×220卷积层3643×311激活函数364-----池化层3642×220全连接层164------激活函数4--------全连接层25------损失层--------准确率层--------将由全连接层1转化而来的转化卷积层1的卷积核的大小设为4×4，由全连接层2转化而来的转化卷积层2的卷积核的大小设为1×1，由全连接层转化得到的卷积层的卷积核个数与原全连接层的输出个数保持一致；所述车道线分类网络模型转化为初始化检测网络模型的步骤为：将车道线分类网络模型中全连接层的参数矩阵展开成列向量，然后将该列向量中的元素值依次赋给由全卷积车道线检测网络中对应由全连接层转化而来的转化卷积层参数矩阵展开的列向量中的元素，全卷积车道线检测网络中其余层的参数直接由分类网络模型获得，得到初始化检测网络模型，初始化检测网络模型将作为全卷积车道线检测网络的初始模型，应用于全卷积车道线检测网络的训练过程；第四步：训练车道线检测网络模型利用第三步中得到的初始化检测网络模型中的参数对全卷积车道线检测网络中各网络层的参数进行对应赋值，完成检测网络的初始化，并利用车道线检测损失在检测数据集上对全卷积车道线检测网络进行训练，由于车道线检测任务需要识别车道线的类别以及车道线在图像中的位置，检测损失包括分类损失和回归损失，回归损失即位置损失，车道线检测损失定义L如式(1)所示：L＝αLC+βLR (1)其中，α代表分类损失在检测损失中的比例系数，β代表回归损失在检测损失中的比例系数，LC为分类损失，LR为回归损失；分类损失代表预测标签与真实数据之间的损失，分类损失定义如式(2)所示： L C = 1 M × H × W Σ i = 1 M Σ k = 1 K Σ h = 1 H Σ w = 1 W | | p ( i , k , h , w ) - g ( i , k , h , w ) | | 2 - - - ( 2 ) ]]>其中，M代表检测网络输入图片的个数，K代表标签矩阵的通道个数，与车道线含背景区域的类别总数保持一致，H代表网络末端卷积层输出特征图的高度，W代表网络末端卷积层输出特征图的高度，H和W与标签矩阵中每个通道中子矩阵的高度和宽度一致，g(i,k,h,w)代表真实数据标签数组中(i,k,h,w)处的标签值，表示第i张输入图片经过卷积之后的特征图上(h,w)处标签类别为k的概率，标签数组中数值为0或1，“0”代表(h,w)处的标签类别不是k，“1”代表(h,w)处的标签类别是k，当k为0时，代表背景区域，当k为1时，代表黄色实线，当k为2时，代表黄色虚线，当k为3时，代表白色实线，当k为4时，代表白色虚线；p(i,k,h,w)表示第i张输入图片经过卷积之后的特征图上(h,w)处类别k的预测概率，概率值为(0,1]区间之内的小数，检测损失层使用Softmax算法将输入的特征图转化为预测概率矩阵，特征图上每个像素点预测概率的计算方法如式(3)所示： p ( i , k , h , w ) = exp { y ( i , k , h , w ) } Σ c = 1 K exp { y ( i , c , h , w ) } - - - ( 3 ) ]]>其中，y(i,c,h,w)＝y'(i,c,h,w)-max(y'(i,k,h,w)),k∈{0,1,2,3,4}，y'(i,c,h,w)代表输入的第i张卷积特征图(h,w)位置上通道序号为c的像素点的值，max(y'(i,k,h,w))代表第i张特征图(h,w)位置上五个通道之中像素点的最大值，k为对特征图通道进行遍历时的通道序号，由于每张特征图包含5个通道，因此k在{0,1,2,3,4}中取值；回归损失代表检测网络预测的车道线位置与标签数据中车道线位置之间损失，利用式(3)中的预测概率能够判断特征图中车道线的位置，然后通过与标签数据中的车道线位置进行比较计算回归损失，所述比较的详细步骤为：选定特征图中的某一行，将此行中预测出现车道线的列位置保存在向量P即预测位置向量中，将输入标签数据对应行中出现车道线的列位置存在向量L即标签位置向量中，所述列位置即横坐标，然后求解P和L之间的L2损失，即可得到特征图中某一行的回归损失，输出的回归损失可由特征图上所有行的回归损失求和计算平均值获得，计算方式如式(4)所示： L R = 1 M × H × W Σ i = 1 M Σ k = 1 K Σ h = 1 H | | D ( j ( i , k , h ) - g ′ ( i , k , h ) ) | | 2 - - - ( 4 ) ]]>其中，D(j(i,k,h)-g'(i,k,h))为预测位置向量j(i,k,h)和标签位置向量g'(i,k,h)作差得到的向量，j(i,k,h)代表第i张图片输出特征图中第h行类别为k的列位置的集合，即预测位置向量，将特征图中每个像素点的预测概率p(i,k,h,w)与预测概率阈值进行比较，并将比较结果记为t(i,k,h,w)，当p(i,k,h,w)大于预测概率阈值，则将t(i,k,h,w)记为1，否则，将t(i,k,h,w)记为0，若t(i,k,h,w)＝1，则将w存入j(i,k,h)中，t(i,k,h,w)的定义如式(5)所示： t ( i , k , h , w ) = 1 p ( i , k , h , w ) ≥ p t 0 p ( i , k , h , w ) < p t - - - ( 5 ) ]]>其中，pt代表预测概率阈值，用于判别当前像素点是否属于车道线类别k，t(i,k,h,w)为“1”时代表第i张特征图上的(h,w)被分类为车道线类别k，t(i,k,h,w)为“0”时代表(h,w)处不属于车道线类别k，k为0时代表背景区域，g'(i,k,h)是标签位置向量，获取过程与j(i,k,h)相似，区别为检测数据集中的标签数据已经提供标签概率0或1，直接对标签数据g(i,k,h,w)进行0和1的判别，如果g(i,k,h,w)值为1，则将w保存到g'(i,k,h)中，如果g(i,k,h,w)值为0，则对w不予保存；||D(j(i,k,h)-g'(i,k,h))||2代表预测位置向量j(i,k,h)和标签位置向量g'(i,k,h)之间的L2损失，即向量D(j(i,k,h)-g'(i,k,h))模的平方，||D(j(i,k,h)-g'(i,k,h))||2的计算分为以下四种情况，所述元素为车道线的信息：●j(i,k,h)中没有元素，g'(i,k,h)中没有元素：说明预测位置向量与标签位置向量都没有车道线出现，则||D(j(i,k,h)-g'(i,k,h))||2＝0；●j(i,k,h)中没有元素，g'(i,k,h)中有元素： | | D ( j ( i , k , h ) - g ′ ( i , k , h ) ) | | 2 = Σ w ∈ g ′ ( i , k , h ) ( - w / W ) 2 | w / W | < | 1 - w / W | ( 1 - w / W ) 2 | w / W | > | 1 - w / W | - - - ( 6 ) ]]>●j(i,k,h)中有元素，g'(i,k,h)中没有元素： | | D ( j ( i , k , h ) - g ′ ( i , k , h ) ) | | 2 = Σ w ∈ j ( i , k , h ) ( w / W ) 2 | w / W | < | 1 - w / W | ( w / W - 1 ) 2 | w / W | > | 1 - w / W | - - - ( 7 ) ]]>●j(i,k,h)中有元素，g'(i,k,h)中有元素： | | D ( j ( i , k , h ) - g ′ ( i , k , h ) ) | | 2 = Σ w ∈ j ( i , k , h ) { ( w / W - w ′ / W ) 2 | w - w ′ | < | w - w ′ ′ | ∀ w ′ ′ ∈ g ′ ( i , k , h ) w ′ ∈ g ′ ( i , k , h ) - - - ( 8 ) ]]>式(6)至式(8)中，只要预测位置向量j(i,k,h)有元素，则w代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量g'(i,k,h)有元素，则w代表标签位置向量g'(i,k,h)中的元素，W代表网络末端卷积层输出特征图的宽度，式(8)中，w”为标签位置向量g'(i,k,h)中的任意元素，w'为标签位置向量g'(i,k,h)的元素，且w'与w值作差所得差值的绝对值均小于标签位置向量g'(i,k,h)中其他元素与w值作差所得差值的绝对值，经过对标签向量g'(i,k,h)中的任意元素w”进行遍历，找到g'(i,k,h)中与w值作差所得差值的绝对值最小的元素，即为w'，对于在j(i,k,h)和g'(i,k,h)中没有出现过的列坐标，将网络末端卷积层输出特征图中与其对应点的回归损失部分置为0；本发明根据反向传播算法对全卷积车道线检测网络进行训练，利用车道线检测损失的导数进行网络更新，网络更新梯度计算方式如式(9)所示： ∂ L ∂ y ( i , k , h , w ) = α ∂ L C ∂ y ( i , k , h , w ) + β ∂ L R ∂ y ( i , k , h , w ) - - - ( 9 ) ]]>更新梯度中分类损失的导数计算方式如式(10)所示： ∂ L C ∂ y ( i , k , h , w ) = b × e y ( i , k , h , w ) ( Σ c = 1 C y ( i , c , h , w ) ) 2 ( p ( i , k , h , w ) - g ( i , k , h , w ) ) - - - ( 10 ) ]]> b = ( Σ c = 1 C y ( i , c , h , w ) ) - y ( i , k , h , w ) - - - ( 11 ) ]]>C代表网络末端卷积层输出特征图的总通道数，c代表网络末端卷积层输出特征图的通道序号；根据||D(j(i,k,h)-g'(i,k,h))||2的定义形式，回归损失导数计算如下：●j(i,k,h)中没有元素，g'(i,k,h)中没有元素： ∂ L R 2 y ( i , k , h , w ) = 0 - - - ( 12 ) ]]>●j(i,k,h)中没有元素，g'(i,k,h)中有元素： ∂ L R ∂ y ( i , k , h , w ) = - w / W | w / W | < | 1 - w / W | 1 - w / W | w / W | > | 1 - w / W | w ∈ g ′ ( i , k , h ) - - - ( 13 ) ]]>●j(i,k,h)中有元素，g'(i,k,h)中没有元素： ∂ L R ∂ y ( i , k , h , w ) = w / W | w / W | < | 1 - w / W | w / W - 1 | w / W | > | 1 - w / W | w ∈ j ( i , k , h ) - - - ( 14 ) ]]>●j(i,k,h)中有元素，g'(i,k,h)中有元素： ∂ L R ∂ y ( i , k , h , w ) = w / W - w ′ / W | w / w ′ | < | w - w ′ ′ | , ∀ w ′ ′ ∈ g ′ ( i , k , h ) w ′ ∈ g ′ ( i , k , h ) , w ∈ j ( i , k , h ) - - - ( 15 ) ]]>式(12)至式(15)中，只要预测位置向量j(i,k,h)有元素，则w代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量g'(i,k,h)有元素，则w代表标签位置向量g'(i,k,h)中的元素，W代表网络末端卷积层输出特征图的宽度，式(15)中，w”为标签位置向量g'(i,k,h)中的任意元素，w'为标签位置向量中g'(i,k,h)的元素，且w'与w值作差所得差值的绝对值均小于标签位置向量g'(i,k,h)中其他元素与w值作差所得差值的绝对值，经过对标签向量g'(i,k,h)中的任意元素w”进行遍历，找到g'(i,k,h)中与w值作差所得差值的绝对值最小的元素，即为w'，对于在j(i,k,h)和g'(i,k,h)中没有出现过的列坐标，将网络末端卷积层输出特征图中与其对应点的回归损失部分的导数置为0；将计算检测损失的过程作为检测损失层的正向传播过程，将计算车道线检测损失导数的过程作为检测损失层的误差逆传播过程，并将分类损失的比例系数、回归损失的比例系数及预测概率阈值作为检测损失层的层参数，通过设置检测损失层的层参数在检测数据集上利用后向传递算法对全卷积车道线检测网络进行训练，得到车道线检测网络模型，利用所得车道线检测网络模型实现对车道线的检测。