[发明专利]一种船舶船牌识别方法及系统

权利要求书

1.一种船舶船牌识别方法，其特征在于，包括下述步骤：

布设定焦广角摄像头和变焦跟踪摄像头，测量得到定焦广角摄像头安装位置的海拔高度，并获取变焦跟踪摄像头的初始PTZ值；

基于定焦广角摄像头和变焦跟踪摄像头采集船舶目标与船牌图片，在船舶目标与船牌图片框出船舶、船牌所在位置，并添加类型标签，得到船舶类型训练集和船牌训练集；

将添加类型标签后的船舶类型训练集、船牌训练集输入YOLOv4网络并进行训练，得到训练后的船舶类型识别模型和船牌检测模型；

将定焦广角摄像头获取视频流的每一帧图像输入训练后的船舶类型识别模型，识别出画面中是否存在船舶，以矩形框出识别出画面存在船舶的位置，并保存该船舶类型和置信度，当检测到新的船舶目标进入定焦广角摄像头监视范围，获取图像中该船舶目标在定焦广角摄像头画面中的位置，保存该船舶目标的类型和发现的时间；

基于船舶目标在定焦广角摄像头画面中的位置，根据船舶测速算法计算船舶的移动速度；

计算出船舶目标行进方向，获取检测到的船舶目标在画面中的坐标位置和画面中的长、高数据，计算以目标识别框高为边长的矩形框内的船头目标局部位置坐标；

获取计算出的画面局部位置坐标为目标，计算变焦跟踪摄像头画面居中并把目标放大至占整个画面所需的PTZ值；

根据更新后的PTZ值控制变焦跟踪摄像头转动，获取多张将船舶目标局部显示在画面中心且占整个画面的图片，采用船牌检测模型检测获取到的图片，若检测到具有船牌的图片，则获取船牌在图片中的矩形区域并抠取该区域图像，识别图像文字信息，得出文本文字。

2.根据权利要求1所述的船舶船牌识别方法，其特征在于，还包括摄像头调整步骤，以摄像头部署所在位置的摄像头画面中的固定景物作为参考点，通过参考点调整并匹配定焦广角摄像头和变焦跟踪摄像头初始画面视场达到一致。

3.根据权利要求1所述的船舶船牌识别方法，其特征在于，所述根据船舶测速算法计算船舶的移动速度，具体包括：

获取定焦广角摄像头俯视角、CMOS尺寸和初始PTZ值，根据摄像头成像原理，计算船舶目标到画面中点的夹角，计算出摄像头中点到目标角度，计算像素与实际距离的比值，获取船舶目标在画面中出现的第一帧位置，与当前位置的图像坐标差、时间差，计算船舶移动速度，具体表示为：

其中，V表示船舶移动速度，Δc表示第一帧位置与当前位置的图像坐标差，t表示第一帧位置与当前位置的图像的时间差，dp表示像素与实际距离的比值，h₁表示船舶识别框高度，h₂表示图像高度，abs表示求数据绝对值的函数，b表示船舶目标到画面中点的夹角，a表示定焦广角摄像头俯视角，H表示定焦广角摄像头安装位置的海拔高度。

4.根据权利要求1所述的船舶船牌识别方法，其特征在于，计算变焦跟踪摄像头画面居中并把目标放大至占整个画面所需的PTZ值，具体包括：

计算cmos成像像元尺寸，计算出的目标船头局部位置以及画面中长、高值，获取摄像头变焦倍数，计算实际焦距，计算当前摄像头焦距与像元长度比，计算放大目标所需的焦距；

计算出目标到CMOS中点的x，y方向的夹角，初始的P值加上x方向的夹角得到更新后的P值，初始的T值加上y方向的夹角得到更新后的T值；

基于初始视场角、初始视场角、目标识别框宽度和画面占比计算得到更新后的Z值，具体表示为：

其中，FOV表示初始视场角，FW表示视频帧宽度，BW表示目标识别框宽度，P表示画面占比。

5.根据权利要求1所述的船舶船牌识别方法，其特征在于，所述计算出船舶目标行进方向，具体通过船舶目标在画面中第一次出现的位置和当前在画面的位置X坐标值的差计算出目标行进方向。

6.根据权利要求1-5任一项所述的船舶船牌识别方法，其特征在于，还包括图片增强步骤，若检测到具有船牌的图片，则获取船牌在图片中的矩形区域并抠取该区域图像，并使用直方图均衡化算法增强图片对比度。