[发明专利]结合多模态数据融合和Multiplemix的水下目标检测方法

摘要

本发明公开了一种结合多模态数据融合和Multiplemix的水下目标检测方法，提出多模态数据融合，防止信息丢失的下采样网络SPDmix，卷积注意力融合网络CACmix，此外还提出新的损失函数和正负样本分配策略。该方法分别对输入的单模态RGB图像和单模态多光谱图像数据进行特征提取，并融合两种模态并输入到网络中，在下采样时，不丢弃特征，选择深度融合减少信息丢失。其次通过注意力融合机制赋予特征之间权重来侧重特征之间的交互，使网络学习局部特征的依赖关系。最后通过三个检测头来实现对目标的定位和分类。该发明能够减少网络特征提取过程中信息的丢失，有效的提高了网络的特征提取能力，实现了对水下目标更准确的检测。