融合胶囊相似性的单样本语义分割方法,涉及模式识别、图像处理以及计算机视觉等领域,本方法研究基于深度神经网络的单样本语义分割方法中不清楚的相似性映射问题以及该方法在PASCALVOC 2012数据集的图像语义分割任务中的应用。现有的基于深度神经网络的单样本语义分割方法能快速适应在未知类仅有一张标记图像的情形下完成查询图像的像素级语义类预测任务,但是该方法有时产生的相似性映射图不清楚,使得分割查询图像失败,本方法通过引入胶囊概念建立相似性映射,并设计一个相似性映射上的新边缘损失,与主交叉熵损失共同优化训练网络。基于本方法在PASCALVOC 2012数据集上mIoU值达到58.2%,与原始方法相比,其语义分割的准确率更高,具有一定的实用价值。
1.融合胶囊相似性的单样本语义分割方法,其特征在于,该方法包括如下步骤:S1、特征提取器的构建:S1.1、导入预训练的特征提取器;S1.2、输入支持图像到特征提取器得到支持图像的中级特征和高级特征;S1.3、输入查询图像到特征提取器得到查询图像的中级特征和高级特征;S2、基于胶囊的相似性映射生成器的构建:S2.1、分别将查询图像高级特征和掩码后的支持图像高级特征转化成查询胶囊和支持胶囊;S2.2、计算每个查询胶囊与所有支持胶囊的余弦相似性,取最大值作为每个查询胶囊在相似性向量中的对应元素;S2.3、重塑相似性向量形成相似性矩阵即相似性映射;S3、卷积预测模块的构建:S3.1、对支持图像中级特征执行三个连续操作并调整尺寸,对相似性映射调整尺寸,对查询图像中级特征执行卷积操作,拼接这三个张量以备送入卷积预测模块;步骤S3.1具体过程为:首先用1×1卷积过滤查询图像中级特征,随后,支持图像中级特征需执行三个连续操作:1×1卷积、支持掩码乘积和全局平均池化;然后依照过滤后的查询图像中级特征张量的大小,将运算后的支持图像中级特征和相似性映射都调整成相等尺寸;最后拼接三个同尺寸张量并输入给卷积预测模块;S3.2、建立卷积预测模块结构;S3.3、产生卷积预测模块输出即查询图像的预测分割结果;S3.4、通过相似性映射图和目标分割图间的边缘损失以及预测分割图和目标分割图间的主交叉熵损失共同优化并训练单样本语义分割网络。
本文链接:http://www.vipzhuanli.com/tech/sell/s_2309569.html,转载请声明来源钻瓜专利网。