[发明专利]生鲜商品的价格标注图像处理方法、销售及配送方法

摘要

本发明公开了一种生鲜商品的价格标注图像处理方法、销售及配送方法，价格标注图像处理方法包括如下步骤：S1将摊位货架上的生鲜商品分类放置；S2通过摄像头采集生鲜商品的图像，并将图像信息传输到控制系统；S3控制系统自动识别生鲜商品，并根据类别进行分割；S4对分割后的生鲜商品由控制系统进行自动名称标注或人工输入名称标注；S5人工手动输入生鲜商品的单价；S6将各种生鲜商品的图片、名称和单价信息传输到控制系统，并通过控制系统将这些信息传输到终端设备。本发明具有如下的有益效果：方便摊位主通过互联网上线本店生鲜商品及其名称、单价等，并能通过网上销售配送。

主权项

1.一种生鲜商品的价格标注图像处理方法，其特征是，包括如下步骤：S1将摊位货架上的生鲜商品分类放置；S2通过摄像头采集生鲜商品的图像，并将图像信息传输到控制系统；S3控制系统自动识别生鲜商品，并根据类别进行分割；S4对分割后的生鲜商品由控制系统进行自动名称标注或人工输入名称标注；S5生鲜商品的商品价格根据步骤S4的商品名称从数据库自动获取或人工手动输入，并自动标注到图片对应位置；S6将各种生鲜商品的图片、名称和单价信息传输到控制系统，并通过控制系统将这些信息传输到终端设备；其中，步骤S3中，具体方案如下：步骤S3.1首先对摄像头获取到的图像进行尺寸归一化处理，统一使用双立方插值重采样，长宽改变为512×512，按如下公式得到处理后图像：公式中，F为处理后图像，f为处理前图像，i，j为图像f的第i行和第j列，v代表图像F的第i行后面的第v行，u代表F的第j列后的第u列，r，c表示图像f的第r行和第c列；S为采样公式，具体内容图下：式中a为常数，可以取值为‑0.5，‑0.75或者‑1；步骤S3.2利用批量残差网络提取特征图；批量残差网络的结构如下：步骤S3.3提取特征图后，把得到的特征图用区域推荐网络进行处理；在特征图上，用尺寸为3×3的滑动窗口进行卷积操作，在窗口滑动过程中，每滑动到一个位置，以滑动窗口中心为中心，根据1:1，1:2和2:1三个长宽比得到9个靶窗；为了在训练时为每个靶窗分配标签，我们采用如下的损失函数：L(p_i，t_i)＝L_cls(p_i，t_i)+L_reg(p_i，t_i)+L_mask(p_i，t_i)式中，i为训练网络时，一个批次数据中靶窗的序号，p_i和分别为预测靶窗i和标注的靶窗i的分类概率，t_i和分别为预测的和标注好的靶窗i的坐标之张量表示，L_cls为分类损失函数，由靶窗的分类概率p_i决定；包围盒损失函数则L_reg由靶窗属于一个包围盒的4元向量计算得到；L_mask是遮罩损失函数，对于每个像素点取为阶跃函数，属于指定的类则为1，否则为0；L_cls为分类损失函数，由靶点的分类概率pi决定；二包围盒损失函数L_reg则由靶点属于一个包围盒的4元向量计算得到；L_mask是遮罩损失函数，对于每个像素点取为阶跃函数，属于指定的类则为1，否则为0；步骤S3.4在把特征图输入到区域推荐网络进行处理的同时，把特征图交给特征金字塔网络进行处理；在特征金字塔网络中，图像的特征图被处理为金字塔式的层状结构；步骤S3.5从区域推荐网络和特征金字塔网络出来后，根据区域推荐网络的感兴趣区域，即ROI的规范化后长宽参数根据下面的公式选择对应的特征图；式中k₀＝4，w，h分别为特征图的宽和高，根据k的计算结果，选择特征金字塔中的第k层特征图。步骤S3.6经过区域推荐网络后，得到了不同包围盒区域是哪种蔬菜，以及包围盒区域的具体位置。为了处理诸如放在一块的多个同种蔬菜(比如萝卜)被分为多个包围盒的情况，需要对相邻且为同一种蔬菜的多个包围盒进行合并，即为最后得到的每种蔬菜的包围盒位置；步骤S3.7在知道了包围盒的位置，且知道是哪种蔬菜，就可以在相应的位置标注相应的蔬菜名称和价格。