[发明专利]一种神经网络加速器模型量化方法在审
申请号: | 202111456207.6 | 申请日: | 2021-12-02 |
公开(公告)号: | CN114139683A | 公开(公告)日: | 2022-03-04 |
发明(设计)人: | 凡军海;朱国权;杨方超;陆启明;金孝飞;孙世春;章明;何煜坤;马德;胡有能 | 申请(专利权)人: | 之江实验室;浙江大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06F7/57 |
代理公司: | 杭州浙科专利事务所(普通合伙) 33213 | 代理人: | 孙孟辉;杨小凡 |
地址: | 310023 浙江省杭州市余*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种神经网络加速器模型量化方法,包括如下步骤:步骤一、训练一个Float32型CNN模型;步骤二、量化模型权重值;步骤三、通过在校准数据集上进行模型推理计算,统计不同网络层输出值大小范围;步骤四、计算量化因子,基于得到的量化权重值与量化因子,根据不同网络层的量化推理计算方式,进行INT8量化推理计算。整个推理过程为INT8型计算,能够大幅提升模型在神经网络加速器上的推理速度,且使用YOLOv3模型测试量化后INT8模型较原Float32模型精度损失非常小。 | ||
搜索关键词: | 一种 神经网络 加速器 模型 量化 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室;浙江大学,未经之江实验室;浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202111456207.6/,转载请声明来源钻瓜专利网。