[发明专利]基于知识蒸馏和量化的预训练模型压缩方法及系统在审
| 申请号： | 202310610091.X | 申请日： | 2023-05-26 |
| 公开（公告）号： | CN116629328A | 公开（公告）日： | 2023-08-22 |
| 发明（设计）人： | 俞凯;邵航;王巍;刘贝;龚勋;王浩宇;钱彦旻 | 申请（专利权）人： | 思必驰科技股份有限公司 |
| 主分类号： | G06N3/0495 | 分类号： | G06N3/0495;G06N3/096;G06N3/045 |
| 代理公司： | 北京商专永信知识产权代理事务所(普通合伙) 11400 | 代理人： | 黄谦;侯晓艳 |
| 地址： | 215123 江苏省苏州市苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供一种基于知识蒸馏和量化的预训练模型压缩方法及系统。该方法包括：将预训练模型确定为教师模型，对教师模型的预测层和中间隐层进行量化操作，确定出教师模型与用于表示压缩后模型的学生模型的量化损失；通过量化损失确定教师模型至学生模型的隐层匹配映射函数，基于隐层匹配映射函数从教师模型中动态选择学生模型需要学习的蒸馏层，并确定对应的蒸馏损失；至少基于量化损失以及蒸馏损失对学生模型进行量化训练。本发明实施例在知识蒸馏和量化互相指导的过程中通过量化损失来指导蒸馏层的选取，选取对学生模型最适合量化的层来进行蒸馏，通过蒸馏损失来指导量化层的选取，选取最适合量化的层来进行量化，保证性能没有损失。 | ||
| 搜索关键词： | 基于 知识 蒸馏 量化 训练 模型 压缩 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于思必驰科技股份有限公司，未经思必驰科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310610091.X/，转载请声明来源钻瓜专利网。
