[发明专利]用于电子设备的神经网络模型的硬加速方法和装置

说明书

本发明公开了一种用于第一电子设备的神经网络模型的硬加速方法和装置，涉及人工智能中的深度学习技术领域。方法包括以下步骤：获取待识别数据和神经网络模型的配置参数；根据配置参数对待识别数据进行与神经网络模型相匹配的卷积计算的硬加速，得到神经网络模型对待识别数据的卷积结果；基于配置参数从预设的至少一个函数模块中调用与神经网络模型相匹配的至少一个函数模块对卷积结果进行函数计算的硬加速，得到神经网络模型对待识别数据的识别结果。本发明可以支持采用各种开源开发环境建立的神经网络模型，还支持用户自定义的神经网络模型；当神经网络模型的算法更新时，只需要重新配置第一电子设备的参数，而无需更改硬件设计。

技术领域

本发明涉及人工智能中的深度学习技术领域，尤其涉及一种用于第一电子设备的神经网络模型的硬加速方法和装置、以及一种用于第二电子设备的神经网络模型的辅助加速手段。

背景技术

过去几十年中，虽然CPU的计算性能一直在飞速提升，然而由于受到功耗、互连延时、设计复杂度等物理规律的限制，到2004年时，CPU的计算性能已经接近物理的极限(主频3.6GHZ左右)。在这种情况下，异构加速成为了获得更高性能的计算力的方法之一。所谓异构加速(Hybrid Acceleration)是指在CPU的基础上综合不同的加速设备实现更高性能的计算加速。常见的加速设备例如：GPU、FPGA或是ASIC等。

深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如：图像、声音和文本。近年来，随着人工智能的兴起，深度学习在图像识别、语音分析、和自然语言处理等相关领域得到了广泛的应用。深度学习是构建在海量的数据和超算能力基础之上的，其对计算力的要求非常高。因此，如何利用异构加速高效的实现神经网络处理系统受到了学术界和工业界的广泛关注。

发明人在实现本发明的过程中，发现现有技术在利用加速设备实现神经网络处理系统时，都是针对某个特定的神经网络模型的特点进行加速设备的硬件和软件设计，这种方法虽然可以获得更佳的计算性能，但是由于其是针对特定的神经网络模型进行设计的，且由于深度学习领域开源开发环境众多，有Tensorflow，Torch，Caffe，Theano，Mxnet，Keras等，一旦神经网络模型的算法有了更新或由于开发环境版本不同，就需要对加速设备重新进行硬件和软件的设计。由于加速设备的硬件开发周期都较长，一般都在几个月或是一年以上，造成加速设备的硬件更新速度远远低于神经网络模型的算法的迭代速度，现有这极大的阻碍了加速设备的广泛应用。

因此，现有技术中亟需一种当神经网络模型的算法改变时，加速设备跟随变化较小、通用性较强的神经网络的加速方法和装置。

发明内容

(一)发明目的

本发明的目的是提供一种当神经网络模型的算法改变时，加速设备跟随变化较小、通用性较强的神经网络的加速方法和装置。

(二)技术方案

为解决上述问题，本发明的第一方面提供了一种用于第一电子设备的神经网络模型的硬加速方法，包括：

获取待识别数据和第一神经网络模型的配置参数；

根据所述配置参数对所述待识别数据进行与所述第一神经网络模型相匹配的卷积计算的硬加速，得到所述第一神经网络模型对所述待识别数据的卷积结果；

基于所述配置参数从预设的至少一个函数模块中调用与所述第一神经网络模型相匹配的一个或多个函数模块对所述卷积结果进行函数计算的硬加速，得到所述第一神经网络模型对所述待识别数据的识别结果。