[发明专利]一种基于极限学习机的ELM-IN-ELM框架集成学习算法

摘要

本发明公开了一种基于极限学习机的ELM‑IN‑ELM框架集成学习算法，ELM‑IN‑ELM框架能够自动学习组合不同的单个极限学习机模型，本方法采用ELM算法学习到的参数来组合不同的ELM输出计算最后的结果，它包括两个阶段：单个的ELM训练和融合参数学习。本发明所述ELM‑IN‑ELM框架自动地学习怎样组合不同的ELM分类器在小网络上以实现更高的性能，通过最小化分类误差和网络权重范数，将会在一个更紧凑的神经网络上获得更好的泛化性能。其他的ELM集成模型可以视为ELM‑IN‑ELM的特殊情况，使得ELM‑IN‑ELM成为基于ELM集成的一个统一的框架。几个修改和扩展应用到ELM‑IN‑ELM模型中，可以改善模型性能以解决其他问题。

主权项

1.一种基于极限学习机的ELM‑IN‑ELM框架集成学习算法，其特征在于：ELM‑IN‑ELM框架能够自动学习组合不同的单个极限学习机模型，本方法采用ELM算法学习多个ELM模型的融合参数，进而通过组合各个单个ELM模型的输出来计算最后的结果，它包括两个阶段：第一阶段是单个的ELM训练，训练M个独立的ELM模型，输入：数据集X，目标T，单个模型数目M，隐含层节点数L输出：ELM‑IN‑ELM模型参数产生随机输入权重W(m)和偏差b(m)计算隐含层输出矩阵H(m)＝G(XW(m)+b(m))计算输出权重计算输出O(m)＝H(m)β(m)，m＝1,2，……，M其中G(·)是任意非线性分段连续函数，同时满足ELM通用逼近能力定理；第二阶段是基于第一个阶段的学习，计算每一个模型的输出值，然后学习多个ELM模型的融合参数；将所有单个模型输出的级联作为一个全部ELM模型的隐藏矩阵Hg,Hg＝[O(1)O(2)…O(M)]式中O(m)是第m个模型的输出；如果所有的ELM模型有同样的大小，则H_g是一个N*MC矩阵；所计算的融合参数为全部ELM模型的输出权重是一个MC*C的矩阵，表示M个不同ELM模型贡献给最后结果的组合权重；ELM‑IN‑ELM模型被其参数W^(m),b^(m),β^(m),m＝1,2,...M以及输出权重F完全定义；每一个输出权重F_m是一个C×C矩阵，表示第m个单个模型和最后输出之间的连接，ELM‑IN‑ELM的输出为：ELM‑IN‑ELM输出是不同ELM输出的线性组合。