[发明专利]一种基于混合特征KDE条件熵的特征选择方法

摘要

本发明提供一种新的基于混合特征KDE条件熵的特征选择方法，该方法提出了混合特征KDE概率和混合特征KDE熵，在不将连续数据离散的情况下将离散特征和连续特征有效统一于KDE熵中，拓展了信息理论并提出了基于混合特征KDE条件熵的贪心特征选择方法。

主权项

一种基于混合特征KDE条件熵的特征选择方法，其特征在于，包括如下步骤：步骤一，输入包括决策特征D的数据集U，其中，数据集U有n个样本，决策特征D＝{1,2,...,N}，离散特征向量Α＝{A1,A2,...,Am}，连续特征向量X＝{X1,X2,...,Xt}，窗宽参数h，停止阈值T；步骤二，设已选择的特征集为B，未选择的特征集为E，初始值设为E＝A∪X，每选择一个特征前后的条件熵之差步骤三，通过特征集E中的每一属性S和特征集B中的所有属性建立临时特征集B′，执行以下步骤；步骤四，对于B′中连续特征集X′的每一种取值x，和决策属性集D中的每一种取值d以及B′中离散特征集A′的每一种取值a，计算KDE概率和步骤五，通过步骤四中获得KDE概率计算基于混合特征KDE条件熵和以及基于混合特征KDE联合熵其中记为离散属性集A′的值域，为连续属性集X′的值域，为决策集D的值域；步骤六，选择条件熵最小的属性加入到特征集B中，获得已选属性B＝B∪{S*},并从未选择的特征集中删除E＝E‑{S*}；步骤七，通过步骤六中B＝B∪{S*}获得加入新属性前后的条件熵之差，即步骤八，判断步骤七中条件熵之差是否大于阈值T并且特征集B中的特征个数小于数据集总的特征数，即如果满足条件，返回步骤三；否则输出特征集B。