使用scikit-learn进行特征选择

scikit-learn中提供了用于特征选择的模块feature_selection，主要方法包括方差移除法，卡方检验法，基于L1的特征选择和基于树的特征选择。

开始前的准备工作

首先导入所需的库文件，这里只导入numpy和pandas，后面在过程中会陆续导入所需的库文件。

#导入所需的库文件

import numpy as np

import pandas as pd

#读取并设置数据表

data=pd.DataFrame(pd.read_excel(‘fs.xlsx’))

#设置特征和目标

X = np.array(data[[‘loan_amnt’, ‘funded_amnt_inv’, ‘installment’, ‘annual_inc’, ‘dti’,’inq_last_6mths’, ‘open_acc’, ‘revol_bal’, ‘revol_util’, ‘total_acc’,’total_pymnt’, ‘total_rec_prncp’,’total_rec_int’]])

y = np.array(data[‘loan_status’])

特征数据标准化

导入数据预处理库对特征进行标准化处理。

#导入数据预处理库

from sklearn import preprocessing

#范围0-1缩放标准化

min_max_scaler = preprocessing.MinMaxScaler()

X_scaler=min_max_scaler.fit_transform(X)

#查看特征的维度

X_scaler.shape

(27, 13)

原始特征的维度为27行，13列。

移除方差较低的特征

导入特征选择库中的VarianceThreshold用于通过方差选择特征。方差为0的特征会被自动移除。剩下的特征按设定的方差的阈值进行选择。

#导入sklearn库中的VarianceThreshold

from sklearn.feature_selection import VarianceThreshold

#设置方差的阈值为0.8

sel = VarianceThreshold(threshold=.08)

#选择方差大于0.8的特征

X_sel=sel.fit_transform(X_scaler)

X_sel.shape

(27, 5)

单变量特征选择-卡方检验

导入特征选择库中的SelectKBest和chi2用来计算特征与结果间的相关性，并选择相关性最高的特征。

#导入sklearn库中的SelectKBest和chi2

from sklearn.feature_selection import SelectKBest ,chi2

#选择相关性最高的前5个特征

X_chi2 = SelectKBest(chi2, k=5).fit_transform(X, y)

X_chi2.shape

(27, 5)

基于L1的特征选择

导入LinearSVC和特征选择库中的SelectFromModel，基于L1进行特征选择。

#导入sklearn库中的LinearSVC和SelectFromModel

from sklearn.svm import LinearSVC

from sklearn.feature_selection import SelectFromModel

#基于L1的LinearSVC选择特征

lsvc = LinearSVC(C=0.01, penalty=”l1″, dual=False).fit(X_scaler, y)

model = SelectFromModel(lsvc, prefit=True)

X_lsvc = model.transform(X_scaler)

X_lsvc.shape

(27, 0)

基于树的特征选择

导入SelectFromModel结合ExtraTreesClassifier计算特征重要性，并按重要性阈值选择特征。

#导入sklearn的ExtraTreesClassifier和SelectFromModel

from sklearn.ensemble import ExtraTreesClassifier

from sklearn.feature_selection import SelectFromModel

#基于树模型进行模型选择

clf = ExtraTreesClassifier()

clf = clf.fit(X, y)

#特征重要性(数值越高特征越重要)

clf.feature_importances_

array([ 0.09125597, 0.08141056, 0.04023573, 0.06036499, 0.05710406,

0.04654329, 0.00897838, 0.07429618, 0.09712373, 0.07771509,

0.18477631, 0.10875497, 0.07144073])

#选择特征重要性为1.25倍均值的特征

model = SelectFromModel(clf, threshold=’1.25*mean’,prefit=True)

#返回所选的特征

X_trees = model.transform(X)

X_trees.shape

(27, 6)