1 特征選擇的目的

機(jī)器學(xué)習(xí)中特征選擇是一個(gè)重要步驟，以篩選出顯著特征、摒棄非顯著特征。這樣做的作用是：

減少特征（避免維度災(zāi)難），提高訓(xùn)練速度，降低運(yùn)算開(kāi)銷；

減少干擾噪聲，降低過(guò)擬合風(fēng)險(xiǎn)，提升模型效果；

更少的特征，模型可解釋性更好。

2 特征選擇方法

特征選擇方法一般分為三類：

2.1 過(guò)濾法--特征選擇

通過(guò)計(jì)算特征的缺失率、發(fā)散性、相關(guān)性、信息量、穩(wěn)定性等指標(biāo)對(duì)各個(gè)特征進(jìn)行評(píng)估選擇，常用如缺失情況、單值率、方差驗(yàn)證、pearson相關(guān)系數(shù)、chi2卡方檢驗(yàn)、IV值、信息增益及PSI等方法。

2.1.1 缺失率

通過(guò)分析各特征缺失率，并設(shè)定閾值對(duì)特征進(jìn)行篩選。閾值可以憑經(jīng)驗(yàn)值（如缺失率《0.9）或可觀察樣本各特征整體分布，確定特征分布的異常值作為閾值。

特征缺失率

miss_rate_df = df.isnull（）.sum（）.sort_values（ascending=False） / df.shape［0］

2.1.2 發(fā)散性

特征無(wú)發(fā)散性意味著該特征值基本一樣，無(wú)區(qū)分能力。通過(guò)分析特征單個(gè)值的最大占比及方差以評(píng)估特征發(fā)散性情況，并設(shè)定閾值對(duì)特征進(jìn)行篩選。閾值可以憑經(jīng)驗(yàn)值（如單值率《0.9， 方差》0.001）或可觀察樣本各特征整體分布，以特征分布的異常值作為閾值。

分析方差

var_features = df.var（）.sort_values（）

特征單值率

sigle_rate = {}

for var in df.columns：

sigle_rate［var］=（df［var］.value_counts（）.max（）/df.shape［0］）

2.1.2 相關(guān)性

特征間相關(guān)性高會(huì)浪費(fèi)計(jì)算資源，影響模型的解釋性。特別對(duì)線性模型來(lái)說(shuō)，會(huì)導(dǎo)致擬合模型參數(shù)的不穩(wěn)定。常用的分析特征相關(guān)性方法如：

方差膨脹因子VIF：

方差膨脹因子也稱為方差膨脹系數(shù)（Variance Inflation），用于計(jì)算數(shù)值特征間的共線性，一般當(dāng)VIF大于10表示有較高共線性。

from statsmodels.stats.outliers_influence import variance_inflation_factor

截距項(xiàng)

df［‘c’］ = 1

name = df.columns

x = np.matrix（df）

VIF_list = ［variance_inflation_factor（x，i） for i in range（x.shape［1］）］

VIF = pd.DataFrame（{‘feature’：name，“VIF”：VIF_list}）

person相關(guān)系數(shù)：

用于計(jì)算數(shù)值特征兩兩間的相關(guān)性，數(shù)值范圍［-1，1］。

import seaborn as sns

corr_df=df.corr（）

熱力圖

sns.heatmap（corr_df）

剔除相關(guān)性系數(shù)高于threshold的corr_drop

threshold = 0.9

upper = corr_df.where（np.triu（np.ones（corr_df.shape）， k=1）.astype（np.bool））

corr_drop = ［column for column in upper.columns if any（upper［column］.abs（） 》 threshold）］

Chi2檢驗(yàn)

經(jīng)典的卡方檢驗(yàn)是檢驗(yàn)類別型變量對(duì)類別型變量的相關(guān)性。Sklearn的實(shí)現(xiàn)是通過(guò)矩陣相乘快速得出所有特征的觀測(cè)值和期望值，在計(jì)算出各特征的 χ2 值后排序進(jìn)行選擇。在擴(kuò)大了 chi2 的在連續(xù)型變量適用范圍的同時(shí)，也方便了特征選擇。

from sklearn.datasets import load_iris

from sklearn.feature_selection import SelectKBest

from sklearn.feature_selection import chi2

x， y = load_iris（return_X_y=True）

x_new = SelectKBest（chi2， k=2）.fit_transform（x， y）

2.1.3 信息量

分類任務(wù)中，可以通過(guò)計(jì)算某個(gè)特征對(duì)于分類這樣的事件到底有多大信息量貢獻(xiàn)，然后特征選擇信息量貢獻(xiàn)大的特征。常用的方法有計(jì)算IV值、信息增益。

信息增益

如目標(biāo)變量D的信息熵為 H（D），而D在特征A條件下的條件熵為 H（D|A），那么信息增益 G（D ， A） 為：

信息增益（互信息）的大小即代表特征A的信息貢獻(xiàn)程度。

from sklearn.feature_selection import mutual_info_classif

from sklearn.datasets import load_iris

x， y = load_iris（return_X_y=True）

mutual_info_classif（x，y）

IV

IV值（Information Value），在風(fēng)控領(lǐng)域是一個(gè)重要的信息量指標(biāo)，衡量了某個(gè)特征（連續(xù)型變量需要先離散化）對(duì)目標(biāo)變量的影響程度。其基本思想是根據(jù)該特征所命中黑白樣本的比率與總黑白樣本的比率，來(lái)對(duì)比和計(jì)算其關(guān)聯(lián)程度?！綠ithub代碼鏈接】

2.1.4 穩(wěn)定性

對(duì)大部分?jǐn)?shù)據(jù)挖掘場(chǎng)景，特別是風(fēng)控領(lǐng)域，很關(guān)注特征分布的穩(wěn)定性，其直接影響到模型使用周期的穩(wěn)定性。常用的是PSI（Population Stability Index，群體穩(wěn)定性指標(biāo)）。

PSI

PSI表示的是實(shí)際與預(yù)期分布的差異，SUM（ （實(shí)際占比 - 預(yù)期占比）* ln（實(shí)際占比 / 預(yù)期占比） ）。

在建模時(shí)通常以訓(xùn)練樣本（In the Sample， INS）作為預(yù)期分布，而驗(yàn)證樣本作為實(shí)際分布。驗(yàn)證樣本一般包括樣本外（Out of Sample，OOS）和跨時(shí)間樣本（Out of Time，OOT）【Github代碼鏈接】

2.2 嵌入法--特征選擇

嵌入法是直接使用模型訓(xùn)練得到特征重要性，在模型訓(xùn)練同時(shí)進(jìn)行特征選擇。通過(guò)模型得到各個(gè)特征的權(quán)值系數(shù)，根據(jù)權(quán)值系數(shù)從大到小來(lái)選擇特征。常用如基于L1正則項(xiàng)的邏輯回歸、Lighgbm特征重要性選擇特征。

基于L1正則項(xiàng)的邏輯回歸

L1正則方法具有稀疏解的特性，直觀從二維解空間來(lái)看L1-ball 為正方形，在頂點(diǎn)處時(shí)（如W2=C， W1=0的稀疏解），更容易達(dá)到最優(yōu)解?？梢?jiàn)基于L1正則方法的會(huì)趨向于產(chǎn)生少量的特征，而其他的特征都為0。

from sklearn.feature_selection import SelectFromModel

from sklearn.linear_model import LogisticRegression

x_new = SelectFromModel（LogisticRegression（penalty=“l(fā)1”， C=0.1））.fit_transform（x， y）

基于樹(shù)模型的特征排序

基于決策樹(shù)的樹(shù)模型（隨機(jī)森林，Lightgbm，Xgboost等），樹(shù)生長(zhǎng)過(guò)程中也是啟發(fā)式搜索特征子集的過(guò)程，可以直接用訓(xùn)練后模型來(lái)輸出特征重要性。

import matplotlib.pyplot as plt

from lightgbm import plot_importance

from lightgbm import LGBMClassifier

model = LGBMClassifier（）

model.fit（x， y）

plot_importance（model， max_num_features=20， figsize=（10，5），importance_type=‘split’）

plt.show（）

feature_importance = pd.DataFrame（{

‘feature’： model.booster_.feature_name（），

‘gain’： model.booster_.feature_importance（‘gain’），

‘split’： model.booster_.feature_importance（‘split’）

}）.sort_values（‘gain’，ascending=False）

當(dāng)特征數(shù)量多時(shí)，對(duì)于輸出的特征重要性，通常可以按照重要性的拐點(diǎn)劃定下閾值選擇特征。

2.3 包裝法--特征選擇

包裝法是通過(guò)每次選擇部分特征迭代訓(xùn)練模型，根據(jù)模型預(yù)測(cè)效果評(píng)分選擇特征的去留。一般包括產(chǎn)生過(guò)程，評(píng)價(jià)函數(shù)，停止準(zhǔn)則，驗(yàn)證過(guò)程，這4個(gè)部分。

（1） 產(chǎn)生過(guò)程（ Generation Procedure ）是搜索特征子集的過(guò)程，首先從特征全集中產(chǎn)生出一個(gè)特征子集。搜索方式有完全搜索（如廣度優(yōu)先搜索、定向搜索）、啟發(fā)式搜索（如雙向搜索、后向選擇）、隨機(jī)搜索（如隨機(jī)子集選擇、模擬退火、遺傳算法）。（2） 評(píng)價(jià)函數(shù)（ Evaluation Function ） 是評(píng)價(jià)一個(gè)特征子集好壞程度的一個(gè)準(zhǔn)則。（3） 停止準(zhǔn)則（ Stopping Criterion ）停止準(zhǔn)則是與評(píng)價(jià)函數(shù)相關(guān)的，一般是一個(gè)閾值，當(dāng)評(píng)價(jià)函數(shù)值達(dá)到這個(gè)閾值后就可停止搜索。（4） 驗(yàn)證過(guò)程（ Validation Procedure ）是在驗(yàn)證數(shù)據(jù)集上驗(yàn)證選出來(lái)的特征子集的實(shí)際效果。

首先從特征全集中產(chǎn)生出一個(gè)特征子集，然后用評(píng)價(jià)函數(shù)對(duì)該特征子集進(jìn)行評(píng)價(jià)，評(píng)價(jià)的結(jié)果與停止準(zhǔn)則進(jìn)行比較，若評(píng)價(jià)結(jié)果比停止準(zhǔn)則好就停止，否則就繼續(xù)產(chǎn)生下一組特征子集，繼續(xù)進(jìn)行特征選擇。最后選出來(lái)的特征子集一般還要驗(yàn)證其實(shí)際效果。

RFE

RFE遞歸特征消除是常見(jiàn)的特征選擇方法。原理是遞歸地在剩余的特征上構(gòu)建模型，使用模型判斷各特征的貢獻(xiàn)并排序后做特征選擇。

from sklearn.feature_selection import RFE

rfe = RFE（estimator，n_features_to_select，step）

rfe = rfe.fit（x， y）

print（rfe.support_）

print（rfe.ranking_）

雙向搜索特征選擇

鑒于RFE僅是后向迭代的方法，容易陷入局部最優(yōu)，而且不支持Lightgbm等模型自動(dòng)處理缺失值/類別型特征，便基于啟發(fā)式雙向搜索及模擬退火算法思想，簡(jiǎn)單碼了一個(gè)特征選擇的方法【Github代碼鏈接】，如下代碼：

“”“

Author： 公眾號(hào)-算法進(jìn)階

基于啟發(fā)式雙向搜索及模擬退火的特征選擇方法。

”“”

import pandas as pd

import random

from sklearn.metrics import precision_score， recall_score， f1_score， accuracy_score， roc_curve， auc

def model_metrics（model， x， y， pos_label=1）：

“”“

評(píng)價(jià)函數(shù)

”“”

yhat = model.predict（x）

yprob = model.predict_proba（x）［：，1］

fpr， tpr， _ = roc_curve（y， yprob， pos_label=pos_label）

result = {‘a(chǎn)ccuracy_score’：accuracy_score（y， yhat），

‘f1_score_macro’： f1_score（y， yhat， average = “macro”），

‘precision’：precision_score（y， yhat，average=“macro”），

‘recall’：recall_score（y， yhat，average=“macro”），

‘a(chǎn)uc’：auc（fpr，tpr），

‘ks’： max（abs（tpr-fpr））

}

return result

def bidirectional_selection（model， x_train， y_train， x_test， y_test， annealing=True， anneal_rate=0.1， iters=10，best_metrics=0，

metrics=‘a(chǎn)uc’，threshold_in=0.0001， threshold_out=0.0001，early_stop=True，

verbose=True）：

“”“

model 選擇的模型

annealing 模擬退火算法

threshold_in 特征入模的》閾值

threshold_out 特征剔除的《閾值

”“”

included = ［］

best_metrics = best_metrics

for i in range（iters）：

# forward step

print（“iters”， i）

changed = False

excluded = list（set（x_train.columns） - set（included））

random.shuffle（excluded）

for new_column in excluded：

model.fit（x_train［included+［new_column］］， y_train）

latest_metrics = model_metrics（model， x_test［included+［new_column］］， y_test）［metrics］

if latest_metrics - best_metrics 》 threshold_in：

included.append（new_column）

change = True

if verbose：

print （‘Add {} with metrics gain {：.6}’.format（new_column，latest_metrics-best_metrics））

best_metrics = latest_metrics

elif annealing：

if random.randint（0， iters） 《= iters * anneal_rate：

included.append（new_column）

if verbose：

print （‘Annealing Add {} with metrics gain {：.6}’.format（new_column，latest_metrics-best_metrics））

# backward step

random.shuffle（included）

for new_column in included：

included.remove（new_column）

model.fit（x_train［included］， y_train）

latest_metrics = model_metrics（model， x_test［included］， y_test）［metrics］

if latest_metrics - best_metrics 《 threshold_out：

included.append（new_column）

else：

changed = True

best_metrics= latest_metrics

if verbose：

print（‘Drop{} with metrics gain {：.6}’.format（new_column，latest_metrics-best_metrics））

if not changed and early_stop：

break

return included

#示例

from sklearn.model_selection import train_test_split

x_train， x_test， y_train， y_test = train_test_split（x， y）

model = LGBMClassifier（）

included = bidirectional_selection（model， x_train， y_train， x_test， y_test， annealing=True， iters=50，best_metrics=0.5，

metrics=‘a(chǎn)uc’，threshold_in=0.0001， threshold_out=0，

early_stop=False，verbose=True）

- EOF -
編輯：lyn