1、特征工程與意義

特征就是從數(shù)據(jù)中抽取出來的對結(jié)果預(yù)測有用的信息。

特征工程是使用專業(yè)知識背景知識和技巧處理數(shù)據(jù)，是得特征能在機(jī)器學(xué)習(xí)算法上發(fā)揮更好的作用的過程。

2、基本數(shù)據(jù)處理

數(shù)據(jù)采集

• 需要思考那些數(shù)據(jù)有用
• 數(shù)據(jù)是否容易采集到
• 線上實時計算的時候獲取是否快捷

數(shù)據(jù)清洗

數(shù)據(jù)清洗做的事情：洗掉臟數(shù)據(jù)

思考角度：

1、單維度考量

身高3m的人？顯然不可能

一個月買臉盆墩布花了10w的人？也不太可能

組合或統(tǒng)計屬性判定

號稱在美國但I(xiàn)P卻一直在大陸的新聞閱讀用戶？

要統(tǒng)計一個人是否會去買籃球鞋，然而你的樣本中女性占80%？

2、統(tǒng)計方法

使用箱線圖/boxplot上下界

取出缺省值多的字段

不可信的樣本要去掉，缺省值極多的字段考慮不用

數(shù)據(jù)采樣

分類問題中，很多情況下正負(fù)樣本是不均衡的。比如患某些疾病的患者和健康人。

大多數(shù)模型對正負(fù)樣本比是敏感的（如邏輯回歸LR）

解決方法：隨機(jī)采樣、分層采樣
如果是正樣本>>負(fù)樣本，而且量都很大：在正樣本下采樣。（如正樣本200萬個，負(fù)樣本20萬個，此時在正樣本中隨機(jī)采樣20萬個，正負(fù)樣本1:1構(gòu)建分類器）
如果是正樣本>>負(fù)樣本，量不大：1、采集更多數(shù)據(jù)；2、可以oversampling，即過采樣（如有10萬正樣本，1000負(fù)樣本，最簡單的方法是將1000負(fù)樣本多重復(fù)幾遍。然而這樣做可能會加大過擬合風(fēng)險，故會將負(fù)樣本經(jīng)過一些小的處理。如圖像識別里面判斷是否為貓，可將圖片旋轉(zhuǎn)？鏡像處理？加上一些噪聲？均可）；3、修改損失函數(shù)。

3、常見特征工程

數(shù)值型

1、幅度調(diào)整/歸一化
- 幅度縮放Scaling
- 標(biāo)準(zhǔn)化Standardization
- 歸一化Normalization

2、將數(shù)值進(jìn)行Log等變化

3、統(tǒng)計值max、min、mean、std

4、離散化

對連續(xù)值可以將其離散化，按照一個區(qū)間來分（分箱、分桶）

下面代碼生成滿足標(biāo)準(zhǔn)高斯分布的20個隨機(jī)數(shù)，使用pandas的cut函數(shù)可以將數(shù)據(jù)劃分。

import numpy as np
import pandas as pd
arr = np.random.randn(20)
factor = pd.cut(arr,4)

factor
Out[5]: 
[(-0.643, 0.329], (0.329, 1.302], (-1.616, -0.643], (-1.616, -0.643], (-0.643, 0.329], ..., (-0.643, 0.329], (-0.643, 0.329], (-0.643, 0.329], (0.329, 1.302], (-1.616, -0.643]]
Length: 20
Categories (4, interval[float64]): [(-2.593, -1.616] < (-1.616, -0.643] < (-0.643, 0.329] < (0.329, 1.302]]

5、高次與四則運(yùn)算特征

通過高次多項式或四則運(yùn)算來將數(shù)據(jù)升維。

6、數(shù)值轉(zhuǎn)為類別

類別型

1、one_hot編碼/啞變量

原數(shù)據(jù)

做one_hot編碼之后

注：不適合類別特別多的字段

2、Hash技巧

如上圖，將文本型映射成向量

時間型

時間型數(shù)據(jù)既可以看成連續(xù)值，又可以看成離散值。

其他類型

1、文本型

詞袋模型/bag of words

word2vec

文本數(shù)據(jù)預(yù)處理后，去掉停用詞，剩下的詞組成的list，在詞庫中的映射稀疏向量。

上述向量沒有加上詞的順序，可以將詞袋中的詞擴(kuò)充到n-gram。下圖即為將“Bi-grams are cool！”這句話映射成1個單詞和兩個單詞。

Tf-idf特征

Tf-idf是一種統(tǒng)計方法，用以評估一個字詞對于一個文件集或一個語料庫中的其中一份文件的重要程度。字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時會隨它在語料庫中出現(xiàn)的頻率成反比下降。

TF：Term Frequency

TF(t) = (詞t在當(dāng)前文中出現(xiàn)的次數(shù))/(t在全部語料庫中出現(xiàn)的次數(shù))

IDF:

IDF(t)=ln(總文檔數(shù)/含t的文檔數(shù))

TF-IDF權(quán)重 = TF(t)*IDF(t)

2、統(tǒng)計特征

加減平均

分位線

次序型

比例型

特征處理示例

4、特征選擇方法

特征選擇意義：

冗余：部分特征相關(guān)度太高了，消耗計算性能

噪聲：部分特征是對預(yù)測結(jié)果有負(fù)影響

特征選擇VS降維：

前者剔除原本特征里和結(jié)果預(yù)測關(guān)系不大的，后者做降維操作，但是保存大部分信息

SVD或PCA確實也能解決一定的高維問題

過濾式特征選擇

評估單個特征和結(jié)果值之間的相關(guān)程度，排序留下Top相關(guān)的特征部分

Pearson系數(shù)，互信息，距離相關(guān)度

缺點：沒有考慮到特征之間的關(guān)聯(lián)作用，可能把有用的關(guān)聯(lián)特征誤剔除

相關(guān)的Python包：

#SelectKBest選擇排名前k個的特征
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest
#chi2是卡方統(tǒng)計量
from sklearn.feature_selection import chi2

iris = load_iris()
X,y = iris.data,iris.target
# 之前的X數(shù)據(jù)集是有4個特征的
X.shape
Out[13]: (150, 4)
# 使用SelectKBest，使用卡方統(tǒng)計量，選出top2的兩個特征    
X_new = SelectKBest(chi2,k=2).fit_transform(X,y)
X_new.shape
Out[15]: (150, 2)

包裹式（wrapper）特征選擇

把特征選擇看做一個特征子集搜索問題，篩選出各種特征子集，用模型評估結(jié)果。

典型的包裹式算法為“遞歸特征刪除算法”（recusive feature elimination algorithm）
如用邏輯回歸，如何去做？

用全量跑一個模型

根據(jù)線性模型系數(shù)（體現(xiàn)相關(guān)性），刪掉5%-10%的特征，觀察準(zhǔn)確率/AUC的變化

逐步進(jìn)行，直至準(zhǔn)確率/AUC出現(xiàn)大的下滑停止
相關(guān)python包

幾個參數(shù)estimato為選擇的模型，n_features_to_select為迭代到最后幾個特征值。

from sklearn.feature_selection import RFE
from sklearn.linear_model import LinearRegression
from sklearn.datasets import load_boston

boston = load_boston()
lr= LinearRegression()
rfe = RFE(lr,n_features_to_select=1)
X = boston["data"]
# 數(shù)據(jù)有13個特征
X.shape
Out[27]: (506, 13)

Y = boston["target"]
names = boston["feature_names"]
rfe.fit(X,Y)
Out[28]: 
RFE(estimator=LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False),
  n_features_to_select=1, step=1, verbose=)

# 使用遞歸特征刪除算法，將數(shù)據(jù)的13個特征排序，數(shù)字為對應(yīng)特征的序號
rfe.ranking_
Out[29]: array([ 8, 10,  9,  3,  1,  2, 13,  5,  7, 11,  4, 12,  6])

嵌入式特征選擇

根據(jù)模型來分析特征的重要性（有別于上面的方式，是從生產(chǎn)的模型權(quán)重等）

最常見的方式為正則化方法來做特征選擇

一般用L1正則化來進(jìn)行特征選擇，用L2正則化來防止過擬合。

from sklearn.svm import LinearSVC
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectFromModel
iris = load_iris()
X,y = iris.data,iris.target
# 之前的特征數(shù)為4
X.shape
Out[6]: (150, 4)
# 使用線性SVM分類器，正則化選L1正則化
lsvc = LinearSVC(C=0.01,penalty='l1',dual=False).fit(X,y)
model = SelectFromModel(lsvc,prefit=True)
X_new = model.transform(X)
# L1正則化后選擇的特征數(shù)為3
X_new.shape
Out[10]: (150, 3)