1. 特征提取 V.S 特征選擇

特征提取和特征選擇是DimensionalityReduction（降維）的兩種方法，針對(duì)于the curse of dimensionality(維災(zāi)難)，都可以達(dá)到降維的目的。但是這兩個(gè)有所不同。

特征提取（Feature Extraction）:Creatting a subset of new features by combinations of the exsiting features.也就是說(shuō)，特征抽取后的新特征是原來(lái)特征的一個(gè)映射。

特征選擇（Feature Selection）:choosing a subset of all the features(the ones more informative)。也就是說(shuō)，特征選擇后的特征是原來(lái)特征的一個(gè)子集。

2. PCA V.S LDA

主成分分析(Principle Components Analysis ,PCA)和線性評(píng)判分析（Linear Discriminant Analysis,LDA）是特征提取的兩種主要經(jīng)典方法。

對(duì)于特征提取，有兩種類(lèi)別：

（1）Signal representation(信號(hào)表示): The goal of the feature extraction mapping is to represent the samples accurately in a low-dimensional space. 也就是說(shuō)，特征抽取后的特征要能夠精確地表示樣本信息，使得信息丟失很小。對(duì)應(yīng)的方法是PCA.

（2）Signal classification（信號(hào)分類(lèi)): The goal of the feature extraction mapping is toenhance the class-discriminatory information in a low-dimensional space. 也就是說(shuō)，特征抽取后的特征，要使得分類(lèi)后的準(zhǔn)確率很高，不能比原來(lái)特征進(jìn)行分類(lèi)的準(zhǔn)確率低。對(duì)與線性來(lái)說(shuō)，對(duì)應(yīng)的方法是LDA . 非線性這里暫時(shí)不考慮。

可見(jiàn)， PCA和LDA兩種方法的目標(biāo)不一樣，因此導(dǎo)致他們的方法也不一樣。PCA得到的投影空間是協(xié)方差矩陣的特征向量，而LDA則是通過(guò)求得一個(gè)變換W,使得變換之后的新均值之差最大、方差最大（也就是最大化類(lèi)間距離和最小化類(lèi)內(nèi)距離），變換W就是特征的投影方向。