來源：Coggle數(shù)據(jù)科學

入門特征工程

1. 為什么特征工程很重要？

對于不同的數(shù)據(jù)科學家，特征工程可能呈現(xiàn)不同的意義。對于一些數(shù)據(jù)科學家，特征工程是我們?nèi)绾慰s減用于監(jiān)督模型的特征（例如，試圖預測響應或結(jié)果變量）。

對于其他人，它是從非結(jié)構(gòu)化數(shù)據(jù)中提取數(shù)值表示以供無監(jiān)督模型使用的方法（例如，試圖從之前非結(jié)構(gòu)化的數(shù)據(jù)集中提取結(jié)構(gòu)）。特征工程包括這兩種情況，以及更多內(nèi)容。數(shù)據(jù)從業(yè)者通常依賴ML和深度學習算法，即使所使用的數(shù)據(jù)格式不良且非最佳。如果我們不構(gòu)建適當?shù)奶卣鳎蕾噺碗s而耗時的ML模型來解決問題，我們可能會得到糟糕的ML模型。如果我們花時間了解我們的數(shù)據(jù)，并為我們的ML模型構(gòu)建特征，使其能夠?qū)W習，那么我們最終可以得到更小、更快的模型，其性能可以與甚至優(yōu)于復雜的模型相媲美。

2. 特征工程的局限性

特征工程并不是解決所有問題的靈丹妙藥。例如，在數(shù)據(jù)量過小的情況下，特征工程無法解決機器學習模型面臨的數(shù)據(jù)不足問題。對于包含少于1000行數(shù)據(jù)的數(shù)據(jù)集，在特征工程方面的努力有限，很難從這些數(shù)據(jù)觀察中提取更多信息。

特征工程也不能在特征和響應之間創(chuàng)建本來不存在的聯(lián)系。如果最初的特征在隱含上對于響應變量沒有任何預測能力，那么再多的特征工程也無法創(chuàng)造這種聯(lián)系。可以在性能上取得一些小幅度的提升，但不能指望特征工程或機器學習模型能夠奇跡般地在特征和響應之間創(chuàng)造關系。

3. 特征工程的步驟特征工程是指將原始數(shù)據(jù)轉(zhuǎn)化為機器學習模型能夠理解的數(shù)據(jù)表示的過程，它是整個ML流水線的關鍵一環(huán)。以下是文本中提到的主要概念和步驟：機器學習流水線的五個步驟：

定義問題領域（Defining the problem domain）：這一步驟涉及明確我們想要通過機器學習解決的問題，同時考慮模型預測速度或可解釋性等特點。這些考慮將在模型評估階段起到關鍵作用。

獲取準確代表問題的數(shù)據(jù)（Obtaining data）：考慮并實施數(shù)據(jù)收集方法，確保數(shù)據(jù)收集公平、安全，并尊重數(shù)據(jù)提供者的隱私。此時還可以進行探索性數(shù)據(jù)分析（EDA），以更好地了解正在處理的數(shù)據(jù)。

特征工程（Feature engineering）：這是文本中重點介紹的部分。特征工程涵蓋了將數(shù)據(jù)轉(zhuǎn)化為適合輸入機器學習模型的最佳表示的所有工作。

模型選擇和訓練（Model selection and training）：在這個階段，選擇適合數(shù)據(jù)和問題的模型，并進行仔細的訓練。如果在第一步中強調(diào)模型的可解釋性，可能會選擇基于樹的模型而不是深度學習模型。

模型部署和評估（Model deployment and evaluation）：在這個階段，數(shù)據(jù)準備就緒，模型已經(jīng)訓練完畢，可以將模型投入生產(chǎn)。同時需要考慮模型版本控制和預測速度等因素。必須部署評估過程，以跟蹤模型隨時間的性能變化，并注意模型的衰退情況。

概念漂移和數(shù)據(jù)漂移：

• 概念漂移（Concept Drift）：這是指隨著時間推移，特征或響應的統(tǒng)計特性發(fā)生變化。模型訓練時的數(shù)據(jù)代表了某個時間點的快照，隨著時間的推移，數(shù)據(jù)所代表的環(huán)境可能會發(fā)生變化，導致我們對特征和響應的認識也發(fā)生變化。這可能需要更新模型以適應新的概念。
• 數(shù)據(jù)漂移（Data Drift）：這是指數(shù)據(jù)的基礎分布因某種原因發(fā)生了變化，但我們對特征的解釋保持不變。例如，在全球大流行病爆發(fā)后，人們的觀影習慣發(fā)生了變化，觀影時間的分布可能會發(fā)生顯著變化。這需要我們調(diào)整模型以適應新的數(shù)據(jù)分布。

特征工程細分的步驟：

1. 特征理解（Feature understanding）：理解正在處理的數(shù)據(jù)的層級結(jié)構(gòu)對選擇適當?shù)奶卣鞴こ谭椒ㄖ陵P重要。
2. 特征結(jié)構(gòu)化（Feature structuring）：如果數(shù)據(jù)是非結(jié)構(gòu)化的（如文本、圖像、視頻等），需要將其轉(zhuǎn)換為結(jié)構(gòu)化格式，以便機器學習模型能夠理解。這可能需要應用特征提取或?qū)W習方法。
3. 特征優(yōu)化（Feature optimization）：一旦數(shù)據(jù)被結(jié)構(gòu)化，可以應用優(yōu)化技術，如特征改進、提取、構(gòu)建和選擇，以獲得最適合模型的數(shù)據(jù)表示。
4. 特征評估（Feature evaluation）：在嘗試不同特征工程方案時，可以選擇一個學習算法和一些參數(shù)選項進行快速調(diào)整，以評估應用不同特征工程技術的效果。

數(shù)據(jù)類型1. 結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)是按照嚴格的數(shù)據(jù)模型或設計組織起來的，通常以表格（行/列）格式表示，其中行代表個體觀察，列代表特征。

而非結(jié)構(gòu)化數(shù)據(jù)則沒有預定義的設計，不遵循特定的數(shù)據(jù)模型，例如客戶服務對話的轉(zhuǎn)錄、YouTube 視頻、播客音頻等。2. 數(shù)據(jù)的四個級別

名義級別、序數(shù)級別、間隔級別和比例級別。名義級別是純粹的定性數(shù)據(jù)，沒有順序和數(shù)值含義。序數(shù)級別在定性數(shù)據(jù)中具有一定的順序，但值之間的差異沒有實際意義。間隔級別中，數(shù)據(jù)之間的差異有一致的意義，可以進行加法和減法操作。比例級別是最高級別，除了有一致的差異意義外，還存在真正的零點，允許進行乘法和除法操作。

特征工程的類型

特征工程是指在機器學習流程中對原始數(shù)據(jù)進行預處理和轉(zhuǎn)換，以便更好地適應模型的需求，提高模型的性能和效果。

1. 特征改進（Feature Improvement）：特征改進技術通過各種數(shù)學轉(zhuǎn)換來增強現(xiàn)有的結(jié)構(gòu)化特征。通常是對數(shù)值特征應用轉(zhuǎn)換，如填充缺失數(shù)據(jù)、標準化和歸一化。這可以包括應用z-score轉(zhuǎn)換、使用統(tǒng)計中位數(shù)來填充缺失值等。特征改進在早期的案例研究中扮演著重要角色。它適用于不同層級的數(shù)據(jù)，根據(jù)數(shù)據(jù)的層級可以選擇不同的改進方式。
2. 特征構(gòu)建（Feature Construction）：特征構(gòu)建是通過直接轉(zhuǎn)換現(xiàn)有特征或?qū)⒃紨?shù)據(jù)與新數(shù)據(jù)源的數(shù)據(jù)進行連接，從而手動創(chuàng)建新特征的過程。這可以包括從新數(shù)據(jù)源中提取信息，創(chuàng)建新的特征。例如，從住房數(shù)據(jù)集中提取戶主總收入以及家庭人數(shù)作為新特征。特征構(gòu)建可以涉及將分類特征轉(zhuǎn)換為數(shù)值特征，或者將數(shù)值特征通過分桶轉(zhuǎn)換為分類特征。
3. 特征選擇（Feature Selection）：特征選擇涉及從現(xiàn)有特征集中選擇最佳特征，以減少模型需要學習的特征數(shù)量，同時減少特征之間的依賴關系。這可以防止模型中出現(xiàn)特征之間的混淆，從而提高模型的性能。特征選擇適用于處理維度災難、特征之間存在依賴性以及需要提高模型速度的情況。
4. 特征提取（Feature Extraction）：特征提取是自動生成新特征的過程，基于對數(shù)據(jù)的潛在形狀做出假設。這可以涉及應用線性代數(shù)技術來執(zhí)行主成分分析（PCA）和奇異值分解（SVD）等。在自然語言處理（NLP）案例研究中，可以通過學習詞匯并將原始文本轉(zhuǎn)換為詞頻向量來執(zhí)行特征提取。

特征學習（Feature Learning）：特征學習類似于特征提取，但不同之處在于它是通過應用非參數(shù)（不對原始數(shù)據(jù)的形狀做出假設）的深度學習模型來自動生成一組特征，從而自動發(fā)現(xiàn)原始數(shù)據(jù)的潛在表示。特征學習適用于處理非結(jié)構(gòu)化數(shù)據(jù)，如文本、圖像和視頻。但它也可能需要更多的數(shù)據(jù)，并且生成的特征可能難以解釋。

特征工程的評估方法

在特征工程中，需要采用多種評估方法來確保模型的質(zhì)量。以下將介紹幾種評估特征工程成果的指標。

1. 機器學習指標

與基準相比，機器學習指標可能是最直接的評估方法。這包括在應用特征工程方法之前和之后查看模型性能。具體步驟如下：

在應用任何特征工程之前，獲取計劃使用的機器學習模型的基準性能。

對數(shù)據(jù)進行特征工程處理。

從機器學習模型中獲取新的性能指標值，并將其與第一步得到的值進行比較。如果性能有所提升，并且超過了數(shù)據(jù)科學家定義的某個閾值，則表明特征工程取得了成功。

2. 解釋性指標

數(shù)據(jù)科學家和其他模型相關者應該深刻關注管道的可解釋性，因為它可能會影響業(yè)務和工程決策。可解釋性可以定義為我們能夠多好地詢問我們的模型“為什么”做出了特定的決策，并將該決策與用于做出模型決策的個別特征或特征組聯(lián)系起來。

3. 公平性和偏見評估指標為了確保模型不會根據(jù)數(shù)據(jù)中固有的偏見產(chǎn)生預測，必須根據(jù)公平性標準來評估模型。這在涉及個人高度影響的領域特別重要，比如金融貸款授予系統(tǒng)、識別算法、欺詐檢測和學術表現(xiàn)預測。在同一份2020年的數(shù)據(jù)科學調(diào)查中，超過一半的受訪者表示已經(jīng)實施或計劃實施解釋性更強（可解釋性）的解決方案，而只有38%的受訪者表示對公平性和偏見緩解的情況也是如此。

4. 機器學習復雜性和速度評估指標機器學習流程的復雜性、規(guī)模和速度通常是一個被忽視的方面，但有時可能決定部署的成敗。正如之前提到的，有時數(shù)據(jù)科學家會轉(zhuǎn)向大型學習算法，例如神經(jīng)網(wǎng)絡或集成模型，而不是進行適當?shù)奶卣鞴こ蹋ＭＰ湍軌蜃约航鉀Q問題。

建議1：結(jié)構(gòu)化數(shù)據(jù)工程在結(jié)構(gòu)化數(shù)據(jù)上進行特征工程是提高模型性能和泛化能力的關鍵步驟，在結(jié)構(gòu)化數(shù)據(jù)上進行特征工程的步驟：

查看字段類型、確定字段的噪音和分布：

1. 計算字段與標簽的相關性：
2. 對字段進行編碼，找到新特征：

建議2：文本數(shù)據(jù)特征工程

將原始文本數(shù)據(jù)轉(zhuǎn)化為可供機器學習算法使用的特征，有多種方式：

1. 文本向量化：對于定量特征，可以考慮使用諸如TF-IDF（詞頻-逆文檔頻率）等技術將文本數(shù)據(jù)轉(zhuǎn)化為數(shù)值特征。TF-IDF可以將文本中的每個詞轉(zhuǎn)化為一個數(shù)值，表示該詞在文本中的重要性。

2. 清洗和分詞：對原始文本進行清洗，去除特殊字符、標點符號和無關信息。然后，將清洗后的文本進行分詞，將文本劃分為詞語或標記。可以使用各種文本處理庫（如NLTK、spaCy）來實現(xiàn)。

3. 特征提取：在深度學習方面，可以使用詞嵌入技術（如Word2Vec、GloVe）來將每個詞轉(zhuǎn)化為具有語義信息的向量表示。

4. 遷移學習：使用預訓練的大型模型（如BERT、T5、ChatGPT等）來進行遷移學習。這些模型在大規(guī)模文本數(shù)據(jù)上進行了預訓練，可以捕捉豐富的語義信息。

建議3：圖像數(shù)據(jù)特征工程

深度學習模型特別是卷積神經(jīng)網(wǎng)絡（CNN），已經(jīng)在圖像處理領域取得了顯著的成功。可以使用預訓練的深度學習模型（如VGG、ResNet、Inception等）作為特征提取器，通過去掉最后的分類層，將模型用作特征提取器。然后可以對這些提取的特征進行降維（如PCA或t-SNE）或直接用于機器學習模型。

建議4：時序數(shù)據(jù)特征工程

1. 理解時序數(shù)據(jù)：首先需要理解你的時序數(shù)據(jù)的特點。了解時間戳、觀測頻率、時間間隔等信息。

2. 構(gòu)建自定義特征集和響應變量：根據(jù)問題的需求，你可能需要構(gòu)建自定義的特征集和響應變量。這可能包括計算滾動統(tǒng)計量（如移動平均、滾動標準差）、創(chuàng)建時間窗口特征、構(gòu)建滯后特征等。

3. 使用標準時序特征類型：在時序數(shù)據(jù)中，有一些常見的特征類型，如趨勢、季節(jié)性、周期性等。你可以嘗試提取這些特征，并將它們作為模型的輸入。

4. 添加領域特定的特征：在一些情況下，你可能有領域特定的知識，可以用于構(gòu)建有用的特征。例如，在股票市場數(shù)據(jù)中，你可以添加技術指標（如移動平均線、相對強弱指標等）作為特征。