在機(jī)器學(xué)習(xí)方面，人們可以采取的改進(jìn) ML 模型預(yù)測(cè)的方法是選擇正確的特征并刪除對(duì)模型性能影響微不足道的特征。因此，選擇正確的特征可能是數(shù)據(jù)科學(xué)家或機(jī)器學(xué)習(xí)工程師需要做的最重要的步驟之一，他們通常負(fù)責(zé)構(gòu)建那些能夠很好地概括測(cè)試數(shù)據(jù)集的復(fù)雜模型。

例如，考慮預(yù)測(cè)一個(gè)人是否會(huì)患心臟病的任務(wù)，可以產(chǎn)生良好影響的最強(qiáng)指標(biāo)之一就是體重指數(shù) (BMI)。當(dāng)我們?cè)噲D預(yù)測(cè)一個(gè)人可能患有的血壓 (BP) 水平時(shí)，沒有考慮這個(gè)特征并且沒有在我們的數(shù)據(jù)集中使用它，通常會(huì)導(dǎo)致結(jié)果不太準(zhǔn)確。在這種情況下，BMI 可以強(qiáng)烈表明一個(gè)人患有這些疾病。因此，考慮這個(gè)特征很重要，因?yàn)樗鼤?huì)對(duì)結(jié)果產(chǎn)生很大的影響。

考慮另一個(gè)預(yù)測(cè)某人是否會(huì)拖欠貸款的案例研究。在向某人提供貸款之前，所考慮的銀行會(huì)詢問一系列問題，例如工資、凈資產(chǎn)和他們的信用記錄。如果我們要讓一個(gè)人根據(jù)上述一系列因素來決定是否必須向某人提供貸款，他/她會(huì)查看總工資和他們的整體信用記錄。

同樣，當(dāng)數(shù)據(jù)以與人類相同的方式提供給 ML 模型時(shí)，它會(huì)學(xué)會(huì)獲得重要的表示，以便它決定一個(gè)人是否會(huì)償還貸款。如果我們刪除諸如工資之類的特征，ML 模型將缺少關(guān)鍵信息，無法完美地解讀一個(gè)人是否會(huì)償還貸款。因此，它的預(yù)測(cè)可能會(huì)非常錯(cuò)誤，因?yàn)閿?shù)據(jù)中缺少最重要的特征之一（工資）。因此，這凸顯了擁有正確的特征對(duì)于我們的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型在測(cè)試集和實(shí)時(shí)數(shù)據(jù)上表現(xiàn)良好的重要性。

現(xiàn)在我們已經(jīng)了解了確定正確特征對(duì)于確定模型預(yù)測(cè)質(zhì)量的重要性，我們現(xiàn)在將繼續(xù)尋找有助于我們的模型預(yù)測(cè)并改善其結(jié)果的各種特征化技術(shù)。

插值

這是我們?cè)跀?shù)據(jù)中填充缺失值的一種方法。我們?cè)诨ヂ?lián)網(wǎng)上找到了大量數(shù)據(jù)集，例如包含幾乎所有特征和標(biāo)簽而沒有異常或缺失數(shù)據(jù)的玩具數(shù)據(jù)集。然而，這在現(xiàn)實(shí)生活中可能遠(yuǎn)非如此，因?yàn)榇蠖鄶?shù)現(xiàn)實(shí)世界數(shù)據(jù)都包含缺失值。因此，必須采取特定步驟來確保以某種方式填充缺失的值。

我們可以使用各種方法來執(zhí)行插值。我們可以使用特征的平均值或平均值來填充缺失值。還有其他方法，例如特征的中位數(shù)插值和眾數(shù)插值。因此，通過執(zhí)行這些方法，我們不會(huì)得到包含缺失值的數(shù)據(jù)。

如果我們要預(yù)測(cè)一個(gè)人是否會(huì)拖欠貸款，我們會(huì)將薪水作為我們機(jī)器學(xué)習(xí)模型的重要特征之一。但是，所有參與者的薪水信息可能不存在于我們的數(shù)據(jù)中。因此，最好的方法之一是分別用整個(gè)薪資特征的平均值來估算或填充這些缺失值。

縮放我們傾向于為我們的模型提供一組不同的特征，基于此，模型將確定用于預(yù)測(cè)結(jié)果或目標(biāo)變量的最佳特征。但需要注意的是，我們使用的特征在我們最初收到數(shù)據(jù)時(shí)可能具有不同的尺度。

以用于確定房?jī)r(jià)的特征為例。在這種情況下，特征可能是臥室數(shù)量和利率。我們無法比較這兩個(gè)特征，因?yàn)榕P室數(shù)量以單位為單位，而利率以美元 ($) 為單位。如果我們將這些數(shù)據(jù)提供給我們的 ML 模型，它只會(huì)理解美元比臥室數(shù)量特征高出很多單位。然而，正如我們上面所看到的，這遠(yuǎn)非事實(shí)。因此，在將特征提供給模型進(jìn)行預(yù)測(cè)之前，執(zhí)行特征的縮放操作非常重要。

歸一化這是我們執(zhí)行縮放操作的一種方式，在轉(zhuǎn)換數(shù)據(jù)中的其他值之前，先對(duì)所考慮的各個(gè)特征取最大值和最小值。我們確保特征的最小值為 0，最大值為 1。這將確保我們能夠使用模型產(chǎn)生最佳結(jié)果并獲得良好的預(yù)測(cè)。以客戶是否會(huì)流失（離開）或繼續(xù)使用互聯(lián)網(wǎng)服務(wù)為例，月費(fèi)和使用期限等特征是一些重要特征。月費(fèi)可以以美元 ($) 為單位，而使用期限可以以年或月為單位。由于它們的規(guī)模不同，因此規(guī)范化在這種情況下非常方便，并確保我們獲得最佳的模型預(yù)測(cè)。

標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化在轉(zhuǎn)換特征方面與規(guī)范化類似，不同之處在于我們以這樣一種方式轉(zhuǎn)換數(shù)據(jù)，即我們得到一個(gè)輸出，該輸出對(duì)于每個(gè)單獨(dú)的特征都具有單位方差和零均值。我們已經(jīng)看到，對(duì)各種特征使用不同的尺度常常會(huì)使模型感到困惑，因?yàn)槟Ｐ蜁?huì)因?yàn)閿?shù)據(jù)的尺度而假設(shè)一個(gè)特征比另一個(gè)特征更重要，執(zhí)行標(biāo)準(zhǔn)化操作有助于確保我們獲得最佳預(yù)測(cè)。因此，這是機(jī)器學(xué)習(xí)從業(yè)者在構(gòu)建最佳預(yù)測(cè)時(shí)經(jīng)常采取的一步。

在預(yù)測(cè)汽車價(jià)格時(shí)，我們會(huì)分別考慮氣缸數(shù)和里程數(shù)等特征。由于這兩個(gè)特征的尺度不同，我們必須執(zhí)行標(biāo)準(zhǔn)化，以便在給出預(yù)測(cè)模型之前，我們可以在特征之間找到共同點(diǎn)。

獨(dú)熱編碼想象一個(gè)場(chǎng)景，我們的數(shù)據(jù)中有大量分類特征。我們數(shù)據(jù)中的一些分類特征可以包括國(guó)家、州、名稱等特征。從這些特征中，我們看到，我們只生成這些實(shí)例的出現(xiàn)，而沒有得到數(shù)字表示。為了使我們的 ML 模型能夠很好地工作并利用數(shù)據(jù)，分類特征（如上所示）應(yīng)該轉(zhuǎn)換為數(shù)字特征，以便模型執(zhí)行計(jì)算。因此，我們執(zhí)行這一步獨(dú)熱編碼，以便將分類特征轉(zhuǎn)換為數(shù)字特征。現(xiàn)在人們可能會(huì)質(zhì)疑算法實(shí)際上是如何做到這一點(diǎn)的。它只是將每個(gè)特征的每個(gè)類別視為單獨(dú)的列。特定類別的存在或不存在將被標(biāo)記為 1 或 0。如果我們發(fā)現(xiàn)特定類別存在，反之亦然，我們將值設(shè)為 1。

響應(yīng)編碼這是另一種與獨(dú)熱編碼非常相似的方法，因?yàn)樗梢蕴幚矸诸悢?shù)據(jù)。但是，將分類特征轉(zhuǎn)換為數(shù)值特征的過程與之前的方法不同。在響應(yīng)編碼中，我們最感興趣的是每個(gè)類別的目標(biāo)平均值。例如，以確定房?jī)r(jià)為例。為了預(yù)測(cè)各個(gè)地區(qū)的房?jī)r(jià)，我們將對(duì)各個(gè)地區(qū)進(jìn)行分組，并找出每個(gè)地區(qū)的平均房?jī)r(jià)。稍后，我們將用每個(gè)地區(qū)特定的平均房?jī)r(jià)替換地區(qū)，以表示先前作為分類特征的數(shù)值。因此，我們的模型可以固有地了解社區(qū)在確定房?jī)r(jià)方面有多大影響。因此，響應(yīng)編碼在這種情況下非常方便。考慮到預(yù)測(cè)汽車價(jià)格的問題，可能會(huì)有 SUV 或轎車等汽車。有時(shí)可以通過這兩個(gè)特征來確定價(jià)格。因此，當(dāng)使用響應(yīng)編碼轉(zhuǎn)換此分類特征（汽車類型）時(shí)，響應(yīng)編碼會(huì)很有用。我們僅取 SUV 和轎車的平均價(jià)格。如果車型為 SUV，我們將其替換為 SUV 車型細(xì)分市場(chǎng)的平均價(jià)格。如果車型為轎車，我們將其替換為轎車車型細(xì)分市場(chǎng)的平均價(jià)格。

處理異常值異常值是被視為數(shù)據(jù)異常的數(shù)據(jù)點(diǎn)。但是，還需要注意的是，數(shù)據(jù)中的某些異常值對(duì)于模型正確確定結(jié)果非常有用且重要。如果我們發(fā)現(xiàn)數(shù)據(jù)中存在大量異常值，則可能會(huì)使模型無法對(duì)異常值做出正確的預(yù)測(cè)，而無法很好地概括實(shí)時(shí)數(shù)據(jù)。因此，我們必須采取正確的步驟，確保在訓(xùn)練模型并將其投入生產(chǎn)之前將其移除。有多種方法可以去除數(shù)據(jù)中的異常值。其中一些方法包括找到每個(gè)特征的標(biāo)準(zhǔn)差。如果數(shù)據(jù)點(diǎn)高于或低于平均值 3 個(gè)標(biāo)準(zhǔn)差，我們可以自動(dòng)將它們歸類為異常值并將其移除，這樣它們就不會(huì)影響機(jī)器學(xué)習(xí)模型的預(yù)測(cè)。

考慮到一個(gè)人是否會(huì)拖欠貸款，可能會(huì)有關(guān)于此人工資的信息。薪資信息可能并不總是準(zhǔn)確的，并且這個(gè)特征中可能存在相當(dāng)多的異常值。使用這些數(shù)據(jù)訓(xùn)練我們的 ML 模型通常會(huì)導(dǎo)致它在測(cè)試集或未見過的數(shù)據(jù)上表現(xiàn)不佳。因此，最好的方法是在將數(shù)據(jù)提供給 ML 模型之前從數(shù)據(jù)中刪除異常值。這可以通過了解薪資的標(biāo)準(zhǔn)差來實(shí)現(xiàn)，并且高于或低于 3 個(gè)標(biāo)準(zhǔn)差的值會(huì)自動(dòng)被刪除，以便模型做出可靠的預(yù)測(cè)。

對(duì)數(shù)轉(zhuǎn)換

當(dāng)我們發(fā)現(xiàn)數(shù)據(jù)中存在嚴(yán)重偏差時(shí)，可以使用這種技術(shù)。如果存在大量偏差，即數(shù)據(jù)包含大量集中在特定區(qū)域的值，而一些異常值和數(shù)據(jù)點(diǎn)遠(yuǎn)離平均值，則我們的模型更有可能無法理解這種復(fù)雜的關(guān)系。

因此，我們將使用對(duì)數(shù)變換來轉(zhuǎn)換這些數(shù)據(jù)并減少偏差，以便模型對(duì)異常值更具魯棒性，并且能夠很好地概括實(shí)時(shí)數(shù)據(jù)。對(duì)數(shù)變換可以是一種方便的特征工程技術(shù)，可以分別提高 ML 模型的性能。

與上述預(yù)測(cè)一個(gè)人是否會(huì)拖欠貸款的問題類似，我們也可以將對(duì)數(shù)變換應(yīng)用于工資，因?yàn)槲覀兛吹焦べY信息中普遍存在很多偏差。大量人（約 80%）獲得基本工資，而一小部分人（約 20%）獲得大量工資。數(shù)據(jù)中存在相當(dāng)大的偏差，實(shí)際上可以通過使用對(duì)數(shù)變換來消除。

結(jié)論讀完這篇文章后，我相信您能夠理解對(duì)您的機(jī)器學(xué)習(xí)模型很重要的各種特征工程技術(shù)。在正確的時(shí)間使用最佳的特征工程技術(shù)確實(shí)非常方便，并且可以通過使用人工智能為公司生成有價(jià)值的預(yù)測(cè)。

來源：PyTorch研習(xí)社