機器學(xué)習(xí)中涉及到了很多的概念，當(dāng)然要想了解機器學(xué)習(xí)的話就需要對這些基礎(chǔ)知識有一個深入的了解才能夠入門機器學(xué)習(xí)，那么機器學(xué)習(xí)的基礎(chǔ)知識都有哪些呢？本文給大家列舉一下機器學(xué)習(xí)的基礎(chǔ)知識。

（1）準(zhǔn)確率的概念，準(zhǔn)確率就是分類模型預(yù)測準(zhǔn)確的比例。

（2）AUC（曲線下面積）則是一種考慮到所有可能的分類閾值的評估標(biāo)準(zhǔn)。ROC 曲線下面積代表分類器隨機預(yù)測真正類要比假正類概率大的確信度。

（3）激活函數(shù)就是一種函數(shù)，也就是將前一層所有神經(jīng)元激活值的加權(quán)和輸入到一個非線性函數(shù)中，然后向下一層傳遞該函數(shù)的輸出值。

（4）AdaGrad是一種復(fù)雜的梯度下降算法，重新調(diào)節(jié)每個參數(shù)的梯度，高效地給每個參數(shù)一個單獨的學(xué)習(xí)率。這些知識都是需要我們要了解的。

（5）在機器學(xué)習(xí)中，反向傳播神經(jīng)網(wǎng)絡(luò)中完成梯度下降的重要算法。首先，在前向傳播的過程中計算每個節(jié)點的輸出值。然后，在反向傳播的過程中計算與每個參數(shù)對應(yīng)的誤差的偏導(dǎo)數(shù)。

（6）基線就是被用為對比模型表現(xiàn)參考點的簡單模型。基線幫助模型開發(fā)者量化模型在特定問題上的預(yù)期表現(xiàn)。

（7）批量就是指模型訓(xùn)練中一個迭代使用的樣本集。批量大小就是一個批量中樣本的數(shù)量。批量大小通常在訓(xùn)練與推理的過程中確定。

（8）偏置就是與原點的截距或偏移量。偏置被稱為機器學(xué)習(xí)模型中的 b 或者 w0。而二元分類器一類分類任務(wù)，輸出兩個互斥（不相交）類別中的一個。binning/bucketing則是根據(jù)值的范圍將一個連續(xù)特征轉(zhuǎn)換成多個稱為 buckets 或者 bins二元特征，稱為 buckets或者bins。

（9）檢查點則是在特定的時刻標(biāo)記模型的變量的狀態(tài)的數(shù)據(jù)。檢查點允許輸出模型的權(quán)重，也允許通過多個階段訓(xùn)練模型。檢查點還允許跳過錯誤繼續(xù)進(jìn)行。注意其自身的圖式并不包含于檢查點內(nèi)。

（10）候選采樣是一種優(yōu)化訓(xùn)練時間的方式，使用 Softmax 等算法計算所有正標(biāo)簽的概率，同時只計算一些隨機取樣的負(fù)標(biāo)簽的概率。這個想法的思路是，負(fù)類別可以通過頻率更低的負(fù)強化進(jìn)行學(xué)習(xí)，而正類別經(jīng)常能得到適當(dāng)?shù)恼龔娀瑢嶋H觀察確實如此。候選取樣的動力是計算有效性從所有負(fù)類別的非計算預(yù)測的得益。

（11）標(biāo)定層是一種調(diào)整后期預(yù)測的結(jié)構(gòu)，通常用于解釋預(yù)測偏差。調(diào)整后的預(yù)期和概率必須匹配一個觀察標(biāo)簽集的分布。

（12）分類模型是機器學(xué)習(xí)模型的一種，將數(shù)據(jù)分離為兩個或多個離散類別。分類模型與回歸模型成對比。

（13）類別是所有同類屬性的目標(biāo)值作為一個標(biāo)簽。

（14）類別不平衡數(shù)據(jù)集是一個二元分類問題，其中兩個類別的標(biāo)簽的分布頻率有很大的差異。

（15）收斂就是訓(xùn)練過程達(dá)到的某種狀態(tài)，其中訓(xùn)練損失和驗證損失在經(jīng)過了確定的迭代次數(shù)后，在每一次迭代中，改變很小或完全不變。換句話說就是，當(dāng)對當(dāng)前數(shù)據(jù)繼續(xù)訓(xùn)練而無法再提升模型的表現(xiàn)水平的時候，就稱模型已經(jīng)收斂。在深度學(xué)習(xí)中，損失值下降之前，有時候經(jīng)過多次迭代仍保持常量或者接近常量，會造成模型已經(jīng)收斂的錯覺。

（16）混淆矩陣就是總結(jié)分類模型的預(yù)測結(jié)果的表現(xiàn)水平的 N×N 表格。混淆矩陣的一個軸列出模型預(yù)測的標(biāo)簽，另一個軸列出實際的標(biāo)簽。N 表示類別的數(shù)量。在一個二元分類模型中，N=2。多類別分類的混淆矩陣可以幫助發(fā)現(xiàn)錯誤出現(xiàn)的模式。混淆矩陣包含了足夠多的信息可以計算很多的模型表現(xiàn)度量，比如精度和召回率。

（17）連續(xù)特征擁有無限個取值點的浮點特征。和離散特征相反。

（18）分類閾值應(yīng)用于模型的預(yù)測分?jǐn)?shù)以分離正類別和負(fù)類別的一種標(biāo)量值標(biāo)準(zhǔn)。當(dāng)需要將 logistic 回歸的結(jié)果映射到二元分類模型中時就需要使用分類閾值。

（19）凸函數(shù)就是一種形狀大致呈字母 U 形或碗形的函數(shù)。然而，在退化情形中，凸函數(shù)的形狀就像一條線。凸函數(shù)是很常用的損失函數(shù)。因為當(dāng)一個函數(shù)有最小值的時候，梯度下降的各種變化都能保證找到接近函數(shù)最小值的點。類似的，隨機梯度下降的各種變化有很大的概率找到接近函數(shù)最小值的點。兩個凸函數(shù)相加后仍然是凸函數(shù)。深度模型通常是非凸的。

（20）早期停止法就是一種正則化方法，在訓(xùn)練損失完成下降之前停止模型訓(xùn)練過程。當(dāng)驗證數(shù)據(jù)集的損失開始上升的時候，即泛化表現(xiàn)變差的時候，就該使用早期停止法了。

（21）交叉熵就是多類別分類問題中對 Log 損失函數(shù)的推廣。交叉熵量化兩個概率分布之間的區(qū)別。

（22）密集特征就是大多數(shù)取值為非零的一種特征，通常用取浮點值的張量表示。和稀疏特征相反。

（23）派生特征是合成特征的同義詞。

（24）離散特征就是只有有限個可能取值的一種特征。和連續(xù)特征（continuous feature）對照。

（25）dropout 正則化就是訓(xùn)練神經(jīng)網(wǎng)絡(luò)時一種有用的正則化方法。dropout 正則化的過程是在單次梯度計算中刪去一層網(wǎng)絡(luò)中隨機選取的固定數(shù)量的單元。刪去的單元越多，正則化越強。

（26）動態(tài)模型是以連續(xù)更新的方式在線訓(xùn)練的模型。即數(shù)據(jù)連續(xù)不斷的輸入模型。

（27）數(shù)據(jù)集就是樣本的集合。

（28）決策邊界在一個二元分類或多類別分類問題中模型學(xué)習(xí)的類別之間的分離器。

（29）深度模型是一種包含多個隱藏層的神經(jīng)網(wǎng)絡(luò)。深度模型依賴于其可訓(xùn)練的非線性性質(zhì)。和寬度模型對照。

（30）假負(fù)類就是被模型錯誤的預(yù)測為負(fù)類的樣本。

（31）假正類就是被模型錯誤的預(yù)測為正類的樣本。

（32）假正類率的概念就是在ROC 曲線（ROC curve）中的 x 軸。FP 率的定義是：假正率=假正類數(shù)/（假正類數(shù)+真負(fù)類數(shù)）

（33）特征就是輸入變量，用于做出預(yù)測。

（34）特征列就是具有相關(guān)性的特征的集合，一個樣本的一個特征列中可能會有一個或者多個特征。特征的數(shù)據(jù)類型；一個特征是固定長度的或應(yīng)該轉(zhuǎn)換為嵌入。一個特征列可以僅包含一個特征。

（35）特征交叉就是將特征進(jìn)行交叉（乘積或者笛卡爾乘積）運算后得到的合成特征。特征交叉有助于表示非線性關(guān)系。

（36）特征工程就是在訓(xùn)練模型的時候，決定哪些特征是有用的，然后將記錄文件和其它來源的原始數(shù)據(jù)轉(zhuǎn)換成上述特征的過程。

（37）特征集就是機器學(xué)習(xí)模型訓(xùn)練的時候使用的特征群。

（38）特征定義就是描述所需的信息從 tf.Example 協(xié)議緩存中提取特征數(shù)據(jù)。因為 tf.Example 協(xié)議緩存只是數(shù)據(jù)的容器，必須明確以下信息：

（39）嵌入就是連續(xù)值特征的明確的特征。嵌入通常指將高維向量轉(zhuǎn)換到低維空間中。

在 TensorFlow 中，嵌入是通過反向傳播損失訓(xùn)練的，正如神經(jīng)網(wǎng)絡(luò)的其它參量一樣。

（40）經(jīng)驗風(fēng)險最小化就是選擇能最小化訓(xùn)練數(shù)據(jù)的損失的模型函數(shù)的過程。和結(jié)構(gòu)風(fēng)險最小化（structual risk minimization）對照。

（41）集成就是多個模型預(yù)測的綜合考慮。可以通過以下一種或幾種方法創(chuàng)建一個集成方法，這些方法分別是設(shè)置不同的初始化、設(shè)置不同的超參量。設(shè)置不同的總體結(jié)構(gòu)。而深度和廣度模型是一種集成。

（42）樣本就是一個數(shù)據(jù)集的一行內(nèi)容。一個樣本包含了一個或多個特征，也可能是一個標(biāo)簽。樣本有標(biāo)注樣本和無標(biāo)注樣本。

（43）梯度就是所有變量的偏導(dǎo)數(shù)的向量。在機器學(xué)習(xí)中，梯度是模型函數(shù)的偏導(dǎo)數(shù)向量。梯度指向最陡峭的上升路線。

（44）梯度截斷就是在應(yīng)用梯度之前先修飾數(shù)值，梯度截斷有助于確保數(shù)值穩(wěn)定性，防止梯度爆炸出現(xiàn)。

（45）梯度下降是通過計算模型的相關(guān)參量和損失函數(shù)的梯度最小化損失函數(shù)，值取決于訓(xùn)練數(shù)據(jù)。梯度下降迭代地調(diào)整參量，逐漸靠近權(quán)重和偏置的最佳組合，從而最小化損失函數(shù)。

（46）圖在 TensorFlow 中的一種計算過程展示。圖中的節(jié)點表示操作。節(jié)點的連線是有指向性的，表示傳遞一個操作的結(jié)果給另一個操作。使用 TensorBoard 能可視化計算圖。

（47）泛化是指模型利用新的沒見過的數(shù)據(jù)而不是用于訓(xùn)練的數(shù)據(jù)作出正確的預(yù)測的能力。

（48）廣義線性模型就是最小二乘回歸模型的推廣/泛化，基于高斯噪聲，相對于其它類型的模型，這種模型基于其它類型的噪聲，比如泊松噪聲，或類別噪聲等等。廣義線性模型的例子包括很多，比如logistic回歸、多分類回歸、最小二乘回歸。而廣義線性模型的參數(shù)可以通過凸優(yōu)化得到，它的性質(zhì)有很多，第一就是最理想的最小二乘回歸模型的平均預(yù)測結(jié)果等于訓(xùn)練數(shù)據(jù)的平均標(biāo)簽。第二就是最理想的 logistic 回歸模型的平均概率的預(yù)測結(jié)果等于訓(xùn)練數(shù)據(jù)的平均標(biāo)簽。第三就是廣義線性模型的能力局限于其特征的性質(zhì)。和深度模型不同，一個廣義線性模型無法學(xué)習(xí)新的特征。

（49）啟發(fā)式就是一個問題的實際的和非最優(yōu)的解，但能從學(xué)習(xí)經(jīng)驗中獲得足夠多的進(jìn)步。

（50）折頁損失函數(shù)就是損失函數(shù)的一個類型，用于分類模型以尋找距離每個樣本的距離最大的決策邊界，即最大化樣本和邊界之間的邊緣。

責(zé)任編輯：lq6