本文來源：Coggle數(shù)據(jù)科學(xué)

AI需要可解釋性

人工智能的崛起，尤其是深度學(xué)習(xí)的發(fā)展，在眾多領(lǐng)域帶來了令人矚目的進步。然而，伴隨這些進步而來的是一個關(guān)鍵問題——“黑箱”問題。許多人工智能模型，特別是復(fù)雜的模型，如神經(jīng)網(wǎng)絡(luò)和大型語言模型（LLMs），常被視為“黑箱”，因為它們的決策過程是不透明的。

這些模型可能以高精度預(yù)測結(jié)果，但其決策背后的邏輯卻難以捉摸。這種缺乏可解釋性的情況引發(fā)了諸多重大問題：

信任與責(zé)任：如果一個AI模型做出改變?nèi)松臎Q策，比如診斷醫(yī)療狀況或批準(zhǔn)貸款，用戶需要理解背后的邏輯。沒有這種理解，用戶就無法信任或驗證結(jié)果。

調(diào)試與改進模型：開發(fā)者需要深入了解決策過程，以便診斷錯誤或提升模型性能。如果無法解釋模型，尋找錯誤根源就只能靠猜測。

• 監(jiān)管合規(guī)：在金融和醫(yī)療等領(lǐng)域，監(jiān)管機構(gòu)要求AI決策必須可解釋。例如，歐盟的《通用數(shù)據(jù)保護條例》（GDPR）中就包含了“解釋權(quán)”，要求組織為自動化決策提供清晰的理由。

可解釋性與模型復(fù)雜度之間的權(quán)衡

在人工智能中，可解釋性與模型復(fù)雜度之間常常存在權(quán)衡。像決策樹和線性回歸這樣的模型天生具有可解釋性，但往往缺乏捕捉數(shù)據(jù)中復(fù)雜模式的靈活性。而深度學(xué)習(xí)模型和LLMs雖然具有卓越的預(yù)測能力，但解釋起來卻非常困難。

來看一些例子：

線性回歸：這是一種簡單且可解釋的模型，其系數(shù)直接表明特征與目標(biāo)變量之間的關(guān)系。然而，在復(fù)雜非線性數(shù)據(jù)集上，它的表現(xiàn)可能不盡如人意。

神經(jīng)網(wǎng)絡(luò)：這些模型能夠近似復(fù)雜函數(shù)，并在圖像識別和自然語言處理等任務(wù)中展現(xiàn)出最先進的性能。但理解每個神經(jīng)元或?qū)釉跊Q策過程中的作用卻極具挑戰(zhàn)性。

可解釋性的不同層次與類型可解釋性不應(yīng)與可視化混淆?？梢暬且环N技術(shù)手段，例如繪制特征重要性圖或激活圖，這些可以幫助我們理解模型，但它們本身并不是解釋。

特征重要性圖確實為我們提供了關(guān)于每個特征相對重要性的寶貴見解。然而，它并沒有完全解釋模型為何對某個特定樣本做出這樣的決策。

白盒模型 vs 黑盒模型

白盒模型包括以下幾種：

• 線性回歸：通過系數(shù)直接反映特征與目標(biāo)變量之間的線性關(guān)系。
• 邏輯回歸：通過系數(shù)反映特征對結(jié)果概率的影響。
• 決策樹：通過樹狀結(jié)構(gòu)展示決策路徑，易于理解和解釋。
• 基于規(guī)則的系統(tǒng)：通過預(yù)定義的規(guī)則進行決策，規(guī)則透明且易于理解。
• K-最近鄰（KNN）：通過查找最近的訓(xùn)練樣本進行預(yù)測，決策過程直觀。
• 樸素貝葉斯分類器：基于貝葉斯定理和特征的獨立性假設(shè)進行分類，模型簡單且易于解釋。
• 廣義相加模型（GAMs）：通過加性函數(shù)捕捉特征與目標(biāo)變量之間的關(guān)系，支持對每個特征的獨立解釋。

黑盒模型包括以下幾種：

• 神經(jīng)網(wǎng)絡(luò)（例如，深度學(xué)習(xí)模型）：由于其復(fù)雜的結(jié)構(gòu)和大量的參數(shù)，難以直接解釋。
• 支持向量機（SVMs）：雖然線性核的SVM具有一定的可解釋性，但非線性核的SVM通常被視為黑盒模型。
• 集成方法（例如，隨機森林、梯度提升機）：雖然基于決策樹，但其集成結(jié)構(gòu)增加了復(fù)雜性，難以直接解釋。
• Transformer模型（例如，BERT、GPT）：由于其復(fù)雜的自注意力機制和大量的參數(shù)，難以直接解釋。

圖神經(jīng)網(wǎng)絡(luò)（GNNs）：通過圖結(jié)構(gòu)處理數(shù)據(jù)，內(nèi)部工作機制復(fù)雜，難以直接解釋。

傳統(tǒng)機器學(xué)習(xí)的可解釋性

可解釋模型與不可解釋模型的區(qū)別

當(dāng)我們討論機器學(xué)習(xí)中的可解釋性時，我們指的是能夠清晰地理解和追溯模型是如何得出其預(yù)測結(jié)果的能力?？山忉尩哪Ｐ褪侵溉祟愑^察者可以跟隨決策過程，并直接將輸入特征與輸出預(yù)測聯(lián)系起來的模型。相比之下，不可解釋的模型，通常被稱為“黑箱”模型，由于其結(jié)構(gòu)復(fù)雜，很難理解其預(yù)測背后的邏輯。

一個常見的區(qū)分方法是：

可解釋模型：決策樹和線性模型被認(rèn)為是可解釋的。它們的結(jié)構(gòu)設(shè)計使得每一個決策或系數(shù)都可以被解釋，并追溯回輸入特征。

• 不可解釋模型：神經(jīng)網(wǎng)絡(luò)和集成方法（例如隨機森林和梯度提升）通常是不可解釋的。由于它們的復(fù)雜性，包含眾多的層、節(jié)點和參數(shù)，很難追溯單個預(yù)測。

決策樹決策樹在機器學(xué)習(xí)中被廣泛認(rèn)為是最具可解釋性的模型之一。它們具有簡單直觀的流程圖結(jié)構(gòu)，其中內(nèi)部節(jié)點代表基于特征值的決策規(guī)則，分支表示這些決策的結(jié)果，而葉節(jié)點則包含最終預(yù)測。從根節(jié)點到葉節(jié)點的路徑提供了一個清晰且易于理解的決策過程。

決策樹通過輸入特征的值將數(shù)據(jù)劃分為子集，目標(biāo)是減少不確定性或“不純度”。常見的節(jié)點分裂標(biāo)準(zhǔn)包括：

• 基尼不純度（Gini Impurity）
• 信息增益（Information Gain）

這種結(jié)構(gòu)突顯了為什么決策樹被認(rèn)為是可解釋的：每個決策都可以用輸入特征來解釋，從而便于為模型的預(yù)測提供依據(jù)。盡管決策樹本身具有可解釋性，但它們很容易生長得過深，變得過于復(fù)雜，從而捕捉數(shù)據(jù)中的噪聲并導(dǎo)致過擬合。為了應(yīng)對這一問題，我們采用剪枝技術(shù)，通過移除那些對預(yù)測能力貢獻(xiàn)微乎其微的節(jié)點來簡化樹。主要的剪枝策略有兩種：

• 預(yù)剪枝（Pre-pruning，早期停止）：根據(jù)預(yù)定義的標(biāo)準(zhǔn)（如最大深度或每個葉節(jié)點的最小樣本數(shù)）限制樹的生長。這降低了過擬合的風(fēng)險，同時保持了樹結(jié)構(gòu)的簡單性。
• 后剪枝（Post-pruning）：首先讓樹生長到最大深度，然后剪掉那些對模型性能提升不顯著的節(jié)點。這種方法通常能夠得到一個更平衡的模型，具有更強的泛化能力。

決策樹中的特征重要性是通過評估每個特征在分裂過程中減少節(jié)點不純度的作用來確定的。不純度是衡量節(jié)點內(nèi)無序或隨機性的指標(biāo)，通常使用基尼不純度或熵來評估。當(dāng)一個特征顯著減少不純度時，它會獲得更高的重要性分?jǐn)?shù)。

本質(zhì)上，一個特征在樹分裂中減少不純度的貢獻(xiàn)越大，它就越重要。高特征重要性表明模型在做預(yù)測時高度依賴該特征，使其成為理解模型決策過程的關(guān)鍵因素。

線性模型

線性模型，包括線性回歸和邏輯回歸，是機器學(xué)習(xí)中最具可解釋性的模型之一。它們假設(shè)輸入特征與輸出之間存在線性關(guān)系，這使得理解每個特征對預(yù)測結(jié)果的影響變得非常直觀。盡管線性模型結(jié)構(gòu)簡單，但在數(shù)據(jù)關(guān)系近似線性的情況下，它們依然非常強大。在對可解釋性要求極高的領(lǐng)域，如金融和醫(yī)療保健，線性模型通常是首選。

線性假設(shè)：線性回歸假設(shè)特征與目標(biāo)之間存在線性關(guān)系。這一假設(shè)在復(fù)雜數(shù)據(jù)集中可能不成立。

對異常值敏感：異常值可能會嚴(yán)重影響擬合線，導(dǎo)致預(yù)測結(jié)果不佳。

1. 多重共線性：當(dāng)特征之間高度相關(guān)時，很難確定每個特征對輸出的獨立影響。

支持向量機（SVM）支持向量機（SVM）因其魯棒性以及能夠處理線性和非線性可分?jǐn)?shù)據(jù)而備受推崇。盡管通常被視為“黑箱”模型，但使用線性核的SVM可以通過其決策邊界和支持向量提供一定程度的可解釋性。SVM的目標(biāo)是找到一個超平面，能夠最好地將數(shù)據(jù)劃分為不同的類別。最優(yōu)超平面會最大化邊界（即超平面與每個類別最近數(shù)據(jù)點之間的距離）。這些最近的數(shù)據(jù)點被稱為支持向量，它們是SVM決策過程的核心。

決策邊界：紅線表示將兩個類別分開的超平面。這條線由權(quán)重向量w和偏置項b決定。決策邊界將特征空間劃分為兩個區(qū)域，每個區(qū)域?qū)?yīng)一個類別標(biāo)簽（藍(lán)色和紅色點）。

支持向量：支持向量用較大的空心圓突出顯示。這些是離決策邊界最近的數(shù)據(jù)點，位于邊界邊界上。它們在定義邊界和超平面的方向上起著關(guān)鍵作用。如圖所示，來自兩個類別的幾個支持向量正好位于邊界上。

• 邊界：邊界是穿過支持向量的兩條平行線之間的區(qū)域。SVM算法的目標(biāo)是最大化這個邊界，這提高了模型的泛化能力。較大的邊界表示一個更魯棒的分類器，對數(shù)據(jù)的小變化不那么敏感。

深度學(xué)習(xí)模型的可解釋性

深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNNs）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs），包含多層神經(jīng)元、非線性激活函數(shù)以及大量的參數(shù)。例如，一個簡單的用于圖像分類的CNN可能已經(jīng)包含數(shù)百萬個參數(shù)。隨著網(wǎng)絡(luò)深度和復(fù)雜性的增加，理解每個單獨參數(shù)的貢獻(xiàn)變得不可行。

在深度學(xué)習(xí)中，高維數(shù)據(jù)通過層進行處理，這些層可能會減少或增加維度，使得直接將輸入特征映射到學(xué)習(xí)的表示變得困難。這種抽象阻礙了我們直接解釋學(xué)習(xí)到的特征。

卷積神經(jīng)網(wǎng)絡(luò)（CNNs）的可解釋性

CNNs通過一系列卷積層和池化層從輸入圖像中提取特征。早期層通常捕獲簡單的模式，如邊緣和紋理，而深層則學(xué)習(xí)更抽象、高級的表示，例如物體部件。解釋CNNs最直觀的方法之一是通過可視化這些學(xué)習(xí)到的特征。特征可視化涉及檢查卷積濾波器生成的特征圖，使我們能夠了解輸入圖像的哪些部分激活了特定的濾波器。

特征圖提供了一個視覺上的窺視，讓我們能夠了解模型在不同網(wǎng)絡(luò)階段如何感知輸入圖像。雖然這種類型的可視化有助于理解網(wǎng)絡(luò)的早期層，但由于學(xué)習(xí)到的特征的復(fù)雜性和抽象性，解釋深層的特征圖變得越來越具有挑戰(zhàn)性。

1. 缺乏直接可解釋性：并非所有特征圖都對應(yīng)于人類可識別的模式。許多濾波器可能檢測到難以視覺解釋的抽象特征。
2. 依賴輸入數(shù)據(jù)：可視化的特征高度依賴于輸入圖像。不同的圖像可能會激活不同的濾波器，這使得很難將解釋推廣到各種輸入。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）的可解釋性

RNN的核心能力在于其隱藏狀態(tài)，這些狀態(tài)隨每個時間步長演變。隱藏狀態(tài)作為記憶單元，存儲序列中以前輸入的信息。然而，解釋隱藏狀態(tài)中編碼的信息是具有挑戰(zhàn)性的，因為它們代表了過去輸入的復(fù)雜非線性組合。

為了深入了解隱藏狀態(tài)，一種常見的方法是可視化它們隨時間的變化。例如，繪制不同時間步長的隱藏狀態(tài)激活可以揭示模式，例如對輸入序列某些部分的注意力增加或敏感性增強。自注意力機制與Transformer模型的可解釋性自注意力機制允許模型根據(jù)每個輸入標(biāo)記相對于其他所有標(biāo)記的重要性進行加權(quán)。該機制涉及的關(guān)鍵組件是查詢（query）、鍵（key）和值（value）向量，這些向量是為每個標(biāo)記計算的。

• is the query matrix.
• is the key matrix.
• is the value matrix.
• is the dimension of the key vectors.

在這個例子中，熱力圖可視化了一個小的注意力權(quán)重矩陣，其中每個單元格代表輸入標(biāo)記和輸出標(biāo)記之間的注意力分?jǐn)?shù)。每個單元格的顏色強度表示注意力分?jǐn)?shù)的強度，便于識別對輸出標(biāo)記最有影響力的輸入標(biāo)記。

大型語言模型（LLMs）的可解釋性

大型語言模型（LLMs）是一類變革性的深度學(xué)習(xí)模型，旨在理解和生成人類語言。這些模型利用大量的訓(xùn)練數(shù)據(jù)和Transformer架構(gòu)，徹底改變了自然語言處理（NLP），在文本分類、翻譯、摘要、對話系統(tǒng)甚至代碼生成等廣泛任務(wù)中達(dá)到了最先進的性能。

嵌入分析和探測LLMs中的嵌入是高維表示，編碼了關(guān)于單詞、短語和句子的豐富語義信息。嵌入分析幫助我們理解模型學(xué)到了哪些語言屬性以及這些屬性在嵌入空間中的組織方式。

降維技術(shù)如t-SNE（t分布隨機鄰域嵌入）和PCA（主成分分析）常用于可視化嵌入。通過將嵌入投影到二維或三維空間，我們可以觀察到揭示單詞之間語義關(guān)系的聚類模式。

神經(jīng)逐層可解釋性神經(jīng)逐層可解釋性專注于理解Transformer架構(gòu)中各個層的作用。在像BERT這樣的大型語言模型（LLMs）中，每一層都捕捉了不同層次的語言信息，共同構(gòu)成了模型對輸入文本的整體理解。

早期層：這些層傾向于捕捉表面級特征，如標(biāo)記身份和基本的句法模式。模型在這個階段專注于理解單個單詞及其基本關(guān)系。

• 中間層：中間層負(fù)責(zé)捕捉更抽象的句法結(jié)構(gòu)和依賴關(guān)系，如主謂一致和語法關(guān)系。這些層幫助模型理解句子結(jié)構(gòu)。
• 晚期層：這些層編碼高級語義信息和特定于任務(wù)的表示。它們直接貢獻(xiàn)于最終預(yù)測，通常包含輸入文本中最抽象和上下文感知的特征。

探測嵌入中的知識

句法探測：評估模型對句法屬性的理解。例如，它檢查嵌入是否能夠區(qū)分句子中的主語和賓語，捕捉單詞的句法角色。

語義探測：檢查模型是否捕捉了語義關(guān)系，如單詞相似性或蘊含關(guān)系。它旨在了解嵌入是否反映了更深層次的語義特征，如同義詞或反義詞。