近日，Judea Pearl 發(fā)表技術(shù)報告，指出當前機器學(xué)習(xí)的三個主要障礙，并提出了強人工智能的完整結(jié)構(gòu)應(yīng)該包含三個層級，而當前的機器學(xué)習(xí)尚處于底層，最后他列舉了七個用于克服這些障礙的因果推理工具。

機器學(xué)習(xí)的巨大成功帶來了 AI 應(yīng)用的爆炸式增長以及對具備人類級別智能的自動化系統(tǒng)不斷增長的期望。然而，這些期望在很多應(yīng)用領(lǐng)域中都遇到了基本的障礙。其中一個障礙就是適應(yīng)性或魯棒性。機器學(xué)習(xí)研究者注意到當前的系統(tǒng)缺乏識別或響應(yīng)未經(jīng)特定編程或訓(xùn)練的新環(huán)境的能力。人們在「遷移學(xué)習(xí)」、「域適應(yīng)」和「終身學(xué)習(xí)」[Chen and Liu 2016] 這些方向進行大量理論和實驗研究就是為了克服這個障礙。

另一個障礙是可解釋性，即「機器學(xué)習(xí)模型仍然主要是黑箱的形式，無法解釋其預(yù)測或推薦背后的原因，因此降低了用戶的信任，阻礙了系統(tǒng)診斷和修復(fù)。」[Marcus 2018]

第三個障礙和對因果關(guān)系的理解相關(guān)。理解因果關(guān)系這一人類認知能力的標志是達到人類級別智能的必要（非充分）條件。這個要素應(yīng)該使計算機系統(tǒng)對環(huán)境進行簡潔的編碼和模塊化的表征，對表征進行質(zhì)詢，通過想象對表征進行變化，并最終回答類似「如果……會如何？」這樣的問題。例如，干預(yù)性的問題：「如果我讓……發(fā)生了會如何？」，以及回溯性或解釋性的問題：「如果我采取不同的做法會如何？」或「如果某件事情沒有發(fā)生會如何？」

Pearl 假設(shè)以上三個障礙需要用結(jié)合了因果建模工具的機器來解決，特別是因果圖示和它們的相關(guān)邏輯。圖模型和結(jié)構(gòu)模型的進展使得反事實推理在計算上可行，因此使得因果推理成為強人工智能中的有效組件。

在下一部分中，作者將描述限制和支配因果推理的三個層級。最后一部分總結(jié)了如何使用因果推理的現(xiàn)代工具避免傳統(tǒng)機器學(xué)習(xí)的障礙。

三層因果層級

因果模型揭示的一個有用觀點是按照問題類型對因果信息進行分類，每個類別能夠回答特定的問題。該分類形成了一個三層的層級結(jié)構(gòu)，只有在獲取第 j 層（j ≥ i）信息時，第 i 層（i = 1, 2, 3）的問題才能夠被解答。

圖 1 展示了該三層層級結(jié)構(gòu)，以及每一層可回答的典型問題。這三層的名字分別是 1. 關(guān)聯(lián)（Association）、2. 干預(yù)（Intervention）、3. 反事實（Counterfactual）。這些名字是為了凸顯每一層的作用。作者將第一層叫做「關(guān)聯(lián)」是因為它僅僅調(diào)用統(tǒng)計關(guān)系，由裸數(shù)據(jù)來定義。例如，觀察一位購買牙膏的顧客使得他／她購買牙線的可能性增大；此類關(guān)聯(lián)可以使用條件期望直接從觀測數(shù)據(jù)中推斷得到。這一層的問題不需要因果信息，因此它們可以被放置在該三層層級架構(gòu)的最底層。第二層「干預(yù)」層次比「關(guān)聯(lián)」高，因為它不只涉及觀察，還會改變觀察到的信息。這一層的典型問題是：如果我們把價格提高一倍會怎樣？此類問題無法僅根據(jù)銷售數(shù)據(jù)來回答，因為它們涉及顧客行為針對新價格所作出的改變。這些選擇可能與之前的提價情況中顧客所作出的選擇大相徑庭。（除非我們精確復(fù)制價格提高一倍時的已有市場條件。）最后，頂層是「反事實」，「反事實」一詞可以追溯到哲學(xué)家 David Hume 和 John Stewart Mill，在過去二十年中「反事實」被賦予了和計算機有關(guān)的語義。這一層的典型問題是「如果我采取不同的做法會怎樣」，因此需要回溯推理（retrospective reasoning）。

圖 1：因果層級。只有可獲取第 i 層及以上層級的信息時，第 i 層的問題才可以被解答。

因果推理的 7 個工具（或只有使用因果模型才能做到的事情）

考慮以下 5 個問題：

給定的療法在治療某種疾病上的有效性？

是新的稅收優(yōu)惠導(dǎo)致了銷量上升嗎？

每年的醫(yī)療費用上升是由于肥胖癥人數(shù)的增多嗎？

招聘記錄可以證明雇主的性別歧視罪嗎？

我應(yīng)該放棄我的工作嗎？

這些問題的一般特征是它們關(guān)心的都是原因和效應(yīng)的關(guān)系，可以通過諸如「治療」、「導(dǎo)致」、「由于」、「證明」和「我應(yīng)該」等詞識別出這類關(guān)系。這些詞在日常語言中很常見，并且我們的社會一直都需要這些問題的答案。然而，直到最近也沒有足夠好的科學(xué)方法對這些問題進行表達，更不用說回答這些問題了。和幾何學(xué)、機械學(xué)、光學(xué)或概率論的規(guī)律不同，原因和效應(yīng)的規(guī)律曾被認為不適合應(yīng)用數(shù)學(xué)方法進行分析。

這種誤解有多嚴重呢？實際上僅幾十年前科學(xué)家還不能為明顯的事實「mud does not cause rain」寫下一個數(shù)學(xué)方程。即使是今天，也只有頂尖的科學(xué)社區(qū)能寫出這樣的方程并形式地區(qū)分「mud causes rain」和「rain causes mud」。

過去三十年事情已發(fā)生巨大變化。一種強大而透明的數(shù)學(xué)語言已被開發(fā)用于處理因果關(guān)系，伴隨著一套把因果分析轉(zhuǎn)化為數(shù)學(xué)博弈的工具。這些工具允許我們表達因果問題，用圖和代數(shù)形式正式編纂我們現(xiàn)有的知識，然后利用我們的數(shù)據(jù)來估計答案。進而，這警告我們當現(xiàn)有知識或可獲得的數(shù)據(jù)不足以回答我們的問題時，暗示額外的知識或數(shù)據(jù)源以使問題變的可回答。

作者把這種轉(zhuǎn)化稱為「因果革命」（Pearl and Mackenzie, 2018, forthcoming），而導(dǎo)致因果革命的數(shù)理框架稱之為「結(jié)構(gòu)性因果模型」（SCM）。

SCM 由三部分構(gòu)成：

1. 圖模型

2. 結(jié)構(gòu)化方程

3. 反事實和介入式邏輯

圖模型作為表征知識的語言，反事實邏輯幫助表達問題，結(jié)構(gòu)化方程以清晰的語義將前兩者關(guān)聯(lián)起來。

圖 2 描述了 SCM 作為推斷引擎時的運行流程。該引擎接受三種輸入：假設(shè)（Assumptions）、查詢（Queries）和數(shù)據(jù)（Data），并生成三種輸出：被估量（Estimand）、估計值（Estimate）和擬合指數(shù)（fit indices）。被估量（E_s）是一個數(shù)學(xué)公式，該公式基于假設(shè)，提供從任意假設(shè)數(shù)據(jù)中回答查詢的方法（可獲取假設(shè)數(shù)據(jù)的情況下）。在接收到數(shù)據(jù)后，該引擎使用被估量來生成問題的實際估計值 E_s hat，以及問題置信度的統(tǒng)計估計值（以反映數(shù)據(jù)集的有限規(guī)模，以及可能的衡量誤差或缺失數(shù)據(jù)）。最后，該引擎生成一個「擬合指數(shù)」列表，可衡量數(shù)據(jù)與模型傳遞的假設(shè)的兼容性。

圖 2：SCM「推斷引擎」結(jié)合數(shù)據(jù)和因果模型（或假設(shè)），生成查詢的答案。

接下來介紹 SCM 框架的 7 項最重要的特性，并討論每項特性對自動化推理做出的獨特貢獻。

1. 編碼因果假設(shè)—透明性和可試性

圖模型可以用緊湊的格式編碼因果假設(shè)，同時保留透明性和可試性。其透明性使我們可以了解編碼的假設(shè)是否可信（科學(xué)意義上），以及是否有必要添加其它假設(shè)?？稍囆允刮覀儯ㄗ鳛槿祟惢驒C器）決定編碼的假設(shè)是否與可用的數(shù)據(jù)相容，如果不相容，分辨出需要修改的假設(shè)。利用 d-分離（d-separate）的圖形標準有助于以上過程的執(zhí)行，d-分離構(gòu)成了原因和概率之間的關(guān)聯(lián)。通過 d-分離可以知道，對模型中任意給定的路徑模式，哪些依賴關(guān)系的模式才是數(shù)據(jù)中應(yīng)該存在的（Pearl，1988）。

2. do-calculus 和混雜控制

混雜是從數(shù)據(jù)中提取因果推理的主要障礙，通過利用一種稱為「back-door」的圖形標準可以完全地「解混雜」。特別地，為混雜控制選擇一個合適的協(xié)變量集合的任務(wù)已被簡化為一種簡單的「roadblocks」問題，并可用簡單的算法求解。（Pearl，1993）

為了應(yīng)對「back-door」標準不適用的情況，人們開發(fā)了一種符號引擎，稱為 do-calculus，只要條件適宜，它可以預(yù)測策略干預(yù)的效應(yīng)。每當預(yù)測不能由具體的假設(shè)確定的時候，會以失敗退出（Pearl, 1995; Tian and Pearl, 2002; Shpitser and Pearl, 2008）。

3. 反事實算法

反事實分析處理的是特定個體的行為，以確定清晰的特征集合。例如，假定 Joe 的薪水為 Y=y，他上過 X=x 年的大學(xué)，那么 Joe 接受多一年教育的話，他的薪水將會是多少？

在圖形表示中使用反事實推理是將因果推理應(yīng)用于編碼科學(xué)知識的非常有代表性的研究。每一個結(jié)構(gòu)化方程都決定了每一個反事實語句的真值。因此，我們可以解析地確定關(guān)于語句真實性的概率是不是可以從實驗或觀察研究（或?qū)嶒灱佑^察）中進行估計（Balke and Pearl, 1994; Pearl, 2000, Chapter 7）。

人們在因果論述中特別感興趣的是關(guān)注「效應(yīng)的原因」的反事實問題（和「原因的效應(yīng)」相對）。（Pearl，2015）

4. 調(diào)解分析和直接、間接效應(yīng)的評估

調(diào)解分析關(guān)心的是將變化從原因傳遞到效應(yīng)的機制。對中間機制的檢測是生成解釋的基礎(chǔ)，且必須應(yīng)用反事實邏輯幫助進行檢測。反事實的圖形表征使我們能定義直接和間接效應(yīng)，并確定這些效應(yīng)可從數(shù)據(jù)或?qū)嶒炛性u估的條件（Robins and Greenland, 1992; Pearl, 2001; VanderWeele, 2015）

5. 外部效度和樣本選擇偏差

每項實驗研究的有效性都需要考慮實驗和現(xiàn)實設(shè)置的差異。不能期待在某個環(huán)境中訓(xùn)練的模型可以在環(huán)境改變的時候保持高性能，除非變化是局域的、可識別的。上面討論的 do-calculus 提供了完整的方法論用于克服這種偏差來源。它可以用于重新調(diào)整學(xué)習(xí)策略、規(guī)避環(huán)境變化，以及控制由非代表性樣本帶來的偏差（Bareinboim and Pearl, 2016）。

6. 數(shù)據(jù)丟失

數(shù)據(jù)丟失的問題困擾著實驗科學(xué)的所有領(lǐng)域?；卮鹫卟粫谡{(diào)查問卷上填寫所有的條目，傳感器無法捕捉環(huán)境中的所有變化，以及病人經(jīng)常不知為何從臨床研究中突然退出。對于這個問題，大量的文獻致力于統(tǒng)計分析的黑箱模型范式。使用缺失過程的因果模型，我們可以形式化從不完整數(shù)據(jù)中恢復(fù)因果和概率的關(guān)系的條件，并且只要條件被滿足，就可以生成對所需關(guān)系的一致性估計（Mohan and Pearl, 2017）。

7. 挖掘因果關(guān)系

上述的 d-分離標準使我們能檢測和列舉給定因果模型的可測試推斷。這為利用不精確的假設(shè)、和數(shù)據(jù)相容的模型集合進行推理提供了可能，并可以對模型集合進行緊湊的表征。人們已在特定的情景中做過系統(tǒng)化的研究，可以顯著地精簡緊湊模型的集合，從而可以直接從該集合中評估因果問詢。