編者按：如果不用寫代碼就能對機(jī)器學(xué)習(xí)模型進(jìn)行審查，那會是怎樣的體驗(yàn)？今天，谷歌開源了一款工具，名為What-If，具體有以下幾種功能：

對推斷結(jié)果可視化；

編輯數(shù)據(jù)點(diǎn)，看模型會有怎樣的反應(yīng)；

研究單一特征對模型的影響；

研究反事實(shí)樣本；

用相似度安排樣本；

查看混淆矩陣和ROC曲線；

測試算法公平性。

以下是論智對這一工具進(jìn)行的詳細(xì)介紹：

打造高效的機(jī)器學(xué)習(xí)系統(tǒng)意味著要問很多問題，僅僅訓(xùn)練模型是不夠的，優(yōu)秀的機(jī)器學(xué)習(xí)專家會像偵探一樣，對模型進(jìn)行詳細(xì)調(diào)查，以更好地理解它們：數(shù)據(jù)點(diǎn)的改變將如何影響模型的預(yù)測？針對不同的群體，模型的表現(xiàn)有何不同？我要測試的數(shù)據(jù)集中包含多少種類的數(shù)據(jù)？

想要回答這類問題可并不容易。研究機(jī)器學(xué)習(xí)模型的使用場景通常要用定制的、一次性的代碼分析。這一過程不僅低效，而且對不會編程的人員也不友好。谷歌AI PAIR計(jì)劃其中一個(gè)努力方向就是讓更多的人能參與到機(jī)器學(xué)習(xí)系統(tǒng)的檢查、評估和debug中來。

今天，我們發(fā)布What-If工具，這是一款新的開源TensorBoard網(wǎng)頁應(yīng)用，能讓我們無需編寫代碼就能分析一款機(jī)器學(xué)習(xí)模型。給定一個(gè)TensorFlow模型和數(shù)據(jù)集，What-If工具可以展示出表現(xiàn)模型結(jié)果的交互界面。

What-If工具，展示了250張人臉圖像和模型在其中檢測微笑的結(jié)果

What-If工具有多種功能，包括用Facets自動(dòng)對你的數(shù)據(jù)集進(jìn)行可視化、從數(shù)據(jù)集中手動(dòng)編輯樣本的能力以及觀察這些變化帶來的影響、并且自動(dòng)生成partial dependence plots，展示模型的預(yù)測是如何隨著單一特征的變化而變化的。接下來就是對這兩種特征的詳細(xì)介紹。

在一個(gè)數(shù)據(jù)點(diǎn)上探索what-if場景

反事實(shí)（counterfactuals）

只需要點(diǎn)擊鼠標(biāo)，你就能比較一個(gè)數(shù)據(jù)點(diǎn)和另一個(gè)相似的數(shù)據(jù)點(diǎn)，但模型在后者上預(yù)測出了不同的結(jié)果。我們將這樣的數(shù)據(jù)點(diǎn)稱為“counterfactuals”，它們可以告訴你有關(guān)模型決策邊界的信息。

在下方的截圖中，這款工具就用到了一個(gè)二元分類模型上，它是根據(jù)UCI的人口普查數(shù)據(jù)來判斷某人的收入是否大于5萬美元。這是很多機(jī)器學(xué)習(xí)研究者都會用到的預(yù)測模型，尤其是分析算法的公平性時(shí)。在這個(gè)案例中，對于選擇的數(shù)據(jù)點(diǎn)，模型預(yù)測出的結(jié)果有73%的置信度認(rèn)為該人的收入高于5萬美金。該工具自動(dòng)定位了數(shù)據(jù)集中另一位與之相似的對象，但模型預(yù)測他的收入小于5萬美金，并將這兩個(gè)目標(biāo)進(jìn)行了比對。在這種情況下，對年齡和職業(yè)進(jìn)行稍稍改動(dòng)，模型的預(yù)測就有了變化。

比較counterfactuals

分析模型性能和算法公平性

你還可以探索不同分類閾值所帶來的不同影響，下方的截圖展示了另一個(gè)微笑監(jiān)測模型的結(jié)果，他在開源的CelebA數(shù)據(jù)集上進(jìn)行的訓(xùn)練，該數(shù)據(jù)集含有經(jīng)過標(biāo)記的名人人臉圖像。在下方的案例中，數(shù)據(jù)集中的人臉根據(jù)頭發(fā)顏色進(jìn)行了分類，每兩組數(shù)都有一個(gè)ROC曲線和針對預(yù)測的混淆矩陣，以及設(shè)置了模型判斷人臉在微笑的信心有多少。在這個(gè)案例中，兩組數(shù)據(jù)的置信區(qū)間是用該工具自動(dòng)設(shè)置的，從而保證公平性。

比較兩部分?jǐn)?shù)據(jù)在微笑探測器上的性能

Demos

為了說明What-If工具的能力，我們用預(yù)訓(xùn)練模型展示了一套demo：

檢測錯(cuò)誤分類：一個(gè)多種類分類模型，它可以從眾多植物中預(yù)測某株植物的種類。這一工具在展示模型決策邊界、判斷如何造成錯(cuò)誤分類時(shí)是非常有用的。模型是在UCI iris數(shù)據(jù)集上進(jìn)行訓(xùn)練的。

評估二元分類模型中的公平性：正是上文中我們提到的微笑探測模型。What-If工具可以幫助我們在多個(gè)分類中評估算法公平性。模型在訓(xùn)練時(shí)沒有提供任何具體任務(wù)的圖片，為的就是證明What-If工具能如何幫助模型解除偏見。評估公平性需要仔細(xì)考慮所有語境，但這的確是有用的量化起始點(diǎn)。

在不同子集中研究模型性能：例如一個(gè)可以預(yù)測目標(biāo)對象年齡的回歸模型，What-If工具就可以展示與模型相關(guān)的其他子集上的性能信息，以及不同的特征是如何影響預(yù)測結(jié)果的。模型同樣是在UCI人口普查數(shù)據(jù)集上進(jìn)行的訓(xùn)練。

在實(shí)際中應(yīng)用What-If工具

我們在谷歌內(nèi)部團(tuán)隊(duì)中對What-If進(jìn)行了測試，發(fā)現(xiàn)了它的很多好處。其中一個(gè)團(tuán)隊(duì)很快就發(fā)現(xiàn)了他們的模型忽視了數(shù)據(jù)集中的一個(gè)重要的特征，從而修復(fù)了之前沒有發(fā)現(xiàn)的代碼bug。另一個(gè)團(tuán)隊(duì)用該工具對它們的樣本性能進(jìn)行從優(yōu)到劣的可視化排序，讓他們看到了模型樣本的類型構(gòu)成。

不論是谷歌的員工還是其他領(lǐng)域的從業(yè)者，我們都希望這款工具能讓用戶更好地了解機(jī)器學(xué)習(xí)模型，并對公平性有所了解。另外，此工具的代碼是開源的，歡迎大家嘗試并提出意見。