隨著深度神經(jīng)網(wǎng)絡(luò)功能越來越強(qiáng)大，它們的結(jié)構(gòu)也越來越復(fù)雜。這些復(fù)雜結(jié)構(gòu)也帶來了新的問題，即模型的可解釋性。

想創(chuàng)建穩(wěn)定、不易受對(duì)抗樣本攻擊的模型，可解釋性是很重要的。另外，為新的研究領(lǐng)域設(shè)計(jì)模型也是一項(xiàng)富有挑戰(zhàn)的工作，如果能了解模型在做什么，可以對(duì)這一過程有所幫助。

過去幾年，為了對(duì)模型的可解釋性加以研究，研究者們提出了多種方法，包括：

LIME：通過局部線性近似值計(jì)算解釋模型的預(yù)測(cè)

Activation Maximization：一種能了解那種輸入模式可以生成最大的模型回應(yīng)的方法

特征可視化

在低維解釋空間中嵌入一個(gè)DNN圖層

從認(rèn)知心理學(xué)中借鑒方法

不確定性估計(jì)法——本文關(guān)注的重點(diǎn)

在我們開始研究如何用不確定性解決模型問題、解釋模型之前，首先讓我們了解一下為什么不確定性如此重要。

你為什么應(yīng)該關(guān)注不確定性？

一個(gè)重要的例子就是高風(fēng)險(xiǎn)的應(yīng)用，假設(shè)你正在創(chuàng)建一個(gè)模型，可以幫助醫(yī)生判斷病人的嚴(yán)重程度。在這種情況下，我們不應(yīng)該僅僅關(guān)心模型的精確度，更要關(guān)注模型對(duì)其預(yù)測(cè)結(jié)果有多大程度的肯定。如果不確定性太高，醫(yī)生需要謹(jǐn)慎決策。

自動(dòng)駕駛汽車是另外一個(gè)有趣的例子。如果模型不確定是否有行人在馬路上，我們可以利用這一信息讓車子減速，或者發(fā)出警報(bào)讓駕駛員手動(dòng)操作。

不確定性還可以在缺乏數(shù)據(jù)樣本的情況下幫助我們。如果模型不是在與樣本相似的數(shù)據(jù)上訓(xùn)練的，它可能無法輸出想要的結(jié)果。谷歌照片曾經(jīng)將黑種人錯(cuò)誤地認(rèn)成了大猩猩，就是由于這個(gè)原因，種類單一的訓(xùn)練集可能導(dǎo)致令人尷尬的結(jié)果。

不確定性的最大用途，也是本文的主要目的，就是為模型排除錯(cuò)誤。首先，讓我們了解一下不確定性都有哪幾種不同類型。

不確定性的種類

不確定性和模型都有多個(gè)種類，每一種都有不同的用處。

模型不確定性，又稱認(rèn)知不確定性（epistemic uncertainty）：假設(shè)你有一個(gè)單一數(shù)據(jù)點(diǎn)，想知道哪種線性模型是最適合數(shù)據(jù)的。但是沒有數(shù)據(jù)的話，我們根本無法判斷，所以需要更多數(shù)據(jù)！

認(rèn)知不確定性是由于模型的參數(shù)不確定。我們不知道模型的哪個(gè)權(quán)重能最好地表現(xiàn)數(shù)據(jù)，但是數(shù)據(jù)越多，不確定性越低。這種類型的不確定性在數(shù)據(jù)較少的高風(fēng)險(xiǎn)應(yīng)用中很重要。

再比如，你想搭建一個(gè)模型，要在一系列動(dòng)物圖片中預(yù)測(cè)哪種動(dòng)物會(huì)吃掉你。假設(shè)你在訓(xùn)練時(shí)給模型提供的都是獅子和長(zhǎng)頸鹿的照片，現(xiàn)在模型看到了一張僵尸照片。由于之前它沒有見過僵尸，所以這里的不確定性就非常高。如果在訓(xùn)練時(shí)能提供足夠的僵尸照片，那么模型的不確定性會(huì)隨之減少。

數(shù)據(jù)不確定性，也被稱為“任意不確定性”：能夠捕捉觀察中的噪聲。有時(shí)環(huán)境本身是隨機(jī)的，收集更多數(shù)據(jù)并不會(huì)使不確定性降低，因?yàn)樵肼晛碓从跀?shù)據(jù)本身。

為了了解這一點(diǎn)，讓我們回顧剛才的動(dòng)物園模型。我們的模型能認(rèn)出含有獅子的圖像，它也許會(huì)判斷你會(huì)被吃掉。但如果獅子此時(shí)此刻并不餓呢？這就是來源于數(shù)據(jù)的不確定性。另一個(gè)案例是兩條看起來一模一樣的蛇，一條有毒而另一條無毒。

數(shù)據(jù)不確定性可以分為兩種類別：

同方差性不確定：對(duì)所有輸入來說，不確定性都是相同的；

異方差性不確定：不確定性根據(jù)不同的輸入有不同差別。例如，對(duì)于一個(gè)可以預(yù)測(cè)圖像中物體深度的模型，一面墻就比一條漸漸消失的線不確定性要高。

測(cè)量不確定性：顧名思義，當(dāng)測(cè)量方法充滿噪音時(shí)，不確定性就會(huì)增加。在上述動(dòng)物的案例中，如果某些圖片拍攝的質(zhì)量不好，就會(huì)損害模型的置信度。

噪聲標(biāo)簽：在監(jiān)督式學(xué)習(xí)下，我們用標(biāo)簽訓(xùn)練模型。如果標(biāo)簽太嘈雜，不確定性將會(huì)增加。

以上就是幾種不確定性的類型，在這一系列的后續(xù)文章中，我們會(huì)詳細(xì)解釋。現(xiàn)在，讓我們假設(shè)有一個(gè)黑箱模型，此時(shí)針對(duì)預(yù)測(cè)結(jié)果出現(xiàn)了不確定，我們應(yīng)該如何用它為模型糾錯(cuò)呢？

這里我們以自己的模型為例，該模型是預(yù)測(cè)用戶點(diǎn)擊某個(gè)推薦內(nèi)容的概率，我們稱為CTR（Click Through Rate）。

利用不確定性進(jìn)行debug

模型的嵌入向量表現(xiàn)出了很多分類特征，模型可能很難學(xué)習(xí)特殊值的泛化嵌入。一種常見的解決方法是用一種特殊的詞匯表之外（OOV）的嵌入。

每篇推薦文章都有一個(gè)廣告主（advertiser），所有珍貴的廣告主都有同樣的OOV嵌入，所以，從模型的角度，他們實(shí)際上是一個(gè)廣告主。這個(gè)OOV廣告主有很多不同的項(xiàng)目，每個(gè)都有不同的CTR。如果我們只有廣告主作為CTR的預(yù)測(cè)器，那我們應(yīng)該會(huì)得到OOV的高度不確定性。

為了驗(yàn)證模型的輸出符合OOV的高度不確定性，我們用一個(gè)驗(yàn)證集，將所有廣告主的嵌入轉(zhuǎn)化為OOV。之后，我們開始觀察轉(zhuǎn)化前后，不確定性有什么變化。如此前預(yù)測(cè)的那樣，不確定性在變化之后增加。模型應(yīng)該能學(xué)習(xí)到，當(dāng)給予了信息廣告主，它應(yīng)該減少不確定性。

我們可以對(duì)不同特征重復(fù)這一過程，看它們的不確定性如何改變。

我們甚至可以做得更加精細(xì)：一些廣告主在不同的項(xiàng)目之間的CTR不同，而其他的項(xiàng)目幾乎有相同的CTR。我們希望模型能對(duì)前者有較高的不確定性。一種有效的分析是觀察不確定性和CTR之間的相關(guān)性。如果呈負(fù)相關(guān)，那就意味著模型無法學(xué)習(xí)不確定性和每個(gè)廣告主之間的關(guān)系。這一工具讓我們了解了，如果在訓(xùn)練過程中或模型結(jié)構(gòu)中有某一部分出了錯(cuò)，我們可以怎樣解決它。

我們還可以進(jìn)行相似的分析，看看如果不確定性與特殊項(xiàng)目連接，是否會(huì)減少更多。另外，我們希望模型對(duì)輸出的結(jié)果更加確定，如果不確定，我們會(huì)盡力修復(fù)模型！

另一個(gè)例子是題目特征：含有不常見詞語的標(biāo)題通常具有高不確定性。這是由于模型不經(jīng)常看到這類詞語。我們可以在含有相似題目的驗(yàn)證集中對(duì)模型進(jìn)行驗(yàn)證，估計(jì)模型對(duì)這些標(biāo)題的不確定性是多少。然后重新用這些標(biāo)題訓(xùn)練模型，看看不確定性是否會(huì)下降：

結(jié)語

在很多領(lǐng)域中，不確定性是很重要的問題，更重要的是根據(jù)不同應(yīng)用確定不確定性的種類，然后據(jù)此解決模型的問題。這篇文章我們討論了如何利用不確定性對(duì)模型進(jìn)行debug，在下一篇文章中，我們會(huì)講解如何用不同方法從模型中獲得不確定性的估值。