杜克大學計算機科學教授辛西婭·魯丁說，但這就是問題所在。“我們可以輸入醫學圖像，然后觀察另一端的結果（‘這是惡性病變的照片’，但是很難知道兩者之間發生了什么。”

這就是所謂的“黑匣子”問題。機器的想法-網絡的隱藏層-甚至對于制造它的人來說都是難以理解的。

“深度學習模型的問題在于它們是如此復雜，以至于我們實際上并不知道他們正在學習什么。”杜克大學魯丁實驗室的學生。“他們經常可以利用我們不希望他們得到的信息。他們的推理過程可能是完全錯誤的。”

魯丁（Rudin），陳（Chen）和杜克大學（Duke）的本科畢業生貝jie杰（Yijie Bei）提出了解決此問題的方法。通過修改這些預測背后的推理過程，研究人員可以更好地對網絡進行故障排除或了解它們是否值得信賴。

大多數方法試圖通過找出指向圖像的關鍵特征或像素來揭示導致計算機視覺系統正確答案的原因：“這種胸部X射線的生長被歸類為惡性的，因為對于該模型，這些領域對于肺癌的分類至關重要。”這樣的方法并不能揭示網絡的原因，而只是揭示了它所處的位置。

公爵隊嘗試了另一種方法。他們的方法不是嘗試事后考慮網絡的決策，而是訓練網絡通過表達對概念的理解來展示其工作。他們的方法通過揭示網絡需要多少來思考不同的概念來幫助破譯它所看到的內容而起作用。魯丁說：“它弄清楚了在網絡層中如何表示不同的概念。”

例如，給定一個圖書館的圖像，該方法可以確定神經網絡的不同層是否以及依賴于它們對“書”的心理表達來識別場景的程度和程度。

研究人員發現，只需對神經網絡進行少量調整，就可以像原始網絡一樣準確地識別圖像中的對象和場景，同時在網絡的推理過程中獲得實質性的可解釋性。魯丁說：“該技術的應用非常簡單。”

該方法控制信息流經網絡的方式。它涉及用新部分替換神經網絡的一個標準部分。新部分僅約束網絡中的單個神經元響應人類所理解的特定概念而觸發。這些概念可以是日常物品的類別，例如“書”或“自行車”。但是它們也可以是一般特征，例如“金屬”，“木材”，“冷”或“溫暖”。通過一次只讓一個神經元控制一個概念的信息，就很容易理解網絡的“思維方式”。

責任編輯：lq