引言

推理是人類智能活動的重要組成部分，一直以來是人工智能研究的核心內容。人工智能進入了以深度學習技術為主導的新時代, 無論是計算機視覺、語音識別、語言理解、機器翻譯、對話系統等，似乎無處不是數據驅動下深度學習的“功勞”。從推理的視角來看，從已知的事實（有標注的數據），得出未知的結論，就是推理。但對智能系統做出的推理結果，需要有一個行為的解釋機制。

深度學習是一個黑箱，最大的弊端是缺乏對其結果的解釋能力。回想在知識工程時代，基于規則的專家系統技術，其結果卻具有很好的解釋性。受此啟發，我們提出這樣一個問題：在解決“可解釋”的推理上，傳統的知識工程技術是否可以繼續發揮作用？可解釋的人工智能未來的發展方向是什么?

基于知識工程的可解釋推理

讓我們回顧一下人工智能推理的早期階段——知識工程時代。知識工程包括知識的獲取、表達和推理，其本質是將數據轉換為易于機器處理的結構化知識。一個典型的專家系統由知識庫與推理機組成，前者需要專家人工構建（見圖1）。知識工程的代表——專家系統，可以順著推理機使用到的規則, 表現出很好的解釋能力。從20 世紀90 年代后期開始，知識工程因以下一些困擾而進入了低潮。

圖1：傳統知識工程的組成

1. 知識獲取困難。知識庫構建過程中依賴專家人工構建的方式。如Cyc[1] 在2000 年，積累了160 萬條常識性知識，在耗費了350 人/ 年的成本后最終失敗。

2. 構建專家系統需要完備的領域知識（包括常識），對于大部分問題本身具有的不確定性，要從專家的經驗中構建推理引擎非常困難，這限制了專家系統的應用。

盡管知識工程這個名詞已不再流行，但知識工程將數據轉換為易于機器處理的結構化知識的本質，其自頂向下的演繹推理方式可能是解開目前可解釋性缺失困擾的途徑之一。目前已經出現的一系列研究正在彌補傳統知識工程的缺陷，并努力將知識引導與數據驅動這兩種知識獲取與推理方式進行融合，其中一個典型的代表就是CMU 的永不停息語言學習者NELL[2]。NELL 通過機器學習、NLP 等數據驅動手段并結合人工介入，來從互聯網網頁中析取斷言式知識(beliefs)，形成海量的通用知識圖譜，這從一定程度上解決了解釋性中知識來源的問題，改善了傳統知識工程知識獲取困難的問題。在基于知識的推理方面，IBM 的Watson 系統[3] 在Jeopardy 挑戰中戰勝了兩位人類冠軍，其核心算法Deep QA 通過生成問題答案的候選（假設），在非結構化數據中收集證據，并用機器學習模型對證據進行評分，最后利用聚合算法實現對假設的排序。這種方式借鑒了專家系統中推理引擎的推理流程，實現了數據驅動算法與推理流程的有機融合。圖神經網絡[4] 等研究也正嘗試將傳統的貝葉斯網絡和知識圖譜，與深度學習相融合，來探索深度學習的可解釋機制。

未來與展望

可解釋性的問題正在引起各界的關注。2017 年7 月美國國防部高級研究計劃署啟動了7 000 萬美元的可解釋性人工智能計劃（XAI）[5] 旨在對軍事領域智能算法的認知進行理解。歐盟在2018 年生效的通用數據保護法中引入解釋的權力[6]，旨在處理算法不可解釋帶來的問題。學術界也正從多個不同的角度入手開展研究，出現了反事實探測[7]、可視化[8]、轉移學習[9] 等一系列基于事后解析的方法。在實時分析方面，則出現了多跳注意力[10]、推導過程生成[11]，以及可解釋性網絡[12] 等一系列研究。其中知識計算延續了知識工程的目標，是一種融合實時與事后可解釋性分析的計算框架，是傳統知識工程與大數據、算法與群體智慧融合后的產物。知識的獲取已不單純依靠從專家的經驗中總結出來, 而是綜合應用多種“計算”手段而獲得的（見圖2）。

圖2：知識計算框架

知識計算人在回路的架構，為可解釋的人工智能的實現提供了框架，是大數據下的新型知識工程。未來在探索可解釋的人工智能推理的研究中，我們仍需在此基礎上建立知識、數據和反饋于一體的人工智能理論和模型，有機協調“知識指導下的演繹”、“數據驅動中的歸納”與“行為強化內的規劃”。 知識工程從提出至今，作為早期的知識推理手段對后續的一系列研究產生了深遠的影響，從這個意義上講，知識工程并沒有過時，在未來將繼續在人工智能研究中扮演重要的角色。

參考文獻

[1] Lenat, D.B., M. Prakash, and M. Shepherd, CYC: Using common sense knowledge to overcome brittleness andknowledge acquisition bottlenecks. AI magazine, 1985. 6(4): 65.

[2] Carlson, A., et al. Toward an architecture for never-ending language learning. in AAAI. 2010. Atlanta.

[3] Ferrucci, D.A., Introduction to “this is watson”. IBM Journal of Research and Development, 2012. 56(3.4): 1: 1-1:15.

[4] Battaglia, P.W., et al. Relational inductive biases, deep learning, and graph networks. arXiv preprintarXiv:1806.01261, 2018.

[5] Gunning, D., Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), ndWeb, 2017.

[6] Goodman, B. and S.R. Flaxman, European Union regulations on algorithmic decision-making and a. 2017.

[7] Ribeiro, M.T., S. Singh, and C. Guestrin. Why should i trust you?: Explaining the predictions of any classifier. inProceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.ACM.

[8] Zeiler, M.D. and R. Fergus. Visualizing and understanding convolutional networks. in European conference oncomputer vision. 2014. Springer.

[9] Wang, H., et al. Emergent Predication Structure in Hidden State Vectors of Neural Readers. arXiv preprintarXiv:1611.07954, 2016.

[10] Shen, Y., et al. Reasonet: Learning to stop reading in machine comprehension. in Proceedings of the 23rd ACMSIGKDD International Conference on Knowledge Discovery and Data Mining. 2017. ACM.

[11] Ling, W., et al. Program induction by rationale generation: Learning to solve and explain algebraic word problems.arXiv preprint arXiv:1705.04146, 2017.

[12] Zhang, Q., Y.N. Wu, and S.-C. Zhu. Interpretable convolutional neural networks. in The IEEE Conference onComputer Vision and Pattern Recognition (CVPR). 2018.