隨著社會系統和數據量的飛躍性增加，人工智能的工程系統越來越普遍與復雜，傳統系統工程TSE（Traditional Systems Engineering）越來越難以應對，以模型化與定理化為代表的人工智能技術和人工智能軟件工程學也在快速地發展。

與此同時，人工智能對傳統計算機安全領域的研究也產生了重大影響，除了利用人工智能來構建各種惡意檢測、攻擊識別系統外，黑客也可能利用人工智能達到更快速與更精準的攻擊。除此之外，在關鍵的人工智能應用場景上，人工智能自身的安全性變得前所未有的重要，極需要構建一個不會被外界干擾而影響判斷的、可解釋的、健壯的人工智能系統。隨著量子計算時代的到來，信息系統的安全也將遇到前所未有的挑戰。

本系列分6個部分概要說明從智能系統的安全要素，以及深蘭科技在作為后量子時代的國家戰略科技儲備的超同態加密算法以及超同態加密計算芯片的研究與開發。

1． 智能系統的安全要素

2． 人工智能系統安全的課題與技術框架

3． 數字貨幣與區塊鏈

4． 量子計算

5． 同態加密

6． 超同態加密

人工智能系統的

課題與技術框架

安全是典型的信息化軍備競賽，它通過抵御一系列已知和已發覺的威脅來保護系統和軟件。由于可以通過創建漏洞，利用程序來繞過這些保護措施，促使了系統和軟件企業不斷提高這類技術。而AI可幫助終止這種惡性循環，它不僅可以應對現有的威脅，還可以應對尚未被發覺的新威脅，這就是AI與安全領域產生交集的地方。AI將從根本上改進所有的安全類解決方案。

AI巨大的潛能在改變著人類命運，但同樣存在巨大的安全風險。這種安全風險存在的根本原因是：AI算法設計之初普遍未考慮相關的安全威脅，使得其判斷結果容易被惡意攻擊者影響，導致AI系統判斷失誤。在工業、醫療、交通、監控等關鍵領域，安全危害尤為巨大。如果AI系統被惡意攻擊，輕則造成財產損失，重則威脅人身安全。

AI安全風險不僅僅存在于理論分析，并且真實地存在于目前各種AI應用中。在現在和未來將被用于的很多關鍵領域中，我們創造了很多強大的技術。以安全為中心的設計思維不僅在研發和部署的時候，更在AI被大規模應用的時候，有著極為重要的影響。當算法被不可逆地整合到重要的系統中時，如果沒有嚴謹與完整的設計，系統就無法有效地處理其中存在的問題。

AI系統在設計上面臨5大安全挑戰：

1． 軟硬件安全：在軟件及硬件層面（應用、模型、平臺和芯片、編碼等的漏洞或后門）攻擊者能夠利用這些漏洞或后門實施高級攻擊。在AI模型層面上，攻擊者同樣可能在模型中植入后門并實施高級攻擊。如果AI模型的可解釋性較差，在模型中植入的惡意后門難以被檢測。

2． 數據完整性：在數據層面，攻擊者能夠在訓練階段摻入惡意或虛假的數據，降低AI模型推理能力；攻擊者同樣可以在判斷階段對要判斷的樣本加入少量噪音（對抗樣本）來改變判斷結果。

3． 模型保密性：在模型參數層面，通過多次查詢，攻擊者能夠構建出一個相似的模型，進而破譯模型。

4． 模型魯棒性：訓練模型時的樣本往往覆蓋性不足，使得模型魯棒性不強（缺乏必要的功能安全）；模型面對惡意樣本時，無法給出正確的判斷結果。

5． 數據隱私：在用戶提供訓練數據的場景下，攻擊者能夠通過反復查詢預測模型并推算出隱私信息。

現在我們盡量通過詳盡與周全的設計與思考，避免了類似問題和弱點的出現，并希望能夠構建起解決安全課題的有效技術框架，在設計和研發系統時有效地避免安全問題。希望未來的系統不僅僅是“看起來很安全”，更是具有魯棒性與基于可解釋人工智能（XAI）可驗證性的安全。

責任編輯：gt