介紹

開發智能機器的旅程使我們走上了發現、驚喜、敬畏和關注的道路。盡管還有很多東西有待發現，但我們知道，對安全人工智能的追求將改變我們設計、開發智能產品并將其推向市場的方式。安全的人工智能不僅需要像我們處理網絡安全那樣抵御外部攻擊者；我們必須確保人工智能的行為是安全的。未來的人工智能開發將側重于安全和風險管理貫穿開發過程的每個部分。

人工智能標準和指南中的安全性

AI 安全工程的需求之一是擁有可廣泛訪問的 AI 開發實用指南和標準。盡管許多標準組織和聯盟正在努力建立這些資源，但它們仍遠未達成共識（再次出現價值一致性問題），甚至還遠未提供具體的技術指導。與此同時，航空航天和醫療制造等安全密集型行業提供了潛在有用的風險管理模型，可以滿足短期人工智能安全需求，并作為最終標準和框架的基礎。特別是，可以使用德爾菲法來組織專家的集體智慧和判斷，不同人工智能系統類型的風險評估，以及硬起飛和軟起飛場景的結果。

設計思想和過程中的安全

一個相關的需求是主動將安全納入工程設計的所有領域，從設計思維開始一直到將產品推向市場的過程。讓我們面對現實：這將意味著許多開發團隊的改變。看看互聯網。看看嵌入式系統。現實情況是，在產品開始取得成功之前，大多數行業都不會在安全上投入大量資源。在智能系統中不檢查安全性的潛在后果是重大的，因為事后可能無法納入安全性。

用戶需求安全

工程安全人工智能將要求工程師超越表面用例，真正了解用戶的價值觀和偏好。我們習慣于從表面上看用例和用戶反饋；然而，第 2 部分中討論的價值對齊問題告訴我們需要深入挖掘才能了解實際需求。例如，如果我們問一個學生她為什么上學，她可能會告訴你她想獲得知識并研究一個感興趣的領域。不過，研究表明，真正的或額外的原因存在于其他地方：例如，獲得證書、獲得同行認可和增加收入潛力。如果作為工程師，我們在開發智能產品時只看表面的用戶需求和反饋，很可能會開發出不能真正滿足用戶需求的產品……導致智能失敗。

漏洞評估中的安全性

在流程的每個階段，都必須考慮和解決產品及其智能（內存、處理速度等）的安全性。黑客需要在這個無限的可能性空間中找到一個弱點，但人工智能可以以我們無法預測甚至無法想象的方式利用情報。潛在的產品漏洞是什么？什么是潛在的濫用？個別功能如何被濫用？每種情況如何適得其反？數據安全可靠嗎？我們怎么知道？產品是否包含了不必要的智能？這怎么可能被濫用？怎么能保證呢？

結論

工程安全人工智能將改變我們的流程、思維方式和優先事項。擁有 AI 開發框架和標準將大大有助于設計安全 AI。與此同時，借鑒航空航天和醫療設備行業的做法會很有用，并能在產品開發過程的各個方面增加安全性。在接下來的第 6 部分中，我們將研究一種用于開發安全人工智能的新興技術，稱為人工愚蠢。

審核編輯hhy