介紹

開(kāi)發(fā)智能機(jī)器的旅程使我們走上了發(fā)現(xiàn)、驚喜、敬畏和關(guān)注的道路。盡管還有很多東西有待發(fā)現(xiàn)，但我們知道，對(duì)安全人工智能的追求將改變我們?cè)O(shè)計(jì)、開(kāi)發(fā)智能產(chǎn)品并將其推向市場(chǎng)的方式。安全的人工智能不僅需要像我們處理網(wǎng)絡(luò)安全那樣抵御外部攻擊者；我們必須確保人工智能的行為是安全的。未來(lái)的人工智能開(kāi)發(fā)將側(cè)重于安全和風(fēng)險(xiǎn)管理貫穿開(kāi)發(fā)過(guò)程的每個(gè)部分。

人工智能標(biāo)準(zhǔn)和指南中的安全性

AI 安全工程的需求之一是擁有可廣泛訪問(wèn)的 AI 開(kāi)發(fā)實(shí)用指南和標(biāo)準(zhǔn)。盡管許多標(biāo)準(zhǔn)組織和聯(lián)盟正在努力建立這些資源，但它們?nèi)赃h(yuǎn)未達(dá)成共識(shí)（再次出現(xiàn)價(jià)值一致性問(wèn)題），甚至還遠(yuǎn)未提供具體的技術(shù)指導(dǎo)。與此同時(shí)，航空航天和醫(yī)療制造等安全密集型行業(yè)提供了潛在有用的風(fēng)險(xiǎn)管理模型，可以滿(mǎn)足短期人工智能安全需求，并作為最終標(biāo)準(zhǔn)和框架的基礎(chǔ)。特別是，可以使用德?tīng)柗品▉?lái)組織專(zhuān)家的集體智慧和判斷，不同人工智能系統(tǒng)類(lèi)型的風(fēng)險(xiǎn)評(píng)估，以及硬起飛和軟起飛場(chǎng)景的結(jié)果。

設(shè)計(jì)思想和過(guò)程中的安全

一個(gè)相關(guān)的需求是主動(dòng)將安全納入工程設(shè)計(jì)的所有領(lǐng)域，從設(shè)計(jì)思維開(kāi)始一直到將產(chǎn)品推向市場(chǎng)的過(guò)程。讓我們面對(duì)現(xiàn)實(shí)：這將意味著許多開(kāi)發(fā)團(tuán)隊(duì)的改變。看看互聯(lián)網(wǎng)。看看嵌入式系統(tǒng)。現(xiàn)實(shí)情況是，在產(chǎn)品開(kāi)始取得成功之前，大多數(shù)行業(yè)都不會(huì)在安全上投入大量資源。在智能系統(tǒng)中不檢查安全性的潛在后果是重大的，因?yàn)槭潞罂赡軣o(wú)法納入安全性。

用戶(hù)需求安全

工程安全人工智能將要求工程師超越表面用例，真正了解用戶(hù)的價(jià)值觀和偏好。我們習(xí)慣于從表面上看用例和用戶(hù)反饋；然而，第 2 部分中討論的價(jià)值對(duì)齊問(wèn)題告訴我們需要深入挖掘才能了解實(shí)際需求。例如，如果我們問(wèn)一個(gè)學(xué)生她為什么上學(xué)，她可能會(huì)告訴你她想獲得知識(shí)并研究一個(gè)感興趣的領(lǐng)域。不過(guò)，研究表明，真正的或額外的原因存在于其他地方：例如，獲得證書(shū)、獲得同行認(rèn)可和增加收入潛力。如果作為工程師，我們?cè)陂_(kāi)發(fā)智能產(chǎn)品時(shí)只看表面的用戶(hù)需求和反饋，很可能會(huì)開(kāi)發(fā)出不能真正滿(mǎn)足用戶(hù)需求的產(chǎn)品……導(dǎo)致智能失敗。

漏洞評(píng)估中的安全性

在流程的每個(gè)階段，都必須考慮和解決產(chǎn)品及其智能（內(nèi)存、處理速度等）的安全性。黑客需要在這個(gè)無(wú)限的可能性空間中找到一個(gè)弱點(diǎn)，但人工智能可以以我們無(wú)法預(yù)測(cè)甚至無(wú)法想象的方式利用情報(bào)。潛在的產(chǎn)品漏洞是什么？什么是潛在的濫用？個(gè)別功能如何被濫用？每種情況如何適得其反？數(shù)據(jù)安全可靠嗎？我們?cè)趺粗溃慨a(chǎn)品是否包含了不必要的智能？這怎么可能被濫用？怎么能保證呢？

結(jié)論

工程安全人工智能將改變我們的流程、思維方式和優(yōu)先事項(xiàng)。擁有 AI 開(kāi)發(fā)框架和標(biāo)準(zhǔn)將大大有助于設(shè)計(jì)安全 AI。與此同時(shí)，借鑒航空航天和醫(yī)療設(shè)備行業(yè)的做法會(huì)很有用，并能在產(chǎn)品開(kāi)發(fā)過(guò)程的各個(gè)方面增加安全性。在接下來(lái)的第 6 部分中，我們將研究一種用于開(kāi)發(fā)安全人工智能的新興技術(shù)，稱(chēng)為人工愚蠢。

審核編輯hhy