以下文章來源于谷歌云服務(wù)，作者 Google Cloud

楊鵬

Google Cloud 安全專家

大模型就像神通廣大的 "哪吒"，能寫文章、畫畫、編程，無所不能。但如果哪吒被惡意操控，后果不堪設(shè)想！而且，培養(yǎng)這樣的大模型需要大量投入，如果被 "黑化"，損失也是巨大的。

這樣看，大模型的安全關(guān)系到每個(gè)人，Google Cloud 提供了安全工具和服務(wù)，能保護(hù)大模型不被壞人利用，避免 "黑化"。

想了解更多關(guān)于大模型安全和 Google Cloud 的相關(guān)知識(shí)？請(qǐng)繼續(xù)關(guān)注我們的系列文章！

大模型安全概要

生成式 AI 發(fā)展迅速，但也面臨安全風(fēng)險(xiǎn)。MITRE ATLAS、NIST AI RMF 和 OWASP AI Top 10 等安全標(biāo)準(zhǔn)組織，總結(jié)了生成式 AI 的主要安全威脅，主要包括:

●對(duì)抗性攻擊:攻擊者擾亂模型輸入或竊取模型信息，導(dǎo)致錯(cuò)誤輸出或信息泄露。

●數(shù)據(jù)投毒:攻擊者污染訓(xùn)練數(shù)據(jù)，使模型產(chǎn)生偏差或后門。

●模型竊取:攻擊者竊取模型結(jié)構(gòu)和參數(shù)，用于復(fù)制或攻擊。

●濫用和惡意使用:模型被用于生成虛假信息、垃圾郵件等。

●隱私和安全:模型可能泄露用戶隱私或存在安全漏洞。

●模型篡改:攻擊者修改模型參數(shù)、邏輯或數(shù)據(jù)，改變模型行為。

此外，公眾還關(guān)注生成式 AI 的法律合規(guī)、治理、偏差、透明度、環(huán)境影響等問題。解決這些問題，才能確保生成式 AI 安全、可靠、負(fù)責(zé)任地發(fā)展。

在這當(dāng)中，模型篡改 (Model Tampering，也可稱為模型投毒-Model Poisoning) 這類的威脅涵蓋了對(duì)模型的任何未經(jīng)授權(quán)的修改，包括但不限于對(duì)模型訓(xùn)練或者微調(diào)注入后門或降低性能，修改模型參數(shù)或代碼導(dǎo)致模型無法正常工作或產(chǎn)生錯(cuò)誤結(jié)果。這類威脅對(duì)應(yīng)的漏洞一般被認(rèn)為利用難度比較高，因?yàn)楣粽卟粌H要突破層層基礎(chǔ)安全縱深防御，還需要熟悉大模型訓(xùn)練和優(yōu)化，了解如何繞過代碼審計(jì)和各類監(jiān)控且可以有效地影響到模型訓(xùn)練工作。

但是，近期發(fā)生的一些模型投毒事故證明，熟悉流程和相關(guān)大模型技術(shù)的內(nèi)部攻擊者可以放大這類風(fēng)險(xiǎn)，甚至可以使得投入數(shù)千萬美元的訓(xùn)練工作毀于一旦。同時(shí)，隨著黑產(chǎn)灰產(chǎn)的不斷演進(jìn)，未來這類威脅帶來的影響可能還會(huì)增大，上面說的讓模型 "黑化" 的風(fēng)險(xiǎn)并不是危言聳聽。

理解大模型訓(xùn)練的安全風(fēng)險(xiǎn)

下圖是在 Google Cloud 上進(jìn)行生成式 AI 訓(xùn)練，部署和推理的典型架構(gòu)。圖中畫紅框的部分是大模型訓(xùn)練的范疇。

首先讓我們從基礎(chǔ)設(shè)施、工具鏈、供應(yīng)鏈、模型代碼和配置等方面，拆解一下模型篡改可能面臨的風(fēng)險(xiǎn)類別:

基礎(chǔ)設(shè)施

● 未經(jīng)授權(quán)的訪問:攻擊者可能入侵模型訓(xùn)練或部署的服務(wù)器、云平臺(tái)等基礎(chǔ)設(shè)施，直接篡改模型文件或運(yùn)行環(huán)境。這包括利用系統(tǒng)漏洞、弱口令、社會(huì)工程學(xué)等手段獲取訪問權(quán)限。

●惡意代碼注入:攻擊者可能在基礎(chǔ)設(shè)施中植入惡意代碼，例如后門程序、rootkit 等，用于監(jiān)控模型行為、竊取數(shù)據(jù)或篡改模型輸出。

●拒絕服務(wù)攻擊:攻擊者可能對(duì)基礎(chǔ)設(shè)施發(fā)起 DDoS 攻擊，導(dǎo)致模型無法正常提供服務(wù)，影響用戶體驗(yàn)和業(yè)務(wù)運(yùn)營。

模型訓(xùn)練工具鏈

●投毒的訓(xùn)練框架:攻擊者可能篡改模型訓(xùn)練所使用的框架或庫，例如 TensorFlow、PyTorch 等，注入惡意代碼或后門，影響模型訓(xùn)練過程和結(jié)果。

●惡意的模型評(píng)估工具:攻擊者可能篡改模型評(píng)估工具，例如指標(biāo)計(jì)算腳本、可視化工具等，導(dǎo)致模型評(píng)估結(jié)果失真，掩蓋模型存在的安全問題。

●不安全的模型部署工具:攻擊者可能利用模型部署工具中的漏洞，例如未經(jīng)身份驗(yàn)證的 API 接口、不安全的配置文件等，篡改模型參數(shù)或邏輯。

模型供應(yīng)鏈

● 預(yù)訓(xùn)練模型的風(fēng)險(xiǎn):使用來自不可信來源的預(yù)訓(xùn)練模型，可能存在被篡改的風(fēng)險(xiǎn)，例如模型中可能被植入后門或惡意代碼。

●第三方數(shù)據(jù)的風(fēng)險(xiǎn):使用來自不可信來源的第三方數(shù)據(jù)進(jìn)行模型訓(xùn)練，可能存在數(shù)據(jù)投毒的風(fēng)險(xiǎn)，導(dǎo)致模型學(xué)習(xí)到錯(cuò)誤的模式或產(chǎn)生偏差。

●依賴庫的風(fēng)險(xiǎn):模型訓(xùn)練和部署過程中使用的各種依賴庫，可能存在安全漏洞，攻擊者可能利用這些漏洞篡改模型或竊取數(shù)據(jù)。

模型代碼和配置

● 代碼注入:攻擊者可能直接修改模型代碼，注入惡意代碼或后門，改變模型的行為。

●配置錯(cuò)誤:錯(cuò)誤的模型配置可能導(dǎo)致安全漏洞，例如過低的訪問權(quán)限、未加密的敏感信息等，攻擊者可能利用這些漏洞篡改模型。

●版本控制問題:缺乏有效的版本控制機(jī)制，可能導(dǎo)致模型被意外修改或回滾到存在安全問題的版本。

發(fā)揮云原生的力量一起應(yīng)對(duì)風(fēng)險(xiǎn)

經(jīng)過多年的積累，Google 既是一個(gè) AI 專家，又是一個(gè)安全專家，在應(yīng)對(duì)類似的風(fēng)險(xiǎn)方面有豐富的經(jīng)驗(yàn)。在 Google Cloud 平臺(tái)上，有多種云原生的手段來幫助大家應(yīng)對(duì)上面提到的大模型投毒的威脅。

要保護(hù)模型安全，需要多管齊下:加強(qiáng)基礎(chǔ)設(shè)施安全，例如做好訪問控制和入侵檢測(cè)；使用可信的工具鏈，并對(duì)預(yù)訓(xùn)練模型、數(shù)據(jù)和依賴庫進(jìn)行安全審查；同時(shí)，還要保護(hù)好模型代碼和配置，并進(jìn)行持續(xù)的監(jiān)控和檢測(cè)。

Ray on Vertex AI 提供了一個(gè)強(qiáng)大的平臺(tái)，可以幫助您更好地進(jìn)行 LLMOps，在提高模型訓(xùn)練的效率和有效性的同時(shí)，保護(hù)模型代碼和配置:

安全的環(huán)境

Vertex AI 提供了安全可靠的運(yùn)行環(huán)境，并與 Google Cloud 的安全工具集成，例如 IAM 和 VPC Service Controls，可以有效地控制訪問權(quán)限和保護(hù)敏感數(shù)據(jù)。

可復(fù)現(xiàn)的流程

Ray 和 Vertex AI 的結(jié)合可以幫助您構(gòu)建可復(fù)現(xiàn)的模型訓(xùn)練和部署流程，通過版本控制和跟蹤實(shí)驗(yàn)參數(shù)，確保模型代碼和配置的一致性。

持續(xù)監(jiān)控和集成

您可以利用 Vertex AI 的監(jiān)控工具和 Ray 的可擴(kuò)展性，對(duì)模型進(jìn)行持續(xù)監(jiān)控和性能分析，及時(shí)發(fā)現(xiàn)異常情況并進(jìn)行調(diào)整。

通過 Ray on Vertex AI，結(jié)合 Google Cloud 的權(quán)限管理、網(wǎng)絡(luò)隔離、威脅監(jiān)控等手段，可以將模型代碼和配置納入到一個(gè)安全、可控、可復(fù)現(xiàn)的環(huán)境中，從而更好地保護(hù)模型的安全性和完整性。

Jupyter Notebook、Kubeflow 和 Ray 之類的大模型訓(xùn)練工具也是需要保護(hù)的重點(diǎn)。需要從漏洞評(píng)估、用戶訪問控制、加密和網(wǎng)絡(luò)隔離等多個(gè)方面入手，確保訓(xùn)練開發(fā)和測(cè)試工具的安全可靠。

漏洞評(píng)估

●使用 Artifact Analysis 掃描鏡像中的漏洞，并使用 Binary Authorization 根據(jù)掃描結(jié)果限制部署。

●對(duì)于運(yùn)行中的工作負(fù)載，考慮使用 Advanced Vulnerability Insights 進(jìn)行更深入的漏洞分析。

用戶訪問控制

● 通過 Cloud Load Balancer 和 Identity-Aware Proxy 對(duì) Cloud Console 環(huán)境訪問進(jìn)行代理、Kubeflow Central Dashboard 和 Ray dashboard UI 進(jìn)行用戶身份驗(yàn)證和授權(quán)。

加密

●使用 CMEK 對(duì)啟動(dòng)磁盤和永久磁盤進(jìn)行靜態(tài)加密。

●使用 HTTPS Load Balancing 對(duì)前端通信進(jìn)行傳輸加密。

●可選: 支持 Ray TLS，但會(huì)影響性能。

網(wǎng)絡(luò)隔離

●根據(jù) Jupyter Notebook、Kubeflow 和 Ray 的要求配置網(wǎng)絡(luò)策略和 Cloud Firewall 規(guī)則。

●Kubeflow 集成了 Istio 來控制集群內(nèi)流量和用戶交互，還可以使用 Cloud Service Mesh 補(bǔ)充 AI/ML 運(yùn)營環(huán)境的網(wǎng)絡(luò)安全。

Vertex AI Colab Enterprise 將 Colab 的易用性與 Google Cloud 的安全性和強(qiáng)大功能相結(jié)合，為數(shù)據(jù)科學(xué)家提供了一個(gè)理想的平臺(tái)，在安全、可擴(kuò)展的環(huán)境中運(yùn)行 Jupyter Notebook，同時(shí)輕松訪問 Google Cloud 的各種資源。

保障大模型訓(xùn)練安全，需審查預(yù)訓(xùn)練模型、第三方數(shù)據(jù)和依賴庫。選擇 Google Cloud 提供的預(yù)訓(xùn)練模型，并使用 Artifact Analysis 等工具進(jìn)行漏洞掃描和依賴分析，確保模型來源可靠且安全。

在管理依賴庫的安全風(fēng)險(xiǎn)方面，Google Cloud Assured OSS 可以發(fā)揮重要作用。它提供了一系列經(jīng)過 Google 安全審查和維護(hù)的開源軟件包，例如 TensorFlow、Pandas 和 Scikit-learn 等常用的大模型訓(xùn)練庫。

●可信來源:Assured OSS 的軟件包來自 Google 管理的安全可靠的 Artifact Registry，確保來源可信。

●漏洞修復(fù):Google 會(huì)積極掃描和修復(fù) Assured OSS 軟件包中的漏洞，并及時(shí)提供安全更新。

●軟件物料清單 (SBOM):Assured OSS 提供了標(biāo)準(zhǔn)格式的 SBOM，幫助您了解軟件包的組成成分和依賴關(guān)系，方便進(jìn)行安全評(píng)估。

目前，業(yè)內(nèi)大模型訓(xùn)練使用最多的基礎(chǔ)設(shè)施平臺(tái)是 Kubernetes。Google Cloud 托管的 Kubernetes 平臺(tái) GKE，提供高度安全、可擴(kuò)展且易于管理的 Kubernetes 環(huán)境，讓開發(fā)者專注于模型開發(fā)和部署，無需擔(dān)心底層基礎(chǔ)設(shè)施的運(yùn)維。下面是一些面向大模型訓(xùn)練風(fēng)險(xiǎn)的 GKE 安全加固建議。

基礎(chǔ)的云原生安全加固和管控在 Google Cloud 上可以非常方便地使用，可以利用其提供的 Identity and Access Management (IAM) 服務(wù)精細(xì)化地控制對(duì)模型和數(shù)據(jù)的訪問權(quán)限，并使用 Security Command Center 進(jìn)行入侵檢測(cè)和安全監(jiān)控，及時(shí)發(fā)現(xiàn)并應(yīng)對(duì)潛在威脅。此外，Google Cloud 還提供了一系列安全加固工具和服務(wù)，例如虛擬機(jī)安全、網(wǎng)絡(luò)安全、數(shù)據(jù)加密等，幫助您構(gòu)建更加安全的生成式 AI 基礎(chǔ)設(shè)施。

生成式 AI 的安全及合規(guī)治理

不容忽視

生成式 AI 技術(shù)日新月異，其安全風(fēng)險(xiǎn)也隨之不斷演變。長期的生成式 AI 安全治理能夠幫助我們持續(xù)應(yīng)對(duì)新的威脅，確保 AI 系統(tǒng)始終安全可靠，并適應(yīng)不斷變化的法律法規(guī)和社會(huì)倫理要求，最終促進(jìn)生成式 AI 技術(shù)的健康發(fā)展和應(yīng)用。Google Cloud SAIF (Security AI Framework) 是一個(gè)旨在保障 AI 系統(tǒng)安全的概念框架。它借鑒了軟件開發(fā)中的安全最佳實(shí)踐，并結(jié)合了 Google 對(duì) AI 系統(tǒng) specific 的安全趨勢(shì)和風(fēng)險(xiǎn)的理解。

SAIF 的主要內(nèi)容可以概括為以下四個(gè)方面:

安全開發(fā) (Secure Development)

威脅建模:在 AI 系統(tǒng)的開發(fā)初期就進(jìn)行威脅建模，識(shí)別潛在的安全風(fēng)險(xiǎn)。

安全編碼:采用安全的編碼實(shí)踐，防止代碼漏洞和安全缺陷。

供應(yīng)鏈安全:確保 AI 系統(tǒng)的供應(yīng)鏈安全，例如使用可信的第三方庫和數(shù)據(jù)。

安全部署 (Secure Deployment)

訪問控制:對(duì) AI 系統(tǒng)進(jìn)行訪問控制，防止未經(jīng)授權(quán)的訪問和修改。

安全配置:對(duì) AI 系統(tǒng)進(jìn)行安全配置，例如配置防火墻規(guī)則和加密通信。

漏洞掃描:對(duì) AI 系統(tǒng)進(jìn)行漏洞掃描，及時(shí)發(fā)現(xiàn)和修復(fù)安全漏洞。

安全執(zhí)行 (Secure Execution)

輸入驗(yàn)證:對(duì) AI 系統(tǒng)的輸入進(jìn)行驗(yàn)證，防止惡意輸入和攻擊。

異常檢測(cè):對(duì) AI 系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，及時(shí)發(fā)現(xiàn)異常行為。

模型保護(hù):保護(hù) AI 模型不被竊取或篡改。

安全監(jiān)控 (Secure Monitoring)

日志記錄:記錄 AI 系統(tǒng)的運(yùn)行日志，方便安全審計(jì)和事件調(diào)查。

安全評(píng)估:定期對(duì) AI 系統(tǒng)進(jìn)行安全評(píng)估，識(shí)別新的安全風(fēng)險(xiǎn)。

事件響應(yīng):建立事件響應(yīng)機(jī)制，及時(shí)應(yīng)對(duì)安全事件。

SAIF 的目標(biāo)是幫助組織將安全措施融入到 AI 系統(tǒng)的整個(gè)生命周期中，確保 AI 系統(tǒng)的安全性和可靠性。它強(qiáng)調(diào)了以下幾個(gè)關(guān)鍵原則:

●默認(rèn)安全:AI 系統(tǒng)應(yīng)該默認(rèn)安全，而不是事后補(bǔ)救。

●縱深防御:采用多層次的安全措施，防止單點(diǎn)故障。

●持續(xù)監(jiān)控:持續(xù)監(jiān)控 AI 系統(tǒng)的運(yùn)行狀態(tài)，及時(shí)發(fā)現(xiàn)和應(yīng)對(duì)安全威脅。

●持續(xù)改進(jìn):不斷改進(jìn) AI 系統(tǒng)的安全措施，以適應(yīng)不斷變化的威脅環(huán)境。

行動(dòng)從今天開始

我們深入探討了大模型安全的重要性、面臨的風(fēng)險(xiǎn)以及 Google Cloud 提供的安全工具和服務(wù)，涵蓋了基礎(chǔ)設(shè)施安全、模型安全、數(shù)據(jù)安全和供應(yīng)鏈安全等方面。未來，就像我們一起努力保護(hù) "小哪吒" 一樣，Google Cloud 會(huì)和大家一起，利用強(qiáng)大的安全工具和豐富的經(jīng)驗(yàn)，把大模型訓(xùn)練的每個(gè)環(huán)節(jié)都保護(hù)好，讓 AI 技術(shù)安全可靠地為我們服務(wù)！