隨著網(wǎng)絡(luò)與計(jì)算業(yè)務(wù)的快速發(fā)展，數(shù)據(jù)成為數(shù)字經(jīng)濟(jì)的關(guān)鍵生產(chǎn)要素，如何高質(zhì)量挖掘數(shù)據(jù)價(jià)值，構(gòu)建安全、合規(guī)、可信的數(shù)據(jù)流通，成為推動(dòng)數(shù)字經(jīng)濟(jì)健康發(fā)展的關(guān)鍵。此外，根據(jù)我國個(gè)人信息保護(hù)法、歐盟通用數(shù)據(jù)保護(hù)條例 GDPR 等的要求可以看出，數(shù)據(jù)隱私監(jiān)管保護(hù)的范圍在擴(kuò)大，保護(hù)力度日益增強(qiáng)。因此，對(duì)關(guān)鍵數(shù)據(jù)和業(yè)務(wù)進(jìn)行安全保護(hù)，不僅是技術(shù)挑戰(zhàn)，也是滿足安全合規(guī)的必要條件。

當(dāng)前保護(hù)數(shù)據(jù)的通行方案通常作用于靜態(tài)存儲(chǔ)或網(wǎng)絡(luò)傳輸狀態(tài)的數(shù)據(jù)，難以有效保護(hù)正在被使用的數(shù)據(jù)，因此，隱私計(jì)算技術(shù)應(yīng)運(yùn)而生。

作為隱私計(jì)算的重要分支，機(jī)密計(jì)算是一種利用硬件可信執(zhí)行環(huán)境 (Trusted Execution Environment, TEE) 保護(hù)使用中數(shù)據(jù)的技術(shù) [1]。如下圖所示，在非安全世界（Rich Execution Environment, REE）中，基于硬件隔離出的 TEE 環(huán)境就像是一個(gè)黑盒子，可防止外部（包括操作系統(tǒng)、特權(quán)用戶、惡意程序等）對(duì) TEE 內(nèi)使用中的應(yīng)用程序和數(shù)據(jù)進(jìn)行未經(jīng)授權(quán)的訪問或篡改，從而實(shí)現(xiàn)數(shù)據(jù)在第三方平臺(tái)的 “可用而不可見”，消除數(shù)據(jù)上云的安全顧慮，推動(dòng)數(shù)據(jù)安全流通。

機(jī)密計(jì)算痛點(diǎn)

當(dāng)前業(yè)界主流處理器/芯片均實(shí)現(xiàn)了各自的機(jī)密計(jì)算技術(shù)，例如 ARM TrustZone、CCA，Intel SGX、TDX， AMD SEV 等；此外，基于 PCIe TDISP 特性，GPU、DPU 等芯片也在積極構(gòu)建機(jī)密計(jì)算環(huán)境，如 Nvidia H100 GPU，Nvidia Bluefield、AMD smartNIC 系列 DPU 等。綜合來看，各種 TEE 技術(shù)的核心要素是提供硬件隔離運(yùn)行環(huán)境，并依托信任根提供度量、內(nèi)存加密等安全能力。

由于各處理器架構(gòu)的 TEE 設(shè)計(jì)思路、實(shí)現(xiàn)方式不同，導(dǎo)致各家 SDK 接口迥異、開發(fā)流程復(fù)雜，造成開發(fā)機(jī)密計(jì)算應(yīng)用開發(fā)難度高、可移植性差、生態(tài)隔離。對(duì)于應(yīng)用開發(fā)者來說，其開發(fā)的安全應(yīng)用與體系結(jié)構(gòu)強(qiáng)綁定，例如基于 SGX SDK 開發(fā)的應(yīng)用就很難移植到 ARM TrustZone 上，因?yàn)榘踩?OS SDK 提供的接口和 SGX SDK 存在很大差異。

secGear 機(jī)密計(jì)算統(tǒng)一開發(fā)框架

綜上可知，業(yè)界機(jī)密計(jì)算技術(shù)種類繁多，SDK 也各不相同，接口復(fù)雜，開發(fā)困難，不同 TEE 間應(yīng)用生態(tài)隔離，給機(jī)密計(jì)算應(yīng)用開發(fā)者帶來了較高的開發(fā)、維護(hù)成本，影響機(jī)密計(jì)算生態(tài)的發(fā)展。openEuler secGear 機(jī)密計(jì)算統(tǒng)一開發(fā)框架，致力于兼容業(yè)界主流 TEE，屏蔽 TEE 差異，對(duì)開發(fā)者提供統(tǒng)一、簡(jiǎn)易的開發(fā)接口，實(shí)現(xiàn)不同架構(gòu)共源碼，使開發(fā)者聚焦業(yè)務(wù)，降低機(jī)密計(jì)算應(yīng)用開發(fā)維護(hù)成本，打通各 TEE 應(yīng)用生態(tài)，助力機(jī)密計(jì)算生態(tài)建設(shè)。

secGear 從邏輯上分為三層，如下圖所示。

Base Layer：機(jī)密計(jì)算 SDK 統(tǒng)一層，屏蔽 TEE 及 SDK 差異，實(shí)現(xiàn)不同架構(gòu)共源碼。

Middleware Layer：通用組件層，機(jī)密計(jì)算軟件貨架，無需從頭造輪子，幫助用戶快速構(gòu)建機(jī)密計(jì)算解決方案。

Server Layer：機(jī)密計(jì)算服務(wù)層，提供典型場(chǎng)景機(jī)密計(jì)算解決方案。

secGear 遵循木蘭寬松許可證（MulanPSL-2.0 License）[2]， 開發(fā)者可基于 secGear 貢獻(xiàn)開源中間件或解決方案，也可以基于 secGear 構(gòu)建商用解決方案。目前除了社區(qū)開源的 MindSpore 縱向聯(lián)邦機(jī)密計(jì)算解決方案，也不乏基于 secGear 的客戶解決方案，如 GaussDB 全密態(tài)數(shù)據(jù)庫，BJCA 密碼模塊、openLookeng 聯(lián)邦 SQL 等。

典型應(yīng)用場(chǎng)景

本章節(jié)介紹幾個(gè)基于 secGear 的實(shí)際業(yè)務(wù)場(chǎng)景解決方案，便于大家學(xué)習(xí)理解、借鑒，進(jìn)而結(jié)合自身業(yè)務(wù)構(gòu)建對(duì)應(yīng)的機(jī)密計(jì)算解決方案。

BJCA 基于 TEE 的密碼模塊

在政策和業(yè)務(wù)的雙驅(qū)動(dòng)下，密碼應(yīng)用保障基礎(chǔ)設(shè)施一直在向虛擬化演進(jìn)，隨著業(yè)務(wù)上云，密碼服務(wù)支撐也需要構(gòu)建全新的密碼交付模式，實(shí)現(xiàn)密碼、云服務(wù)與業(yè)務(wù)應(yīng)用的融合，因此數(shù)字認(rèn)證（BJCA）推出基于 TEE 的密碼模塊，數(shù)字認(rèn)證既可以利用鯤鵬 TEE 環(huán)境構(gòu)建合規(guī)的密碼計(jì)算模塊，支撐密碼云服務(wù)平臺(tái)，同時(shí)也可以基于鯤鵬主機(jī)構(gòu)建 “機(jī)密計(jì)算平臺(tái)”，為云計(jì)算、隱私計(jì)算、邊緣計(jì)算等各類場(chǎng)景提供 “高速泛在、彈性部署、靈活調(diào)度” 的密碼服務(wù)支撐?；邛H鵬處理器的內(nèi)生式密碼模塊已經(jīng)成為密碼行業(yè)變革型的創(chuàng)新方案，并作為內(nèi)生可信密碼計(jì)算新起點(diǎn)[3]。

傳統(tǒng)密碼模塊中算法協(xié)議以及處理的數(shù)據(jù)是隱私數(shù)據(jù)，可基于 TEE 保護(hù)。如圖所示，基于 secGear 機(jī)密計(jì)算開發(fā)框架將密碼模塊拆分成兩部分：管理服務(wù)、算法協(xié)議。

管理服務(wù)：運(yùn)行在 REE 側(cè)，負(fù)責(zé)對(duì)外提供密碼服務(wù)，轉(zhuǎn)發(fā)請(qǐng)求到 TEE 中處理。

算法協(xié)議：運(yùn)行在 TEE 側(cè)，負(fù)責(zé)用戶數(shù)據(jù)加解密等處理。

由于密碼服務(wù)可能存在高并發(fā)、大數(shù)據(jù)請(qǐng)求，此時(shí) REE 與 TEE 存在頻繁交互以及大數(shù)據(jù)拷貝，會(huì)導(dǎo)致性能直線下降，針對(duì)類似場(chǎng)景可使用 secGear 零切換特性優(yōu)化，減少調(diào)用切換及數(shù)據(jù)拷貝次數(shù)，實(shí)現(xiàn)性能倍增。

GaussDB 基于 TEE 的全密態(tài)數(shù)據(jù)庫

云數(shù)據(jù)庫儼然已成為數(shù)據(jù)庫業(yè)務(wù)未來重要的增長(zhǎng)點(diǎn)，絕大多數(shù)的傳統(tǒng)數(shù)據(jù)庫服務(wù)廠商正在加速提供更優(yōu)質(zhì)的云數(shù)據(jù)庫服務(wù)。然而云數(shù)據(jù)庫所面臨的風(fēng)險(xiǎn)相較于傳統(tǒng)數(shù)據(jù)庫更復(fù)雜多樣，無論是應(yīng)用程序漏洞、系統(tǒng)配置錯(cuò)誤，還是惡意管理員都可能對(duì)數(shù)據(jù)安全與隱私保護(hù)造成巨大風(fēng)險(xiǎn)。

云數(shù)據(jù)庫的部署網(wǎng)絡(luò)由 “私有環(huán)境”向“ 開放環(huán)境”轉(zhuǎn)變，系統(tǒng)運(yùn)維管理角色被拆分為業(yè)務(wù)管理員和運(yùn)維管理員。業(yè)務(wù)管理員擁有業(yè)務(wù)管理的權(quán)限，屬于企業(yè)業(yè)務(wù)方，而運(yùn)維管理員屬于云服務(wù)提供商。數(shù)據(jù)庫運(yùn)維管理員雖然被定義成系統(tǒng)運(yùn)維管理，其實(shí)際依舊享有對(duì)數(shù)據(jù)的完全使用權(quán)限，通過運(yùn)維管理權(quán)限或提權(quán)來訪問數(shù)據(jù)甚至篡改數(shù)據(jù)；再者，由于開放式的環(huán)境和網(wǎng)絡(luò)邊界的模糊化，用戶數(shù)據(jù)在整個(gè)業(yè)務(wù)流程中被更充分的暴露給攻擊者，無論是傳輸、存儲(chǔ)、運(yùn)維還是運(yùn)行態(tài)，都有可能遭受來自攻擊者的攻擊。因此對(duì)于云數(shù)據(jù)庫場(chǎng)景，如何解決第三方可信問題，如何更加可靠的保護(hù)數(shù)據(jù)安全相比傳統(tǒng)數(shù)據(jù)庫面臨著更大挑戰(zhàn)，其中數(shù)據(jù)安全、隱私不泄露是整個(gè)云數(shù)據(jù)庫面臨的首要安全挑戰(zhàn)。

面對(duì)上述挑戰(zhàn)，基于 TEE 的 GaussDB 全密態(tài)數(shù)據(jù)庫的設(shè)計(jì)思路是：用戶自己持有數(shù)據(jù)加解密密鑰，數(shù)據(jù)以密文形態(tài)存在于數(shù)據(jù)庫服務(wù)側(cè)的整個(gè)生命周期過程中，并在數(shù)據(jù)庫服務(wù)端 TEE 內(nèi)完成查詢運(yùn)算。

如圖所示，全密態(tài)數(shù)據(jù)庫的特點(diǎn)如下：

數(shù)據(jù)文件以密文形式存儲(chǔ)，不存儲(chǔ)密鑰明文信息。

DB 數(shù)據(jù)密鑰保存在客戶端。

客戶端發(fā)起查詢請(qǐng)求時(shí)，在服務(wù)端 REE 側(cè)執(zhí)行密態(tài) SQL 語法得到相關(guān)密文記錄，送入 TEE 中。

客戶端通過 secGear 安全通道將 DB 數(shù)據(jù)密鑰加密傳輸?shù)椒?wù)端 TEE 中，在 TEE 中解密得到 DB 數(shù)據(jù)密鑰，用 DB 數(shù)據(jù)密鑰將密文記錄解密得到明文記錄，執(zhí)行 SQL 語句，得到查詢結(jié)果，再將 DB 數(shù)據(jù)密鑰加密后的查詢結(jié)果發(fā)送給客戶端。

其中步驟 3 在數(shù)據(jù)庫高并發(fā)請(qǐng)求場(chǎng)景下，會(huì)頻繁觸發(fā) REE-TEE 之間調(diào)用以及大量的數(shù)據(jù)傳輸，導(dǎo)致性能直線下降，通過 secGear 零切換特性優(yōu)化，減少調(diào)用切換及數(shù)據(jù)拷貝次數(shù)，實(shí)現(xiàn)性能倍增。

openLooKeng 基于 TEE 的聯(lián)邦 SQL

openLooKeng 聯(lián)邦 SQL 是跨數(shù)據(jù)中心查詢的一種，典型場(chǎng)景如下，有三個(gè)數(shù)據(jù)中心：中心數(shù)據(jù)中心 A，邊緣數(shù)據(jù)中心 B 和邊緣數(shù)據(jù)中心 C。openLooKeng 集群部署在三個(gè)數(shù)據(jù)中心中，當(dāng)數(shù)據(jù)中心 A 收到一次跨域查詢請(qǐng)求時(shí)，會(huì)下發(fā)執(zhí)行計(jì)劃到各數(shù)據(jù)中心，在邊緣數(shù)據(jù)中心 B 和 C 的 openLookeng 集群完成計(jì)算后，通過網(wǎng)絡(luò)將結(jié)果傳遞給數(shù)據(jù)中心 A 中的 openLookeng 集群完成聚合計(jì)算。在以上方案中，計(jì)算結(jié)果在不同數(shù)據(jù)中心的 openLookeng 集群之間傳遞，避免了網(wǎng)絡(luò)帶寬不足，一定程度上解決了跨域查詢問題。但是計(jì)算結(jié)果是從原始數(shù)據(jù)計(jì)算得到的，可能帶有敏感信息，導(dǎo)致數(shù)據(jù)出域存在一定安全和合規(guī)風(fēng)險(xiǎn)。怎么保護(hù)聚合計(jì)算過程中邊緣數(shù)據(jù)中心的計(jì)算結(jié)果，在中心數(shù)據(jù)中心實(shí)現(xiàn) “可用而不可見” 呢？這里我們一起看看與機(jī)密計(jì)算結(jié)合的解決方案。其基本思想是：數(shù)據(jù)中心 A 中，openLookeng 集群將聚合計(jì)算邏輯及算子拆分出獨(dú)立的模塊，部署到鯤鵬 TEE 環(huán)境上中；其他邊緣數(shù)據(jù)中心的計(jì)算結(jié)果通過安全通道傳輸?shù)綌?shù)據(jù)中心 A 的 TEE 中；所有數(shù)據(jù)最終在 TEE 中完成聚合計(jì)算，從而保護(hù)聚合計(jì)算過程中邊緣數(shù)據(jù)中心的計(jì)算結(jié)果不會(huì)被數(shù)據(jù)中心 A 上 REE 側(cè)特權(quán)程序或惡意程序獲取、篡改。

如圖所示，具體查詢流程如下：

用戶在數(shù)據(jù)中心 A 下發(fā)跨域查詢請(qǐng)求，openLooKeng 的 Coordinator 根據(jù)查詢 SQL 及數(shù)據(jù)源分布，拆解下發(fā)執(zhí)行計(jì)劃到本地工作節(jié)點(diǎn)以及邊緣數(shù)據(jù)中心的 coordinator，邊緣數(shù)據(jù)中心的 coordinator 再下發(fā)到本地工作節(jié)點(diǎn)。

各工作節(jié)點(diǎn)執(zhí)行計(jì)劃，得到本地計(jì)算結(jié)果。

邊緣數(shù)據(jù)中心通過 secGear 安全通道將本地計(jì)算結(jié)果加密后經(jīng)網(wǎng)絡(luò)傳到數(shù)據(jù)中心 A 的 REE 側(cè)，并中轉(zhuǎn)到 TEE 中，在 TEE 中解密計(jì)算結(jié)果。

數(shù)據(jù)中心 A 在 TEE 中對(duì)數(shù)據(jù)中心 A、B、C 的計(jì)算結(jié)果執(zhí)行聚合計(jì)算，得到最終執(zhí)行結(jié)果，并返回給用戶。

其中步驟 4，在存在大量查詢請(qǐng)求時(shí)，會(huì)頻繁觸發(fā) REE-TEE 調(diào)用，并且有大量數(shù)據(jù)的拷貝，導(dǎo)致性能直線下降。通過 secGear 零切換特性優(yōu)化，減少調(diào)用切換及數(shù)據(jù)拷貝次數(shù)，實(shí)現(xiàn)性能倍增。

MindSpore 基于 TEE 的縱向聯(lián)邦特征保護(hù)

縱向聯(lián)邦學(xué)習(xí)是聯(lián)邦學(xué)習(xí)的一個(gè)重要分支，當(dāng)不同的參與方擁有來自相同一批用戶但屬性不同的數(shù)據(jù)時(shí)，可以利用縱向聯(lián)邦學(xué)習(xí)進(jìn)行協(xié)同訓(xùn)練，方案流程如圖所示。

擁有屬性的參與方（Follower 方）都會(huì)持有一個(gè)底層網(wǎng)絡(luò)，參與方屬性輸入底層網(wǎng)絡(luò)得到中間結(jié)果，再將中間結(jié)果發(fā)送給擁有標(biāo)簽的參與方（Leader 方）。

Leader 方使用各參與方的中間結(jié)果和標(biāo)簽來訓(xùn)練頂層網(wǎng)絡(luò)，再將計(jì)算得到的梯度回傳給各參與方來訓(xùn)練底層網(wǎng)絡(luò)。

此方案避免了 Follower 方直接上傳自己的原始數(shù)據(jù)，保護(hù)原始數(shù)據(jù)不出域，一定程度上保護(hù)了隱私安全。然而，攻擊者還是有可能從上傳的中間結(jié)果反推出用戶信息，導(dǎo)致存在隱私泄露風(fēng)險(xiǎn)。因此我們需要對(duì)訓(xùn)練時(shí)出域的中間結(jié)果和梯度提供更強(qiáng)的隱私保護(hù)方案，來滿足安全合規(guī)要求。

借鑒之前三個(gè)場(chǎng)景的安全風(fēng)險(xiǎn)及解決方案可以發(fā)現(xiàn)，想要達(dá)到中間結(jié)果出域后的 “可用不可見”，正是機(jī)密計(jì)算的 “拿手好戲”?；?TEE 的縱向聯(lián)邦特征保護(hù)方案如圖所示[4]。

Follower 方的中間結(jié)果通過 secGear 的安全通道加密后傳輸?shù)?Leader 方，Leader 方非安全世界接收到加密的中間結(jié)果后中轉(zhuǎn)到安全世界，在安全世界通過安全通道接口解密。

在安全世界中將中間結(jié)果輸入到聯(lián)邦拆分層計(jì)算模塊，完成結(jié)果計(jì)算。

以上過程中 Follower 方的中間結(jié)果明文只存在于安全世界內(nèi)存中，對(duì) Leader 方來說就是黑盒子，無法訪問。

展望

2023 年 openEuler secGear 將持續(xù)演進(jìn)，并發(fā)布支持零切換、安全通道、遠(yuǎn)程證明等功能的穩(wěn)定版本，可用于構(gòu)建商用的端到端機(jī)密計(jì)算解決方案。同時(shí)，openEuler 也會(huì)持續(xù)構(gòu)建通用的中間件或服務(wù)，也期待您的參與貢獻(xiàn)，共同推動(dòng)機(jī)密計(jì)算應(yīng)用生態(tài)的發(fā)展。secGear 將一如既往地持續(xù)關(guān)注 AMD SEV、Intel TDX、ARM CCA 等技術(shù)，為打造安全易用的機(jī)密計(jì)算統(tǒng)一開發(fā)框架而不懈努力。

審核編輯 ：李倩