企業專用AI 模型

當然，有些商業生成式AI SaaS產品承諾不使用提交的數據來改進其公共模型。但是，并非所有公司都愿意將私人數據發送到他們幾乎無法控制的cloud 服務中。某些組織可能受主權和監管合規性的約束，禁止使用在其他地區或國家托管的服務。

其他可以從私有人工智能模型中受益的公司是那些業務需要從頭開始訓練自己的法學碩士模型，或者需要保護數據增強和優化的法學碩士模型，這些模型已經針對特定任務（例如客戶支持、財務咨詢等）進行了預先訓練。

構建自己的私有生成式AI 和MLOps基礎結構的公司能夠將這些工具的強大功能置于自己的IT控制之下（無論是在本地還是在私有cloud中），使他們能夠與業務需求、合規性和主權要求保持一致。這種設置可確保用于訓練、微調或增強對 LLM的查詢的任何敏感和機密數據都不會泄露給外部各方。

保護所有級別的訪問權限

Splashtop安全工作區支持一組豐富的選項來控制對任何私有企業應用程序（包括LLM）的訪問。主要功能包括：

單點登錄 （SSO）集成 – 與流行的身份提供商（包括Google、Microsoft、Okta）同步

多因素身份驗證(MFA) — 為所有支持SSO 的企業應用程序（包括私有企業LLM 的聊天界面）的前端和后端用戶啟用強大的身份驗證控制。

條件訪問控制-通過檢查關鍵合規性和安全標準（包括地理位置和使用公司發行的筆記本電腦）來限制對應用程序的訪問。例如，遵守數據主權規則的組織可能希望在員工出國旅行時阻止訪問私人法學碩士。

具有委派控制的特權訪問— Splashtop可以通過安全地委派指定用于管理企業應用程序中的關鍵子系統和數據的特權帳戶或服務帳戶來控制訪問。對于 LLM 來說，這允許您控制和跟蹤對模型本身、矢量或圖形數據庫、非結構化數據存儲庫或ML 管道的訪問權限，而不會不必要地暴露敏感憑據。

安全的第三方訪問— 我們的平臺為可能需要臨時訪問企業應用程序的第三方提供安全的訪問共享。這可能包括需要安全訪問權限才能進行現場故障排除的私有LLM 解決方案提供商。Secure Workspace 可實現便捷的訪問，同時完全記錄會話以用于審計和合規目的。

零信任網絡訪問（ZTNA）— 與授予對整個網絡子網的完全訪問權限的傳統 VPN相比，Splashtop安全工作區的 ZTNA方法授予對已批準資源的精確訪問權限，從而確保最小的攻擊面。“默認拒絕” 方法為企業 LLM 處理高度敏感的數據提供了保證。

API 驅動的自動化— 致力于自動化 和 DevOps 工作流程的公司將欣賞我們的Secure Workspace 平臺緊密集成和自動化的能力。在生成式 AI 環境中，Splashtop安全工作區可無縫融入任何MLOps管道，從而促進對關鍵資源的自動配置訪問以及安全工作區平臺本身的自動配置，從而最大限度地提高生產力并減少人為錯誤。

現在，我們將演示如何使用我們的安全工作空間實現對企業生成式AI 的安全訪問。而且，為了繼續關注，你最終會得到自己的基于 LLM的私人聊天機器人 ——你自己的個人 ChatGPT。

如何為你的私人LLM 設置Secure Workspace

現在，讓我們采取必要的步驟來保護對您自己的私有大型語言模型LLM 的訪問，其中包含Splashtop 安全工作區。我們的連接器可為您的私有應用程序提供安全連接，讓您集中控制訪問權限。

步驟1：創建連接器并復制連接器令牌

登錄到您的 Splashtop安全工作區管理員帳戶。

轉到 “部 署” 菜單，選擇“連接器”，然后單擊 “添加連接器”。

選擇Headless/CLI，填寫連接器名稱，然后單擊“下一步”。然后選擇 Linux 并單擊“完成”。

創建連接器后，單擊連接器列表中的連接器名稱以查看詳細信息。復制 令牌 以供在下方使用。

步驟2：創建LLM 應用程序

將私人 LLM聊天機器人服務添加為私有應用程序，為您的員工提供此服務。

導航到 “應用程序/應用程序”，然后單擊“添加應用程序 /添加私有應用程序”按鈕。

在表格中填寫應用程序名稱，“localhost”作為 主機 ，“6006”作為端口。

選擇 HTTP 作為協議，選擇之前創建的連接器名稱，然后為該應用程序分配正確的組。單擊 “保存”。

SecureWorkspace 將自動為私有LLM 應用程序生成完全限定的域名(FQDN)。

步驟3：在cloud中運行應用

在 LLM-As-Chatbot文件夾中，使用 dstackrun 命令在 cloud中預配專用 LLM和安全工作區（ 將$token替換為步驟 1中的連接器令牌）：dstackrun . -f ssw-private-llm.yml $token

此命令將在 cloud中預配和運行 LLM即聊天機器人，并啟動安全工作區連接器實例。

一切啟動并運行后，使用您創建的FQDN 訪問私有LLM。同時，您可以為此應用程序設置授權和條件訪問策略。

審核編輯：湯梓紅