AI 模型卡是一份詳細說明機器學習（ ML ）模型如何工作的文檔。模型卡提供了有關 ML 模型元數據的詳細信息，包括它所基于的數據集、它所接受培訓的性能度量以及深度學習培訓方法本身。本文將帶您了解 AI 模型卡的當前實踐，以及 NVIDIA 計劃如何通過模型卡++（增強的下一代 AI 模型卡來提升它們。

在 2019 年的論文 Model Cards for Model Reporting 中，包括 Margaret Mitchell 、 Timnit Gebru 和 Lucy Vasserman 在內的一群數據科學家試圖為 AI 模型創建一個文檔標準。他們的主要動機是通過披露有關人工智能模型的基本信息，促進人工智能模型開發過程中的透明度和問責制。

這些信息包括誰開發了模型、預期用例和范圍外的應用程序、預期用戶、模型如何與不同的人口群體一起執行、關于用于培訓和驗證模型的數據的信息、限制和道德考慮。

在開發第一個 AI 模型卡之前，很少共享關于特定 AI 模型的信息，以幫助確定該模型是否適合特定組織的用途。

如果模型的輸出可能對特定人群產生不利影響，那么這就成了一個問題。例如， 2019 年由大學牽頭的研究 Discrimination through Optimization： How Facebook’s Ad Delivery Can Lead to Skewed Outcomes 顯示，盡管使用中性參數來針對廣告，但在社交媒體上發布廣告的算法導致了歧視性廣告發布。

模型卡的采用有助于開發人員將其結果與類似模型的結果進行比較，從而幫助開發和改進模型。模型卡強調了計劃部署模型的人員的性能問題。

同時，模型卡還教育了正在起草管理人工智能模型和系統的法規和立法的決策者。雖然不是必需的，但開發模型卡是一種最佳實踐，它鼓勵開發人員與最終將受到模型輸出影響的人接觸。

模型卡的重要性

雖然模型卡旨在鼓勵模型透明度和可信度，但利益相關者也會使用它們來提高開發人員的理解并使決策過程標準化。

模型卡的結構和組織方式為模式。他們簡明扼要地報告了不同因素的信息，如人口統計、環境條件、定量評估指標，以及道德考慮（如有）。

模型卡還可以記錄模型版本、類型、日期、許可證限制、有關發布組織的信息以及其他定性信息。示范卡旨在進行教育，并允許對衡量標準和基準進行明智的比較。圖 1 顯示了 NGC Model Card for StyleGAN3 。

圖 1.StyleGAN3 模型卡顯示了有關其體系結構、培訓和數據集的信息

模型卡就像開源的資料表。除非你是模型本身的開發人員，否則如果沒有模型卡，你甚至可能不太了解 AI 模型本身。模型卡提供了對模型細節的最全面理解，以及個人在應用模型時應考慮的因素。

例如，智能手機可能有一個面部檢測系統，允許用戶根據識別解鎖。如果沒有模型卡，模型開發人員可能在部署模型之前無法意識到模型的行為。這就是 Joy Buolamwini 博士 嘗試使用面部檢測系統 作為她在麻省理工學院研究生工作的一部分時發生的事情。

AI 模型卡可訪問性

AI 模型卡不應該只為開發者構建；公司還應該制作模型卡，非技術人員和技術專家都可以訪問和閱讀。

模型卡不限于給定的行業或領域。它們可以用于計算機視覺、語音、推薦系統和其他 AI 工作流。除了在高等教育和研究以及高性能計算空間中有著積極的用途外，模型卡還可以在多個行業中使用，包括汽車、醫療和機器人應用。模型卡可以：

教學生并幫助他們理解真實的用例

告知決策者并澄清非模型開發者的預期用途

教育那些對尋求人工智能利益感興趣的人

通過模型卡動員人工智能是公司向可信賴人工智能發展的決定性和透明的一步。

改進和增強模型卡

我們進行了市場調查，以了解現有模型卡的改進情況。雖然開發人員樣本中 90% 的受訪者認為模型卡很重要， 70% 的人會按原樣推薦，但仍有改進的余地，以推動其采用、使用和影響。

根據我們的研究，現有的模型卡應該在兩個主要方面得到增強：可訪問性和內容質量。模型卡用戶需要模型卡，以便于訪問和理解。

可訪問性

發現是模型卡可訪問性的一個需要改進的要素。在發布模型時，人工智能開發人員應該能夠找到模型卡，然后將其與工作一起推廣。研究論文中介紹的模型以及用于商業用途的模型都是如此。

其次，模型卡需要放在感興趣的個人可以參考的地方。 NVIDIA 推廣模型卡的方式之一是通過 NGC 目錄。模型和模型卡并排放置在同一存儲庫中。

內容質量

找到模型卡后，用戶的下一個挑戰是理解其中包含的信息。這在選擇前的模型評估階段尤為關鍵。不理解模型卡中包含的信息會導致與不知道信息存在相同的結果；不管怎樣，模型用戶都無法做出明智的決策。

為了解決這個問題， NVIDIA 鼓勵使用一致的組織結構、簡單的格式和清晰的語言制作模型卡。還建議添加可篩選和可搜索字段。當個人能夠找到模型卡中包含的信息時，他們更有可能理解軟件。根據我們的研究，受訪者喜歡并依賴于模型卡中的信息，因為它很容易獲取和理解。

事實上，性能和許可信息是受訪者希望在模型卡中看到的兩個最重要的方面。圖 2 顯示了 StyleGAN3 模型卡如何將單獨的部分用于性能和許可。

圖 2.StyleGAN3 模型卡包括性能和許可部分

在性能和許可信息之后，受訪者認為關于道德考慮的部分是模型選擇標準中最重要的信息類別。出于道德考慮，受訪者表示，他們希望獲得更多關于用于培訓和驗證模型的數據集的信息，尤其是關于不必要偏見的詳細信息以及關于安全和安保的信息。

型號卡++概述

Model Card ++是 NVIDIA 在過去 9 個月開發的改進型 NGC Catalog Model Card 原型。除了 NGC 目錄中模型卡概述部分給出的典型信息外，模型卡++還包括：

Plus Plus Promise （也稱為++ Promise 或 Triple P ），描述 NVIDIA 軟件開發方法和我們在所有模型開發中堅持的標準

詳細說明有關偏差、可解釋性、隱私、安全性和安全性的模型特定信息的小節

圖 4 顯示了++ Promise ，它將嵌入到每個 ModelCard ++中。

圖 4.模型卡++承諾描述了 NVIDIA 在 AI 模型開發中證明可信度所采取的步驟

++承諾描述了 NVIDIA 正在采取的步驟，以證明我們的工作在設計中的可信度。附卡概述：

采取措施減少不必要的偏見

決策邏輯和示例域

培訓數據集的來源以及收集的數據類型和方式

使用的開發控制和已知限制

這并不是一份詳盡的清單，但它展示了設計意圖和對標準和保護的承諾，這些標準和保護重視個人、數據和 NVIDIA 對 AI 的貢獻。這適用于跨域和用例的每個模型。

圖 5 顯示了解釋性附卡的示例。每個模型卡++將包括一個專門的字段部分和每個子部分的響應。每個領域的回答部分所示內容并不代表真實世界的模型，而是為了說明基于當前理解和最新研究將提供的內容。

圖 5.可解釋性附卡示例，模型卡++的四個子部分之一并入 NGC 模型卡

解釋性附卡提供了 AI 模型的示例域、目標用戶、決策邏輯和合規性審查的信息。 NVIDIA 模型卡旨在使用清晰、一致和簡潔的語言呈現 AI 模型。

NVIDIA 將于年底開始推出 Model Card ++，所有商業車型將于 2023 年底使用。

我們如何制作模型卡++

模型卡++是下一代 AI 模型卡。它是與工程、產品、研究、產品安全和法律團隊合作的紀律嚴明的跨職能方法的結果。在現有 NGC 模型卡的基礎上，我們審查了其他組織和模板（包括 GitHub ）的模型卡，以找出可以一致提供的其他信息。

除了目前提供的信息外，我們還與工程部合作，試驗可以持續提供的信息。我們發現，雖然我們的模型卡有一個道德考慮部分，但還可以提供更多內容，比如我們為減少不必要的偏見而采取的措施。我們還發現，我們可以描述數據集的來源和可追溯性、數據集存儲和質量驗證。

我們希望提供更多關于數據集人口構成、不同人口群體的績效指標以及我們為解決不必要的偏見而采取的具體緩解措施的詳細信息。我們還與算法偏差顧問合作開發了一個評估不必要偏差的流程，該流程符合數據隱私法，并與我們的最新市場研究相結合。

在構建 Model Card ++時，我們還通過調查使用我們模型的開發人員和來自整個行業的開發人員，來證實我們的市場研究工作。我們驗證了所需的信息，并與我們的用戶設計經驗團隊一起將其結構化，以清晰有序的格式呈現出來。我們對向世界推出 Model Card ++感到興奮，并希望繼續領導努力，鼓勵全人類的包容性人工智能。

審核編輯：郭婷