AI 簡報 20231117期

1.面對未來的AI：三大挑戰

當AI如ChatGPT在2022年末突然嶄露頭角時，不僅展現了AI的驚人進步，還描繪出了一個充滿可能性的未來，重新定義著我們的工作、學習和娛樂方式。盡管AI的潛力對許多人來說顯而易見，但其中隱藏了一些棘手的倫理和風險問題。

應對這些風險就像解開一幅巨大的拼圖，這幅拼圖定義著我們的時代。因此，許多AI領域的專家正積極倡導制定一些基本規則，以確保AI的使用受到約束。畢竟，AI的應用不僅僅是口號，它已經變得至關重要。

我們正在深入究專家們的見解，解開圍繞他們的道德困境，并研究如何影響人工智能和其他技術的未來。

“倫理與偏見

人工智能系統需要使用數據進行訓練。但數據集往往是由有偏見或不準確的人制作的。因此，人工智能系統會使偏見長期存在。在招聘實踐和刑事司法中尤其如此，管理這些偏見可能很困難。

IEEE高級會員Kayne McGladrey表示：“我們可以手動或自動審計軟件代碼中的隱私缺陷。同樣，我們可以審計軟件代碼的安全缺陷。但是，我們目前無法審計軟件代碼是否存在道德缺陷或偏見，即將出臺的大部分法規將對人工智能模型的結果進行歧視性篩選。”

“改變工作方式

隨著生成人工智能的興起，公司正在重新構想如何完成工作。雖然很少有人認為需要創造力和判斷力的工作可以完全自動化，但人工智能可以提供幫助。例如，當作家陷入困境時，生成型人工智能可以提供對話想法。它不能充當你的律師，但一個好的律師可以利用生成人工智能來撰寫動議的初稿，或進行研究。

IEEE會員Todd Richmond說：“我們需要共同弄清楚什么是“人類的努力”，我們愿意把什么交給算法，比如制作音樂、電影、行醫等。”

在全球技術領袖的調查（https://transmitter.ieee.org/impact-of-technology-2024/）中，其中50%的受訪者表示，將AI整合到現有工作流程中存在困難，是他們對于在2024年使用生成式AI的前三大擔憂之一。

“準確性和過度依賴性

生成型人工智能可以”自信”地闡述事實，但問題是這些事實并不總是準確的。對于所有形式的人工智能，很難弄清楚該軟件究竟是如何得出結論的。

在調查中，59%的受訪者表示，“過度依賴人工智能和其潛在的不準確性”是他們組織中人工智能使用的首要問題。

部分問題在于訓練數據本身可能不準確。

IEEE終身會士Paul Nikolich說：“驗證訓練數據很困難，因為來源不可用，且訓練數據量巨大。”

人工智能可能越來越多地被用于關鍵任務、拯救生命的應用。

“在我們使用人工智能系統之前，我們必須相信這些人工智能系統將安全且按預期運行，”IEEE會士Houbing Song說。

在2024年及以后，預計將大力確保人工智能結果更加準確，用于訓練人工智能模型的數據是干凈的。

2. 李飛飛團隊新作：腦控機器人做家務，讓腦機接口具備少樣本學習能力

原文：https://mp.weixin.qq.com/s/TwvfHMKZNBpsFirM2PuO-Q

未來也許只需動動念頭，就能讓機器人幫你做好家務。斯坦福大學的吳佳俊和李飛飛團隊近日提出的 NOIR 系統能讓用戶通過非侵入式腦電圖裝置控制機器人完成日常任務。

NOIR 能將你的腦電圖信號解碼為機器人技能庫。它現在已能完成例如烹飪壽喜燒、熨衣服、磨奶酪、玩井字游戲，甚至撫摸機器狗等任務。這個模塊化的系統具備強大的學習能力，可以應對日常生活中復雜多變的任務。

大腦與機器人接口（BRI）堪稱是人類藝術、科學和工程的集大成之作。我們已經在不勝枚舉的科幻作品和創意藝術中見到它，比如《黑客帝國》和《阿凡達》；但真正實現 BRI 卻非易事，需要突破性的科學研究，創造出能與人類完美協同運作的機器人系統。

對于這樣的系統，一大關鍵組件是機器與人類通信的能力。在人機協作和機器人學習過程中，人類傳達意圖的方式包括動作、按按鈕、注視、面部表情、語言等等。而通過神經信號直接與機器人通信則是最激動人心卻也最具挑戰性的前景。

近日，斯坦福大學吳佳俊和李飛飛領導的一個多學科聯合團隊提出了一種通用型的智能 BRI 系統 NOIR（Neural Signal Operated Intelligent Robots / 神經信號操控的智能機器人）。

論文地址：https://openreview.net/pdf?id=eyykI3UIHa

項目網站：https://noir-corl.github.io/

該系統基于非侵入式的腦電圖（EEG）技術。據介紹，該系統依據的主要原理是分層式共享自治（hierarchical shared autonomy），即人類定義高層級目標，而機器人通過執行低層級運動指令來實現目標。該系統納入了神經科學、機器人學和機器學習領域的新進展，取得了優于之前方法的進步。該團隊總結了所做出的貢獻。

首先，NOIR 是通用型的，可用于多樣化的任務，也易于不同社區使用。研究表明，NOIR 可以完成多達 20 種日常活動；相較之下，之前的 BRI 系統通常是針對一項或少數幾項任務設計的，或者就僅僅是模擬系統。此外，只需少量培訓，普通人群也能使用 NOIR 系統。

其次，NOIR 中的 I 表示這個機器人系統是智能的（intelligent），具備自適應能力。該機器人配備了一個多樣化的技能庫，讓其無需密集的人類監督也能執行低層級動作。使用參數化的技能原語，比如 Pick (obj-A) 或 MoveTo (x,y)，機器人可以很自然地取得、解讀和執行人類的行為目標。

此外，NOIR 系統還有能力在協作過程中學習人類想達成的目標。研究表明，通過利用基礎模型的最新進展，該系統甚至能適應很有限的數據。這能顯著提升系統的效率。

NOIR 的關鍵技術貢獻包括一個模塊化的解碼神經信號以獲知人類意圖的工作流程。要知道，從神經信號解碼出人類意圖目標是極具挑戰性的。為此，該團隊的做法是將人類意圖分解為三大組分：要操控的物體（What）、與該物體交互的方式（How）、交互的位置（Where）。他們的研究表明可以從不同類型的神經數據中解碼出這些信號。這些分解后的信號可以自然地對應于參數化的機器人技能，并且可以有效地傳達給機器人。

在 20 項涉及桌面或移動操作的家庭活動（包括制作壽喜燒、熨燙衣物、玩井字棋、摸機器狗狗等）中，三名人類受試者成功地使用了 NOIR 系統，即通過他們的大腦信號完成了這些任務！

實驗表明，通過以人類為師進行少樣本機器人學習，可以顯著提升 NOIR 系統的效率。這種使用人腦信號協作來構建智能機器人系統的方法潛力巨大，可用于為人們（尤其是殘障人士）開發至關重要的輔助技術，提升他們的生活品質。

NOIR 系統

這項研究力圖解決的挑戰包括：1. 如何構建適用于各種任務的通用 BRI 系統？2. 如何解碼來自人腦的相關通信信號？3. 如何提升機器人的智能和適應能力，從而實現更高效的協作？圖 2 給出了該系統的概況。

在這個系統中，人類作為規劃智能體，做的是感知、規劃以及向機器人傳達行為目標；而機器人則要使用預定義的原語技能實現這些目標。

為了實現打造通用 BRI 系統的總體目標，需要將這兩種設計協同集成到一起。為此，該團隊提出了一種全新的大腦信號解碼工作流程，并為機器人配備了一套參數化的原始技能庫。最后，該團隊使用少樣本模仿學習技術讓機器人具備了更高效的學習能力。

大腦：模塊化的解碼工作流程

如圖 3 所示，人類意圖會被分解成三個組分：要操控的物體（What）、與該物體交互的方式（How）、交互的位置（Where）。

要從腦電圖信號解碼出具體的用戶意圖，難度可不小，但可以通過穩態視覺誘發電位（SSVEP）和運動意象（motor imagery）來完成。簡單來說，這個過程包括：

• 選取具有穩態視覺誘發電位（SSVEP）的物體

• 通過運動意象（MI）選擇技能和參數

• 通過肌肉收緊來選擇確認或中斷

機器人：參數化的原語技能

參數化的原語技能可以針對不同的任務進行組合和復用，從而實現復雜多樣的操作。此外，對人類而言，這些技能非常直觀。人類和智能體都無需了解這些技能的控制機制，因此人們可以通過任何方法實現這些技能，只要它們是穩健的且能適應多樣化的任務。

該團隊在實驗中使用了兩臺機器人：一臺是用于桌面操作任務的 Franka Emika Panda 機械臂，另一臺是用于移動操作任務的 PAL Tiago 機器人。下表給出了這兩臺機器人的原語技能。

使用機器人學習實現高效的 BRI

上述的模塊化解碼工作流程和原語技能庫為 NOIR 奠定了基礎。但是，這種系統的效率還能進一步提升。機器人應當能在協作過程中學習用戶的物品、技能和參數選擇偏好，從而在未來能預測用戶希望達成的目標，實現更好的自動化，也讓解碼更簡單容易。由于每一次執行時，物品的位置、姿態、排列和實例可能會有所不同，因此就需要學習和泛化能力。另外，學習算法應當具有較高的樣本效率，因為收集人類數據的成本很高。

該團隊為此采用了兩種方法：基于檢索的少樣本物品和技能選取、單樣本技能參數學習。

基于檢索的少樣本物品和技能選取。該方法可以學習所觀察狀態的隱含表征。給定一個觀察到的新狀態，它會在隱藏空間中找到最相似的狀態以及對應的動作。圖 4 給出了該方法的概況。

在任務執行期間，由圖像和人類選擇的「物品 - 技能」對構成的數據點會被記錄下來。這些圖像首先會被一個預訓練的 R3M 模型編碼，以提取出對機器人操控任務有用的特征，然后再讓它們通過一些可訓練的全連接層。這些層的訓練使用了帶三元組損失的對比學習，這會鼓勵帶有同樣「物品 - 技能」標簽的圖像在隱藏空間中處于更相近的位置。所學習到的圖像嵌入和「物品 - 技能」標簽會被存儲到內存中。

在測試期間，模型會檢索隱藏空間中最近的數據點，然后將與該數據點關聯的「物品 - 技能」對建議給人類。

單樣本技能參數學習。參數選取需要人類大量參與，因為這個過程需要通過運動意象（MI）進行精準的光標操作。為了減少人類的工作量，該團隊提出了一種學習算法，可以根據給定的用作光標控制起始點的「物品 - 技能」對來預測參數。假設用戶已經成功定位了拿起一個杯子把手的精確關鍵點，那么未來還需要再次指定這個參數嗎？最近 DINOv2 等基礎模型取得了不少進展，已經可以找到相應的語義關鍵點，從而無需再次指定參數。

相比于之前的工作，這里提出的新算法是單樣本的并且預測的是具體的 2D 點，而非語義片段。如圖 4 所示，給定一張訓練圖像（360 × 240）和參數選擇 (x, y)，模型預測不同的測試圖像中語義上對應的點。該團隊具體使用的是預訓練的 DINOv2 模型來獲取語義特征。

實驗和結果

任務。實驗選取的任務來自 BEHAVIOR 和 Activities of Daily Living 基準，這兩個基準能在一定程度上體現人類的日常需求。圖 1 展示了實驗任務，其中包含 16 個桌面任務和 4 個移動操作任務。

下面展示了制作三明治和護理新冠病人的實驗過程示例。

實驗流程。實驗過程中，用戶待在一個隔離房間中，保持靜止，在屏幕上觀看機器人，單純依靠大腦信號與機器人溝通。

系統性能。表 1 總結了兩個指標下的系統性能：成功之前的嘗試次數和成功時完成任務的時間。

盡管這些任務跨度長，難度大，但 NOIR 還是得到了非常鼓舞人心的結果：平均而言，只需嘗試 1.83 次就能完成任務。

解碼準確度。解碼大腦信號的準確度是 NOIR 系統成功的一大關鍵。表 2 總結了不同階段的解碼準確度。可以看到，基于 SSVEP 的 CCA（典型相關分析）能達到 81.2% 的高準確度，也就是說物品選取大體上是準確的。

物品和技能選取結果。那么，新提出的機器人學習算法能否提升 NOIR 的效率呢？研究者首先對物品和技能選取學習進行了評估。為此，他們為 MakePasta 任務收集了一個離線數據集，其中每一對「物品 - 技能」都有 15 個訓練樣本。給定一張圖像，當同時預測出了正確的物品和技能時，就認為該預測是正確的。結果見表 3。使用 ResNet 的簡單圖像分類模型能實現 0.31 的平均準確度，而基于預訓練 ResNet 骨干網絡使用新方法時卻能達到顯著更高的 0.73，這凸顯出了對比學習和基于檢索的學習的重要性。

單樣本參數學習的結果。研究者基于預先收集的數據集將新算法與多個基準進行了比較。表 4 給出了預測結果的 MSE 值。

他們還在 SetTable 任務上展現了參數學習算法在實際任務執行中的有效性。圖 5 給出了控制光標移動方面所節省的人類工作量。

3. 微軟深夜連甩三大炸彈！Bing Chat更名Copilot，自研芯片問世，還加入GPTs功能

原文：https://mp.weixin.qq.com/s/jZs_yHPVjo_OggzWClMXpQ

就在剛剛，微軟正式對外重磅宣布：

從今天起，Bing Chat全線更名——Copilot。

和ChatGPT一樣，現在的微軟Copilot也擁有自己的專屬網站。

但與之不同的是，像GPT-4、DALL·E 3這樣的功能，在Copilot上統統都是免費的！

要想使用這一切，你只需要做的就是登錄微軟賬號（而ChatGPT則需要訂閱會員）。 a

就連OpenAI上周王炸推出的自定義GPT，也被微軟塞了進來，并取名為——Copilot Studio。

而圍繞新品牌Copilot，微軟的大動作還不止于此。

例如流傳已久的自研芯片，今天終于亮相了——2款高端定制芯片，Azure Maia 100和Azure Cobalt 100。

據外媒推測，尤其是像Maia 100這種AI芯片，很可能就是要用在Copilot品牌下的一些新功能。

除此之外，打工人最關心的Office，這次也是塞滿了Copilot。

總而言之，縱觀整場微軟Ignite大會，“Copilot”可謂是貫穿了所有。

正如外媒的評價：

微軟可以叫“Copilot公司”了。

一切皆可Copilot

對于Bing Chat更名為Copilot，微軟CEO納德拉在現場將此高度總結為：

Copilot無所不在。

現在，無論是在微軟的Edge、谷歌的Chrome、蘋果的Safari，亦或是移動端，均可使用Copilot。

不過需要強調的一點是，雖然Copilot只需要登錄微軟賬號就可以免費使用，但像Microsoft 365等其它產品的Copilot依舊是付費的。

對于類似OpenAI GPTs的Copilot Studio，從微軟的介紹來看，它還是有一點不同。

Copilot Studio的主要設計目的其實是擴展Microsoft 365 Copilot。

在該應用中，大伙可以用它自定義包含不同數據集、自動化流程的Copilot。

由此一來，我們就可以將這些自定義AI助手更專注地連接到公司的關鍵業務系統中（是的，主要面向企業用戶），然后就像與人聊天一樣方便地獲取其中信息。

它可以是網站上幫助用戶回答產品問題的Copilot，也可以是季度收益發布中的Copilot。

對于這項新功能，最重磅的一點還是：

OpenAI GPTs居然也被直接塞了進來，大伙在構建自定義Copilot時，也能用上它的功能

最后，Copilot系列除了以上這些，微軟還發布了Copilot for Azure，一個專門通過聊天方式簡化日常IT管理的AI。

首款5nm自研AI芯片

在圍繞Copilot的一系列重磅炸彈放出之時，微軟的自研芯片也終于來了。

一共兩款。

Azure芯片部門副總裁透露，Maia 100已在其Bing和Office AI產品上測試。

以及劃重點：OpenAI也在試用。這意味著ChatGPT等模型的云訓練和推理都將可能基于該芯片。

第二款叫Cobalt 100，是一款64位、128計算核心的CPU，基于ARM指令集架構，對標英特爾和AMD同類處理器。

Cobalt 100也被設計為專門用于云計算，相比微軟Azure一直在用的其他基于ARM的芯片，可帶來40%功耗下降。

目前，它已開始為Microsoft Teams等應用提供支持。

微軟介紹，這兩款芯片全部由臺積電生產，將在明年初在微軟的幾個數據中心首次公開亮相。

以及它們都還只是各自系列中的頭陣產品，言外之意，后面還會繼續研發上新。

現在，微軟也終于在谷歌TPU和亞馬遜Graviton之后，擁有了自研AI芯片——三大云巨頭也“齊活”了。

Office更新：降價了

最最后，圍繞微軟Office一系列套件的AI產品Copilot for Microsoft 365也更新了n多功能（沒在大會上宣布，直接官網通知）。

主要思想就是更加個性化、更強的數學和分析能力以及全面打通協作。

譬如在Word和PowerPoint中，我們可以設置更多寫作格式、風格、語氣的偏好，獲得更為量身定制的文檔和PPT，更像你本人（親自創作的）。

在Excel中，則能用自然語言解鎖更多復雜的數學分析。

在Team中，可以直接將大伙的頭腦風暴轉為可視化白板，如果你想專門看看某位同事說了什么，直接使用“Quote xx”命令即可呈現Copilot為你記錄的全部發言。

當然，最最值得關注的更新還是降價了。

現在每月只需50美元即可享受企業服務，比之前少了20刀。

4. 中文最強開源大模型來了！130億參數，0門檻商用，來自昆侖萬維

原文：https://mp.weixin.qq.com/s/MKu6eusxyCXw3fLhgbcp0A

開源最徹底的大模型來了——130億參數，無需申請即可商用。

不僅如此，它還附帶著把全球最大之一的中文數據集也一并開源了出來：600G、1500億tokens！

這就是來自昆侖萬維的Skywork-13B系列，包含兩大版本：

• Skywork-13B-Base：該系列的基礎模型，在多種基準評測中都拔得頭籌的那種。

• Skywork-13B-Math：該系列的數學模型，數學能力在GSM8K評測上得分第一。

在各大權威評測benchmark上，如C-Eval、MMLU、CMMLU、GSM8K，可以看到Skywork-13B在中文開源模型中處于前列，在同等參數規模下為最優水平。

而Skywork-13B系列之所以能取得如此亮眼的成績，部分原因離不開剛才我們提到的數據集。

畢竟清洗好的中文數據對于大模型來說可謂是至關重要，幾乎從某種程度上決定了其性能。

但昆侖萬維能將如此“至寶”無償地給奉獻出來，不難看出它對于構建開源社區、服務開發者的滿滿誠意。

除此之外，昆侖萬維Skywork-13B此次還配套了“輕量版”大模型，是在消費級顯卡中就能部署和推理的那種！

Skywork-13B下載地址（Model Scope）：
https://modelscope.cn/organization/skywork

Skywork-13B下載地址（Github）：
https://github.com/SkyworkAI/Skywork

接下來，我們進一步來看下Skywork-13B系列更多的能力。

無需申請即可商用

Skywork-13B系列大模型擁有130億參數、3.2萬億高質量多語言訓練數據。

由此，模型在生成、創作、數學推理等任務上提升明顯。

首先在中文語言建模困惑度評測中，Skywork-13B系列大模型超越了目前所有中文開源模型。

在科技、金融、政務、企業服務、文創、游戲等領域均表現出色。

另外，Skywork-13B-Math專長數學任務，進行過數學能力強化訓練，在GSM8K等數據集中取得了同等規模模型最佳效果。

與此同時，昆侖萬維還開源了數據集Skypile/Chinese-Web-Text-150B。其數據是通過精心過濾的數據處理流程從中文網頁中篩選而來。

由此，開發者可以最大程度借鑒技術報告中大模型預訓練的過程和經驗，深度定制模型參數，進行針對性訓練與優化 。

除此之外，Skywork-13B還公開了模型使用的評估方法、數據配比研究和訓練基礎設施調優方案等。

而Skywork-13B的一系列開源，無需申請即可商用！

用戶在下載模型并同意遵守《Skywork模型社區許可協議》后，不用再次申請商業授權。

授權流程也取消了對行業、公司規模、用戶數量等方面限制。

昆侖萬維會如此徹底開源其實也并不意外。

昆侖萬維董事長兼CEO方漢是最早參與到開源生態建設的老兵了，也是中文Linux開源最早的推動者之一。

在今年ChatGPT趨勢剛剛興起時，他就多次公開發聲、強調開源的重要性：

代碼開源可助力中國版ChatGPT彎道超車。

所以也就不難理解Skywork-13B系列大模型的推出了。

而在短短2個月后，昆侖萬維又將最新的大模型、最新的數據集，一并發布且開源，可以說它的一切動作不僅在于快，更是在于敢。

那么接下來的問題是——為什么要這么做？

其實，對于AIGC這一板塊，昆侖萬維早在2020年便已經開始涉足，早早的準備和技術積累就是它能夠在大熱潮來臨之際快速跟進的原因之一。

據了解，昆侖萬維目前已形成AI大模型、AI搜索、AI游戲、AI音樂、AI動漫、AI社交六大AI業務矩陣。

至于不遺余力的將開源這事做好做大，一方面是源于企業的基因。

昆侖萬維董事長兼CEO方漢是最早參與到開源生態建設的開源老兵，也是中文Linux開源最早的推動者之一，開源的精神和AIGC技術的發展早已在昆侖萬維戰略中完美融合。

正如方漢此前所言：

昆侖天工之所以選擇開源，因為我們堅信開源是推動AIGC生態發展的土壤和重要力量。昆侖萬維致力于在AIGC模型算法方面的技術創新和開拓，致力于推進開源AIGC算法和模型社區的發展壯大，致力于降低AIGC技術在各行各業的使用和學習門檻。

沒錯，降低門檻，便是其堅持開源的另一大原因。

從昆侖萬維入局百模大戰以來的種種動作中，也很容易看到它正在踐行著讓天工用起來更簡單、更絲滑。

總而言之，昆侖萬維目前已然是處于國產大模型的第一梯隊，甚至說是立于金字塔尖都不足為過。

那么在更大力度的開源加持之下，天工大模型還將有怎樣驚艷的表現，是值得期待一波了。

5. 最強大模型訓練芯片H200發布！141G大內存，AI推理最高提升90%，還兼容H100

原文：https://mp.weixin.qq.com/s/IYPpzHgXuYHGrO-BRgyWhw

英偉達老黃，帶著新一代GPU芯片H200再次炸場。

官網毫不客氣就直說了，“世界最強GPU，專為AI和超算打造”。

聽說所有AI公司都抱怨內存不夠？這回直接141GB大內存，與H100的80GB相比直接提升76%。作為首款搭載HBM3e內存的GPU，內存帶寬也從3.35TB/s提升至4.8TB/s，提升43%。

對于AI來說意味著什么？來看測試數據。在HBM3e加持下，H200讓Llama-70B推理性能幾乎翻倍，運行GPT3-175B也能提高60%。

最強AI芯片只能當半年

除內存大升級之外，H200與同屬Hopper架構的H100相比其他方面基本一致。

臺積電4nm工藝，800億晶體管，NVLink 4每秒900GB的高速互聯，都被完整繼承下來。

甚至峰值算力也保持不變，數據一眼看過去，還是熟悉的FP64 Vector 33.5TFlops、FP64 Tensor 66.9TFlops。

對于內存為何是有零有整的141GB，AnandTech分析HBM3e內存本身的物理容量為144GB，由6個24GB的堆棧組成。

出于量產原因，英偉達保留了一小部分作為冗余，以提高良品率。

僅靠升級內存，與2020年發布的A100相比，H200就在GPT-3 175B的推理上加速足足18倍。

H200預計在2024年第2季度上市，但最強AI芯片的名號H200只能擁有半年。

同樣在2024年的第4季度，基于下一代Blackwell架構的B100也將問世，具體性能還未知，圖表暗示了會是指數級增長。

多家超算中心將部署GH200超算節點

除了H200芯片本身，英偉達此次還發布了由其組成的一系列集群產品。

首先是HGX H200平臺，它是將8塊H200搭載到HGX載板上，總顯存達到了1.1TB，8位浮點運算速度超過32P（10^15) FLOPS，與H100數據一致。

HGX使用了英偉達的NVLink和NVSwitch高速互聯技術，可以以最高性能運行各種應用負載，包括175B大模型的訓練和推理。

HGX板的獨立性質使其能夠插入合適的主機系統，從而允許使用者定制其高端服務器的非GPU部分。

接下來是Quad GH200超算節點——它由4個GH200組成，而GH200是H200與Grace CPU組合而成的。

Quad GH200節點將提供288 Arm CPU內核和總計2.3TB的高速內存。

通過大量超算節點的組合，H200最終將構成龐大的超級計算機，一些超級計算中心已經宣布正在向其超算設備中集成GH200系統。

據英偉達官宣，德國尤利希超級計算中心將在Jupiter超級計算機使用GH200超級芯片，包含的GH200節點數量達到了24000塊，功率為18.2兆瓦，相當于每小時消耗18000多度電。

該系統計劃于2024年安裝，一旦上線，Jupiter將成為迄今為止宣布的最大的基于Hopper的超級計算機。

Jupiter大約將擁有93(10^18) FLOPS的AI算力、1E FLOPS的FP64運算速率、1.2PB每秒的帶寬，以及10.9PB的LPDDR5X和另外2.2PB的HBM3內存。

除了Jupiter，日本先進高性能計算聯合中心、德克薩斯高級計算中心、伊利諾伊大學香檳分校國家超級計算應用中心等超算中心也紛紛宣布將使用GH200對其超算設備進行更新升級。

那么，AI從業者都有哪些嘗鮮途徑可以體驗到GH200呢？

上線之后，GH200將可以通過Lambda、Vultr等特定云服務提供商進行搶先體驗，Oracle和CoreWeave也宣布了明年提供GH200實例的計劃，亞馬遜、谷歌云、微軟Azure同樣也將成為首批部署GH200實例的云服務提供商。

英偉達自身，也會通過其NVIDIA LaunchPad平臺提供對GH200的訪問。

硬件制造商方面，華碩、技嘉等廠商計劃將于今年年底開始銷售搭載GH200的服務器設備。

6. 干貨分享~最新Yolo系列模型的部署、精度對齊與int8量化加速

原文：https://mp.weixin.qq.com/s/f2nPgwX2g-H8-8M8TXd38w

分享下朋友的一系列關于YOLO部署的干貨，純白嫖，來源請看原文鏈接。

本文寫于2023-11-02晚

若需轉載請聯系 haibintian@foxmail.com

大家好，我是海濱。寫這篇文章的目的是為宣傳我在23年初到現在完成的一項工作---Yolo系列模型在TensorRT上的部署與量化加速，目前以通過視頻的形式在B站發布（不收費，只圖一個一劍三連）。

麻雀雖小但五臟俱全，本項目系統介紹了YOLO系列模型在TensorRT上的量化方案，工程型較強，我們給出的工具可以實現不同量化方案在Yolo系列模型的量化部署，無論是工程實踐還是學術實驗，相信都會對你帶來一定的幫助。

B站地址（求關注和三連）：https://www.bilibili.com/video/BV1Ds4y1k7yr/

Github開源地址（求star）：https://github.com/thb1314/mmyolo_tensorrt/

當時想做這個的目的是是為了總結一下目標檢測模型的量化加速到底會遇到什么坑，只是沒想到不量化坑都會很多。

比如即使是以FP32形式推理，由于TensorRT算子參數的一些限制和TRT和torch內部實現的不同，導致torch推理結果會和TensorRT推理結果天然的不統一，至于為什么不統一這里賣個關子大家感興趣可以看下視頻。

下面說一下我們這個項目做了哪些事情

1. YOLO系列模型在tensorrt上的部署與精度對齊

   該項目詳細介紹了Yolo系列模型在TensorRT上的FP32的精度部署，基于mmyolo框架導出各種yolo模型的onnx，在coco val數據集上對齊torch版本與TensorRT版本的精度。

   在此過程中我們發現，由于TopK算子限制和NMS算子實現上的不同，我們無法完全對齊torch和yolo模型的精度，不過這種風險是可解釋且可控的。

2. 詳解TensorRT量化的三種實現方式

   TensorRT量化的三種實現方式包括trt7自帶量化、dynamic range api，trt8引入的QDQ算子。

   Dynamic range api會在采用基于MQbench框架做PTQ時講解。

   TensorRT引入的QDQ算子方式在針對Yolo模型的PTQ和QAT方式時都有詳細的闡述，當然這個過程也沒有那么順利。

   在基于PytorchQuantization導出的含有QDQ節點的onnx時，我們發現盡管量化版本的torch模型精度很高，但是在TensorRT部署時精度卻很低，TRT部署收精度損失很嚴重，通過可視化其他量化形式的engine和問題engine進行對比，我們發現是一些層的int8量化會出問題，由此找出問題量化節點解決。

3. 詳解MQbench量化工具包在TensorRT上的應用

   我們研究了基于MQbench框架的普通PTQ算法和包括Adaround高階PTQ算法，且啟發于Adaround高階PTQ算法。

   我們將torch版本中的HistogramObserver引入到MQBench中，activation采用HistogramObserver weight采用MinMaxObserver，在PTQ過程中，weight的校準前向傳播一次，activation的校準需要多次 因此我們將weight的PTQ過程和activation的PTQ過程分開進行，加速PTQ量化。實踐證明，我們采用上述配置的分離PTQ量化在yolov8上可以取得基本不掉點的int8量化精度。

4. 針對YoloV6這種難量化模型，分別采用部分量化和QAT來彌補量化精度損失

   在部分量化階段，我們采用量化敏感層分析技術來判斷哪些層最需要恢復原始精度，給出各種metric的量化敏感層實現。

   在QAT階段，不同于原始Yolov6論文中蒸餾+RepOPT的方式，我們直接采用上述部分量化后的模型做出初始模型進行finetune，結果發現finetune后的模型依然取得不錯效果。

5. 針對旋轉目標檢測，我們同樣給出一種端到端方案，最后的輸出就是NMS后的結果。通過將TensorRT中的EfficientNMS Plugin和mmcv中旋轉框iou計算的cuda實現相結合，給出EfficientNMS for rotated box版本，經過簡單驗證我們的TRT版本與Torch版本模型輸出基本對齊。

以上就是我們這個項目做的事情，歡迎各位看官關注b站和一劍三連。同時，如果各位有更好的想法也歡迎給我們的git倉庫提PR。

7. 領域大模型落地的一些思考

原文：https://mp.weixin.qq.com/s/s-r-CL6qbrhnjdlcLYGrkw

一、常說通用模型的領域化可能是偽命題，那么領域大模型的通用化是否也是偽命題。

自訓練模型開始，就一直再跟Leader Battle這個問題，領域大模型需不需要有通用化能力。就好比華為盤古大模型“只做事不作詩”的slogan，是不是訓練的領域大模型可以解決固定的幾個任務就可以了。

個人的一些拙見是，如果想快速的將領域大模型落地，最簡單的是將系統中原有能力進行升級，即大模型在固定的某一個或某幾個任務上的效果超過原有模型。

以Text2SQL任務舉例，之前很多系統中的方法是通過抽取關鍵要素&拼接方式來解決，端到端解決的并不是很理想，那么現在完全可以用大模型SQL生成的能力來解決。在已有產品上做升級，是代價最小的落地方式。就拿我司做的大模型來說，在解決某領域SQL任務上效果可以達到90%+，同比現有開源模型&開放API高了不少。

當然還有很多其他任務可以升級，例如：D2QA、D2SPO、Searh2Sum等等等。

二、領域大模型落地，任務場景要比模型能力更重要。

雖說在有產品上做升級，是代價最小的落地方式，但GPT4、AutoGPT已經把人們胃口調的很高，所有人都希望直接提出一個訴求，大模型直接解決。但這對現有領域模型是十分困難的，所以在哪些場景上來用大模型是很關鍵的，并且如何將模型進行包裝，及時在模型能力不足的情況下，也可以讓用戶有一個很好的體驗。

現在很多人的疑惑是，先不說有沒有大模型，就算有了大模型都不知道在哪里使用，在私有領域都找不到一個Special場景。

所以最終大模型的落地，拼的不是模型效果本身，而是一整套行業解決方案，“Know How”成為了關鍵要素。

三、大多數企業最終落地的模型規格限制在了13B。

由于國情，大多數企業最終落地的方案應該是本地化部署，那么就會涉及硬件設備的問題。我并不絕的很有很多企業可以部署的起100B級別的模型，感覺真實部署限制在了10B級別。即使現在很多方法（例如：llama.cpp）可以對大模型進行加速，但100B級別的模型就算加速了，也是龐大資源消耗。

我之前說過“沒有體驗過33B模型的人，只會覺得13B就夠”，更大的模型一定要搞，但不影響最后落地的是10B級別。

———————End———————

新生態，創未來 | 2023RT-Thread 開發者大會開啟報名

邀請你參加 2023 RT-Thread 開發者大會的六大理由

1、刷新RT-Thread最新技術動態和產業服務能力

2、聆聽行業大咖分享，洞察產業趨勢

3、豐富的技術和產品展示，前沿技術發展和應用

4、絕佳的實踐機會：AIOT、MPU、RISC-V...

5、精美伴手禮人手一份開發板盲盒和免費午餐

6、黑科技滿點~滴水湖地鐵口安排無人車接送至會場

立刻掃碼報名吧