AI 簡報 20231117期

1.面對未來的AI：三大挑戰(zhàn)

當AI如ChatGPT在2022年末突然嶄露頭角時，不僅展現(xiàn)了AI的驚人進步，還描繪出了一個充滿可能性的未來，重新定義著我們的工作、學習和娛樂方式。盡管AI的潛力對許多人來說顯而易見，但其中隱藏了一些棘手的倫理和風險問題。

應對這些風險就像解開一幅巨大的拼圖，這幅拼圖定義著我們的時代。因此，許多AI領(lǐng)域的專家正積極倡導制定一些基本規(guī)則，以確保AI的使用受到約束。畢竟，AI的應用不僅僅是口號，它已經(jīng)變得至關(guān)重要。

我們正在深入究專家們的見解，解開圍繞他們的道德困境，并研究如何影響人工智能和其他技術(shù)的未來。

“倫理與偏見

人工智能系統(tǒng)需要使用數(shù)據(jù)進行訓練。但數(shù)據(jù)集往往是由有偏見或不準確的人制作的。因此，人工智能系統(tǒng)會使偏見長期存在。在招聘實踐和刑事司法中尤其如此，管理這些偏見可能很困難。

IEEE高級會員Kayne McGladrey表示：“我們可以手動或自動審計軟件代碼中的隱私缺陷。同樣，我們可以審計軟件代碼的安全缺陷。但是，我們目前無法審計軟件代碼是否存在道德缺陷或偏見，即將出臺的大部分法規(guī)將對人工智能模型的結(jié)果進行歧視性篩選。”

“改變工作方式

隨著生成人工智能的興起，公司正在重新構(gòu)想如何完成工作。雖然很少有人認為需要創(chuàng)造力和判斷力的工作可以完全自動化，但人工智能可以提供幫助。例如，當作家陷入困境時，生成型人工智能可以提供對話想法。它不能充當你的律師，但一個好的律師可以利用生成人工智能來撰寫動議的初稿，或進行研究。

IEEE會員Todd Richmond說：“我們需要共同弄清楚什么是“人類的努力”，我們愿意把什么交給算法，比如制作音樂、電影、行醫(yī)等。”

在全球技術(shù)領(lǐng)袖的調(diào)查（https://transmitter.ieee.org/impact-of-technology-2024/）中，其中50%的受訪者表示，將AI整合到現(xiàn)有工作流程中存在困難，是他們對于在2024年使用生成式AI的前三大擔憂之一。

“準確性和過度依賴性

生成型人工智能可以”自信”地闡述事實，但問題是這些事實并不總是準確的。對于所有形式的人工智能，很難弄清楚該軟件究竟是如何得出結(jié)論的。

在調(diào)查中，59%的受訪者表示，“過度依賴人工智能和其潛在的不準確性”是他們組織中人工智能使用的首要問題。

部分問題在于訓練數(shù)據(jù)本身可能不準確。

IEEE終身會士Paul Nikolich說：“驗證訓練數(shù)據(jù)很困難，因為來源不可用，且訓練數(shù)據(jù)量巨大?！?/p>

人工智能可能越來越多地被用于關(guān)鍵任務、拯救生命的應用。

“在我們使用人工智能系統(tǒng)之前，我們必須相信這些人工智能系統(tǒng)將安全且按預期運行，”IEEE會士Houbing Song說。

在2024年及以后，預計將大力確保人工智能結(jié)果更加準確，用于訓練人工智能模型的數(shù)據(jù)是干凈的。

2. 李飛飛團隊新作：腦控機器人做家務，讓腦機接口具備少樣本學習能力

原文：https://mp.weixin.qq.com/s/TwvfHMKZNBpsFirM2PuO-Q

未來也許只需動動念頭，就能讓機器人幫你做好家務。斯坦福大學的吳佳俊和李飛飛團隊近日提出的 NOIR 系統(tǒng)能讓用戶通過非侵入式腦電圖裝置控制機器人完成日常任務。

NOIR 能將你的腦電圖信號解碼為機器人技能庫。它現(xiàn)在已能完成例如烹飪壽喜燒、熨衣服、磨奶酪、玩井字游戲，甚至撫摸機器狗等任務。這個模塊化的系統(tǒng)具備強大的學習能力，可以應對日常生活中復雜多變的任務。

大腦與機器人接口（BRI）堪稱是人類藝術(shù)、科學和工程的集大成之作。我們已經(jīng)在不勝枚舉的科幻作品和創(chuàng)意藝術(shù)中見到它，比如《黑客帝國》和《阿凡達》；但真正實現(xiàn) BRI 卻非易事，需要突破性的科學研究，創(chuàng)造出能與人類完美協(xié)同運作的機器人系統(tǒng)。

對于這樣的系統(tǒng)，一大關(guān)鍵組件是機器與人類通信的能力。在人機協(xié)作和機器人學習過程中，人類傳達意圖的方式包括動作、按按鈕、注視、面部表情、語言等等。而通過神經(jīng)信號直接與機器人通信則是最激動人心卻也最具挑戰(zhàn)性的前景。

近日，斯坦福大學吳佳俊和李飛飛領(lǐng)導的一個多學科聯(lián)合團隊提出了一種通用型的智能 BRI 系統(tǒng) NOIR（Neural Signal Operated Intelligent Robots / 神經(jīng)信號操控的智能機器人）。

論文地址：https://openreview.net/pdf?id=eyykI3UIHa

項目網(wǎng)站：https://noir-corl.github.io/

該系統(tǒng)基于非侵入式的腦電圖（EEG）技術(shù)。據(jù)介紹，該系統(tǒng)依據(jù)的主要原理是分層式共享自治（hierarchical shared autonomy），即人類定義高層級目標，而機器人通過執(zhí)行低層級運動指令來實現(xiàn)目標。該系統(tǒng)納入了神經(jīng)科學、機器人學和機器學習領(lǐng)域的新進展，取得了優(yōu)于之前方法的進步。該團隊總結(jié)了所做出的貢獻。

首先，NOIR 是通用型的，可用于多樣化的任務，也易于不同社區(qū)使用。研究表明，NOIR 可以完成多達 20 種日常活動；相較之下，之前的 BRI 系統(tǒng)通常是針對一項或少數(shù)幾項任務設計的，或者就僅僅是模擬系統(tǒng)。此外，只需少量培訓，普通人群也能使用 NOIR 系統(tǒng)。

其次，NOIR 中的 I 表示這個機器人系統(tǒng)是智能的（intelligent），具備自適應能力。該機器人配備了一個多樣化的技能庫，讓其無需密集的人類監(jiān)督也能執(zhí)行低層級動作。使用參數(shù)化的技能原語，比如 Pick (obj-A) 或 MoveTo (x,y)，機器人可以很自然地取得、解讀和執(zhí)行人類的行為目標。

此外，NOIR 系統(tǒng)還有能力在協(xié)作過程中學習人類想達成的目標。研究表明，通過利用基礎(chǔ)模型的最新進展，該系統(tǒng)甚至能適應很有限的數(shù)據(jù)。這能顯著提升系統(tǒng)的效率。

NOIR 的關(guān)鍵技術(shù)貢獻包括一個模塊化的解碼神經(jīng)信號以獲知人類意圖的工作流程。要知道，從神經(jīng)信號解碼出人類意圖目標是極具挑戰(zhàn)性的。為此，該團隊的做法是將人類意圖分解為三大組分：要操控的物體（What）、與該物體交互的方式（How）、交互的位置（Where）。他們的研究表明可以從不同類型的神經(jīng)數(shù)據(jù)中解碼出這些信號。這些分解后的信號可以自然地對應于參數(shù)化的機器人技能，并且可以有效地傳達給機器人。

在 20 項涉及桌面或移動操作的家庭活動（包括制作壽喜燒、熨燙衣物、玩井字棋、摸機器狗狗等）中，三名人類受試者成功地使用了 NOIR 系統(tǒng)，即通過他們的大腦信號完成了這些任務！

實驗表明，通過以人類為師進行少樣本機器人學習，可以顯著提升 NOIR 系統(tǒng)的效率。這種使用人腦信號協(xié)作來構(gòu)建智能機器人系統(tǒng)的方法潛力巨大，可用于為人們（尤其是殘障人士）開發(fā)至關(guān)重要的輔助技術(shù)，提升他們的生活品質(zhì)。

NOIR 系統(tǒng)

這項研究力圖解決的挑戰(zhàn)包括：1. 如何構(gòu)建適用于各種任務的通用 BRI 系統(tǒng)？2. 如何解碼來自人腦的相關(guān)通信信號？3. 如何提升機器人的智能和適應能力，從而實現(xiàn)更高效的協(xié)作？圖 2 給出了該系統(tǒng)的概況。

在這個系統(tǒng)中，人類作為規(guī)劃智能體，做的是感知、規(guī)劃以及向機器人傳達行為目標；而機器人則要使用預定義的原語技能實現(xiàn)這些目標。

為了實現(xiàn)打造通用 BRI 系統(tǒng)的總體目標，需要將這兩種設計協(xié)同集成到一起。為此，該團隊提出了一種全新的大腦信號解碼工作流程，并為機器人配備了一套參數(shù)化的原始技能庫。最后，該團隊使用少樣本模仿學習技術(shù)讓機器人具備了更高效的學習能力。

大腦：模塊化的解碼工作流程

如圖 3 所示，人類意圖會被分解成三個組分：要操控的物體（What）、與該物體交互的方式（How）、交互的位置（Where）。

要從腦電圖信號解碼出具體的用戶意圖，難度可不小，但可以通過穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）和運動意象（motor imagery）來完成。簡單來說，這個過程包括：

• 選取具有穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）的物體

• 通過運動意象（MI）選擇技能和參數(shù)

• 通過肌肉收緊來選擇確認或中斷

機器人：參數(shù)化的原語技能

參數(shù)化的原語技能可以針對不同的任務進行組合和復用，從而實現(xiàn)復雜多樣的操作。此外，對人類而言，這些技能非常直觀。人類和智能體都無需了解這些技能的控制機制，因此人們可以通過任何方法實現(xiàn)這些技能，只要它們是穩(wěn)健的且能適應多樣化的任務。

該團隊在實驗中使用了兩臺機器人：一臺是用于桌面操作任務的 Franka Emika Panda 機械臂，另一臺是用于移動操作任務的 PAL Tiago 機器人。下表給出了這兩臺機器人的原語技能。

使用機器人學習實現(xiàn)高效的 BRI

上述的模塊化解碼工作流程和原語技能庫為 NOIR 奠定了基礎(chǔ)。但是，這種系統(tǒng)的效率還能進一步提升。機器人應當能在協(xié)作過程中學習用戶的物品、技能和參數(shù)選擇偏好，從而在未來能預測用戶希望達成的目標，實現(xiàn)更好的自動化，也讓解碼更簡單容易。由于每一次執(zhí)行時，物品的位置、姿態(tài)、排列和實例可能會有所不同，因此就需要學習和泛化能力。另外，學習算法應當具有較高的樣本效率，因為收集人類數(shù)據(jù)的成本很高。

該團隊為此采用了兩種方法：基于檢索的少樣本物品和技能選取、單樣本技能參數(shù)學習。

基于檢索的少樣本物品和技能選取。該方法可以學習所觀察狀態(tài)的隱含表征。給定一個觀察到的新狀態(tài)，它會在隱藏空間中找到最相似的狀態(tài)以及對應的動作。圖 4 給出了該方法的概況。

在任務執(zhí)行期間，由圖像和人類選擇的「物品 - 技能」對構(gòu)成的數(shù)據(jù)點會被記錄下來。這些圖像首先會被一個預訓練的 R3M 模型編碼，以提取出對機器人操控任務有用的特征，然后再讓它們通過一些可訓練的全連接層。這些層的訓練使用了帶三元組損失的對比學習，這會鼓勵帶有同樣「物品 - 技能」標簽的圖像在隱藏空間中處于更相近的位置。所學習到的圖像嵌入和「物品 - 技能」標簽會被存儲到內(nèi)存中。

在測試期間，模型會檢索隱藏空間中最近的數(shù)據(jù)點，然后將與該數(shù)據(jù)點關(guān)聯(lián)的「物品 - 技能」對建議給人類。

單樣本技能參數(shù)學習。參數(shù)選取需要人類大量參與，因為這個過程需要通過運動意象（MI）進行精準的光標操作。為了減少人類的工作量，該團隊提出了一種學習算法，可以根據(jù)給定的用作光標控制起始點的「物品 - 技能」對來預測參數(shù)。假設用戶已經(jīng)成功定位了拿起一個杯子把手的精確關(guān)鍵點，那么未來還需要再次指定這個參數(shù)嗎？最近 DINOv2 等基礎(chǔ)模型取得了不少進展，已經(jīng)可以找到相應的語義關(guān)鍵點，從而無需再次指定參數(shù)。

相比于之前的工作，這里提出的新算法是單樣本的并且預測的是具體的 2D 點，而非語義片段。如圖 4 所示，給定一張訓練圖像（360 × 240）和參數(shù)選擇 (x, y)，模型預測不同的測試圖像中語義上對應的點。該團隊具體使用的是預訓練的 DINOv2 模型來獲取語義特征。

實驗和結(jié)果

任務。實驗選取的任務來自 BEHAVIOR 和 Activities of Daily Living 基準，這兩個基準能在一定程度上體現(xiàn)人類的日常需求。圖 1 展示了實驗任務，其中包含 16 個桌面任務和 4 個移動操作任務。

下面展示了制作三明治和護理新冠病人的實驗過程示例。

實驗流程。實驗過程中，用戶待在一個隔離房間中，保持靜止，在屏幕上觀看機器人，單純依靠大腦信號與機器人溝通。

系統(tǒng)性能。表 1 總結(jié)了兩個指標下的系統(tǒng)性能：成功之前的嘗試次數(shù)和成功時完成任務的時間。

盡管這些任務跨度長，難度大，但 NOIR 還是得到了非常鼓舞人心的結(jié)果：平均而言，只需嘗試 1.83 次就能完成任務。

解碼準確度。解碼大腦信號的準確度是 NOIR 系統(tǒng)成功的一大關(guān)鍵。表 2 總結(jié)了不同階段的解碼準確度?？梢钥吹?，基于 SSVEP 的 CCA（典型相關(guān)分析）能達到 81.2% 的高準確度，也就是說物品選取大體上是準確的。

物品和技能選取結(jié)果。那么，新提出的機器人學習算法能否提升 NOIR 的效率呢？研究者首先對物品和技能選取學習進行了評估。為此，他們?yōu)?MakePasta 任務收集了一個離線數(shù)據(jù)集，其中每一對「物品 - 技能」都有 15 個訓練樣本。給定一張圖像，當同時預測出了正確的物品和技能時，就認為該預測是正確的。結(jié)果見表 3。使用 ResNet 的簡單圖像分類模型能實現(xiàn) 0.31 的平均準確度，而基于預訓練 ResNet 骨干網(wǎng)絡使用新方法時卻能達到顯著更高的 0.73，這凸顯出了對比學習和基于檢索的學習的重要性。

單樣本參數(shù)學習的結(jié)果。研究者基于預先收集的數(shù)據(jù)集將新算法與多個基準進行了比較。表 4 給出了預測結(jié)果的 MSE 值。

他們還在 SetTable 任務上展現(xiàn)了參數(shù)學習算法在實際任務執(zhí)行中的有效性。圖 5 給出了控制光標移動方面所節(jié)省的人類工作量。

3. 微軟深夜連甩三大炸彈！Bing Chat更名Copilot，自研芯片問世，還加入GPTs功能

原文：https://mp.weixin.qq.com/s/jZs_yHPVjo_OggzWClMXpQ

就在剛剛，微軟正式對外重磅宣布：

從今天起，Bing Chat全線更名——Copilot。

和ChatGPT一樣，現(xiàn)在的微軟Copilot也擁有自己的專屬網(wǎng)站。

但與之不同的是，像GPT-4、DALL·E 3這樣的功能，在Copilot上統(tǒng)統(tǒng)都是免費的！

要想使用這一切，你只需要做的就是登錄微軟賬號（而ChatGPT則需要訂閱會員）。 a

就連OpenAI上周王炸推出的自定義GPT，也被微軟塞了進來，并取名為——Copilot Studio。

而圍繞新品牌Copilot，微軟的大動作還不止于此。

例如流傳已久的自研芯片，今天終于亮相了——2款高端定制芯片，Azure Maia 100和Azure Cobalt 100。

據(jù)外媒推測，尤其是像Maia 100這種AI芯片，很可能就是要用在Copilot品牌下的一些新功能。

除此之外，打工人最關(guān)心的Office，這次也是塞滿了Copilot。

總而言之，縱觀整場微軟Ignite大會，“Copilot”可謂是貫穿了所有。

正如外媒的評價：

微軟可以叫“Copilot公司”了。

一切皆可Copilot

對于Bing Chat更名為Copilot，微軟CEO納德拉在現(xiàn)場將此高度總結(jié)為：

Copilot無所不在。

現(xiàn)在，無論是在微軟的Edge、谷歌的Chrome、蘋果的Safari，亦或是移動端，均可使用Copilot。

不過需要強調(diào)的一點是，雖然Copilot只需要登錄微軟賬號就可以免費使用，但像Microsoft 365等其它產(chǎn)品的Copilot依舊是付費的。

對于類似OpenAI GPTs的Copilot Studio，從微軟的介紹來看，它還是有一點不同。

Copilot Studio的主要設計目的其實是擴展Microsoft 365 Copilot。

在該應用中，大伙可以用它自定義包含不同數(shù)據(jù)集、自動化流程的Copilot。

由此一來，我們就可以將這些自定義AI助手更專注地連接到公司的關(guān)鍵業(yè)務系統(tǒng)中（是的，主要面向企業(yè)用戶），然后就像與人聊天一樣方便地獲取其中信息。

它可以是網(wǎng)站上幫助用戶回答產(chǎn)品問題的Copilot，也可以是季度收益發(fā)布中的Copilot。

對于這項新功能，最重磅的一點還是：

OpenAI GPTs居然也被直接塞了進來，大伙在構(gòu)建自定義Copilot時，也能用上它的功能

最后，Copilot系列除了以上這些，微軟還發(fā)布了Copilot for Azure，一個專門通過聊天方式簡化日常IT管理的AI。

首款5nm自研AI芯片

在圍繞Copilot的一系列重磅炸彈放出之時，微軟的自研芯片也終于來了。

一共兩款。

Azure芯片部門副總裁透露，Maia 100已在其Bing和Office AI產(chǎn)品上測試。

以及劃重點：OpenAI也在試用。這意味著ChatGPT等模型的云訓練和推理都將可能基于該芯片。

第二款叫Cobalt 100，是一款64位、128計算核心的CPU，基于ARM指令集架構(gòu)，對標英特爾和AMD同類處理器。

Cobalt 100也被設計為專門用于云計算，相比微軟Azure一直在用的其他基于ARM的芯片，可帶來40%功耗下降。

目前，它已開始為Microsoft Teams等應用提供支持。

微軟介紹，這兩款芯片全部由臺積電生產(chǎn)，將在明年初在微軟的幾個數(shù)據(jù)中心首次公開亮相。

以及它們都還只是各自系列中的頭陣產(chǎn)品，言外之意，后面還會繼續(xù)研發(fā)上新。

現(xiàn)在，微軟也終于在谷歌TPU和亞馬遜Graviton之后，擁有了自研AI芯片——三大云巨頭也“齊活”了。

Office更新：降價了

最最后，圍繞微軟Office一系列套件的AI產(chǎn)品Copilot for Microsoft 365也更新了n多功能（沒在大會上宣布，直接官網(wǎng)通知）。

主要思想就是更加個性化、更強的數(shù)學和分析能力以及全面打通協(xié)作。

譬如在Word和PowerPoint中，我們可以設置更多寫作格式、風格、語氣的偏好，獲得更為量身定制的文檔和PPT，更像你本人（親自創(chuàng)作的）。

在Excel中，則能用自然語言解鎖更多復雜的數(shù)學分析。

在Team中，可以直接將大伙的頭腦風暴轉(zhuǎn)為可視化白板，如果你想專門看看某位同事說了什么，直接使用“Quote xx”命令即可呈現(xiàn)Copilot為你記錄的全部發(fā)言。

當然，最最值得關(guān)注的更新還是降價了。

現(xiàn)在每月只需50美元即可享受企業(yè)服務，比之前少了20刀。

4. 中文最強開源大模型來了！130億參數(shù)，0門檻商用，來自昆侖萬維

原文：https://mp.weixin.qq.com/s/MKu6eusxyCXw3fLhgbcp0A

開源最徹底的大模型來了——130億參數(shù)，無需申請即可商用。

不僅如此，它還附帶著把全球最大之一的中文數(shù)據(jù)集也一并開源了出來：600G、1500億tokens！

這就是來自昆侖萬維的Skywork-13B系列，包含兩大版本：

• Skywork-13B-Base：該系列的基礎(chǔ)模型，在多種基準評測中都拔得頭籌的那種。

• Skywork-13B-Math：該系列的數(shù)學模型，數(shù)學能力在GSM8K評測上得分第一。

在各大權(quán)威評測benchmark上，如C-Eval、MMLU、CMMLU、GSM8K，可以看到Skywork-13B在中文開源模型中處于前列，在同等參數(shù)規(guī)模下為最優(yōu)水平。

而Skywork-13B系列之所以能取得如此亮眼的成績，部分原因離不開剛才我們提到的數(shù)據(jù)集。

畢竟清洗好的中文數(shù)據(jù)對于大模型來說可謂是至關(guān)重要，幾乎從某種程度上決定了其性能。

但昆侖萬維能將如此“至寶”無償?shù)亟o奉獻出來，不難看出它對于構(gòu)建開源社區(qū)、服務開發(fā)者的滿滿誠意。

除此之外，昆侖萬維Skywork-13B此次還配套了“輕量版”大模型，是在消費級顯卡中就能部署和推理的那種！

Skywork-13B下載地址（Model Scope）：
https://modelscope.cn/organization/skywork

Skywork-13B下載地址（Github）：
https://github.com/SkyworkAI/Skywork

接下來，我們進一步來看下Skywork-13B系列更多的能力。

無需申請即可商用

Skywork-13B系列大模型擁有130億參數(shù)、3.2萬億高質(zhì)量多語言訓練數(shù)據(jù)。

由此，模型在生成、創(chuàng)作、數(shù)學推理等任務上提升明顯。

首先在中文語言建模困惑度評測中，Skywork-13B系列大模型超越了目前所有中文開源模型。

在科技、金融、政務、企業(yè)服務、文創(chuàng)、游戲等領(lǐng)域均表現(xiàn)出色。

另外，Skywork-13B-Math專長數(shù)學任務，進行過數(shù)學能力強化訓練，在GSM8K等數(shù)據(jù)集中取得了同等規(guī)模模型最佳效果。

與此同時，昆侖萬維還開源了數(shù)據(jù)集Skypile/Chinese-Web-Text-150B。其數(shù)據(jù)是通過精心過濾的數(shù)據(jù)處理流程從中文網(wǎng)頁中篩選而來。

由此，開發(fā)者可以最大程度借鑒技術(shù)報告中大模型預訓練的過程和經(jīng)驗，深度定制模型參數(shù)，進行針對性訓練與優(yōu)化 。

除此之外，Skywork-13B還公開了模型使用的評估方法、數(shù)據(jù)配比研究和訓練基礎(chǔ)設施調(diào)優(yōu)方案等。

而Skywork-13B的一系列開源，無需申請即可商用！

用戶在下載模型并同意遵守《Skywork模型社區(qū)許可協(xié)議》后，不用再次申請商業(yè)授權(quán)。

授權(quán)流程也取消了對行業(yè)、公司規(guī)模、用戶數(shù)量等方面限制。

昆侖萬維會如此徹底開源其實也并不意外。

昆侖萬維董事長兼CEO方漢是最早參與到開源生態(tài)建設的老兵了，也是中文Linux開源最早的推動者之一。

在今年ChatGPT趨勢剛剛興起時，他就多次公開發(fā)聲、強調(diào)開源的重要性：

代碼開源可助力中國版ChatGPT彎道超車。

所以也就不難理解Skywork-13B系列大模型的推出了。

而在短短2個月后，昆侖萬維又將最新的大模型、最新的數(shù)據(jù)集，一并發(fā)布且開源，可以說它的一切動作不僅在于快，更是在于敢。

那么接下來的問題是——為什么要這么做？

其實，對于AIGC這一板塊，昆侖萬維早在2020年便已經(jīng)開始涉足，早早的準備和技術(shù)積累就是它能夠在大熱潮來臨之際快速跟進的原因之一。

據(jù)了解，昆侖萬維目前已形成AI大模型、AI搜索、AI游戲、AI音樂、AI動漫、AI社交六大AI業(yè)務矩陣。

至于不遺余力的將開源這事做好做大，一方面是源于企業(yè)的基因。

昆侖萬維董事長兼CEO方漢是最早參與到開源生態(tài)建設的開源老兵，也是中文Linux開源最早的推動者之一，開源的精神和AIGC技術(shù)的發(fā)展早已在昆侖萬維戰(zhàn)略中完美融合。

正如方漢此前所言：

昆侖天工之所以選擇開源，因為我們堅信開源是推動AIGC生態(tài)發(fā)展的土壤和重要力量。昆侖萬維致力于在AIGC模型算法方面的技術(shù)創(chuàng)新和開拓，致力于推進開源AIGC算法和模型社區(qū)的發(fā)展壯大，致力于降低AIGC技術(shù)在各行各業(yè)的使用和學習門檻。

沒錯，降低門檻，便是其堅持開源的另一大原因。

從昆侖萬維入局百模大戰(zhàn)以來的種種動作中，也很容易看到它正在踐行著讓天工用起來更簡單、更絲滑。

總而言之，昆侖萬維目前已然是處于國產(chǎn)大模型的第一梯隊，甚至說是立于金字塔尖都不足為過。

那么在更大力度的開源加持之下，天工大模型還將有怎樣驚艷的表現(xiàn)，是值得期待一波了。

5. 最強大模型訓練芯片H200發(fā)布！141G大內(nèi)存，AI推理最高提升90%，還兼容H100

原文：https://mp.weixin.qq.com/s/IYPpzHgXuYHGrO-BRgyWhw

英偉達老黃，帶著新一代GPU芯片H200再次炸場。

官網(wǎng)毫不客氣就直說了，“世界最強GPU，專為AI和超算打造”。

聽說所有AI公司都抱怨內(nèi)存不夠？這回直接141GB大內(nèi)存，與H100的80GB相比直接提升76%。作為首款搭載HBM3e內(nèi)存的GPU，內(nèi)存帶寬也從3.35TB/s提升至4.8TB/s，提升43%。

對于AI來說意味著什么？來看測試數(shù)據(jù)。在HBM3e加持下，H200讓Llama-70B推理性能幾乎翻倍，運行GPT3-175B也能提高60%。

最強AI芯片只能當半年

除內(nèi)存大升級之外，H200與同屬Hopper架構(gòu)的H100相比其他方面基本一致。

臺積電4nm工藝，800億晶體管，NVLink 4每秒900GB的高速互聯(lián)，都被完整繼承下來。

甚至峰值算力也保持不變，數(shù)據(jù)一眼看過去，還是熟悉的FP64 Vector 33.5TFlops、FP64 Tensor 66.9TFlops。

對于內(nèi)存為何是有零有整的141GB，AnandTech分析HBM3e內(nèi)存本身的物理容量為144GB，由6個24GB的堆棧組成。

出于量產(chǎn)原因，英偉達保留了一小部分作為冗余，以提高良品率。

僅靠升級內(nèi)存，與2020年發(fā)布的A100相比，H200就在GPT-3 175B的推理上加速足足18倍。

H200預計在2024年第2季度上市，但最強AI芯片的名號H200只能擁有半年。

同樣在2024年的第4季度，基于下一代Blackwell架構(gòu)的B100也將問世，具體性能還未知，圖表暗示了會是指數(shù)級增長。

多家超算中心將部署GH200超算節(jié)點

除了H200芯片本身，英偉達此次還發(fā)布了由其組成的一系列集群產(chǎn)品。

首先是HGX H200平臺，它是將8塊H200搭載到HGX載板上，總顯存達到了1.1TB，8位浮點運算速度超過32P（10^15) FLOPS，與H100數(shù)據(jù)一致。

HGX使用了英偉達的NVLink和NVSwitch高速互聯(lián)技術(shù)，可以以最高性能運行各種應用負載，包括175B大模型的訓練和推理。

HGX板的獨立性質(zhì)使其能夠插入合適的主機系統(tǒng)，從而允許使用者定制其高端服務器的非GPU部分。

接下來是Quad GH200超算節(jié)點——它由4個GH200組成，而GH200是H200與Grace CPU組合而成的。

Quad GH200節(jié)點將提供288 Arm CPU內(nèi)核和總計2.3TB的高速內(nèi)存。

通過大量超算節(jié)點的組合，H200最終將構(gòu)成龐大的超級計算機，一些超級計算中心已經(jīng)宣布正在向其超算設備中集成GH200系統(tǒng)。

據(jù)英偉達官宣，德國尤利希超級計算中心將在Jupiter超級計算機使用GH200超級芯片，包含的GH200節(jié)點數(shù)量達到了24000塊，功率為18.2兆瓦，相當于每小時消耗18000多度電。

該系統(tǒng)計劃于2024年安裝，一旦上線，Jupiter將成為迄今為止宣布的最大的基于Hopper的超級計算機。

Jupiter大約將擁有93(10^18) FLOPS的AI算力、1E FLOPS的FP64運算速率、1.2PB每秒的帶寬，以及10.9PB的LPDDR5X和另外2.2PB的HBM3內(nèi)存。

除了Jupiter，日本先進高性能計算聯(lián)合中心、德克薩斯高級計算中心、伊利諾伊大學香檳分校國家超級計算應用中心等超算中心也紛紛宣布將使用GH200對其超算設備進行更新升級。

那么，AI從業(yè)者都有哪些嘗鮮途徑可以體驗到GH200呢？

上線之后，GH200將可以通過Lambda、Vultr等特定云服務提供商進行搶先體驗，Oracle和CoreWeave也宣布了明年提供GH200實例的計劃，亞馬遜、谷歌云、微軟Azure同樣也將成為首批部署GH200實例的云服務提供商。

英偉達自身，也會通過其NVIDIA LaunchPad平臺提供對GH200的訪問。

硬件制造商方面，華碩、技嘉等廠商計劃將于今年年底開始銷售搭載GH200的服務器設備。

6. 干貨分享~最新Yolo系列模型的部署、精度對齊與int8量化加速

原文：https://mp.weixin.qq.com/s/f2nPgwX2g-H8-8M8TXd38w

分享下朋友的一系列關(guān)于YOLO部署的干貨，純白嫖，來源請看原文鏈接。

本文寫于2023-11-02晚

若需轉(zhuǎn)載請聯(lián)系 haibintian@foxmail.com

大家好，我是海濱。寫這篇文章的目的是為宣傳我在23年初到現(xiàn)在完成的一項工作---Yolo系列模型在TensorRT上的部署與量化加速，目前以通過視頻的形式在B站發(fā)布（不收費，只圖一個一劍三連）。

麻雀雖小但五臟俱全，本項目系統(tǒng)介紹了YOLO系列模型在TensorRT上的量化方案，工程型較強，我們給出的工具可以實現(xiàn)不同量化方案在Yolo系列模型的量化部署，無論是工程實踐還是學術(shù)實驗，相信都會對你帶來一定的幫助。

B站地址（求關(guān)注和三連）：https://www.bilibili.com/video/BV1Ds4y1k7yr/

Github開源地址（求star）：https://github.com/thb1314/mmyolo_tensorrt/

當時想做這個的目的是是為了總結(jié)一下目標檢測模型的量化加速到底會遇到什么坑，只是沒想到不量化坑都會很多。

比如即使是以FP32形式推理，由于TensorRT算子參數(shù)的一些限制和TRT和torch內(nèi)部實現(xiàn)的不同，導致torch推理結(jié)果會和TensorRT推理結(jié)果天然的不統(tǒng)一，至于為什么不統(tǒng)一這里賣個關(guān)子大家感興趣可以看下視頻。

下面說一下我們這個項目做了哪些事情

1. YOLO系列模型在tensorrt上的部署與精度對齊

   該項目詳細介紹了Yolo系列模型在TensorRT上的FP32的精度部署，基于mmyolo框架導出各種yolo模型的onnx，在coco val數(shù)據(jù)集上對齊torch版本與TensorRT版本的精度。

   在此過程中我們發(fā)現(xiàn)，由于TopK算子限制和NMS算子實現(xiàn)上的不同，我們無法完全對齊torch和yolo模型的精度，不過這種風險是可解釋且可控的。

2. 詳解TensorRT量化的三種實現(xiàn)方式

   TensorRT量化的三種實現(xiàn)方式包括trt7自帶量化、dynamic range api，trt8引入的QDQ算子。

   Dynamic range api會在采用基于MQbench框架做PTQ時講解。

   TensorRT引入的QDQ算子方式在針對Yolo模型的PTQ和QAT方式時都有詳細的闡述，當然這個過程也沒有那么順利。

   在基于PytorchQuantization導出的含有QDQ節(jié)點的onnx時，我們發(fā)現(xiàn)盡管量化版本的torch模型精度很高，但是在TensorRT部署時精度卻很低，TRT部署收精度損失很嚴重，通過可視化其他量化形式的engine和問題engine進行對比，我們發(fā)現(xiàn)是一些層的int8量化會出問題，由此找出問題量化節(jié)點解決。

3. 詳解MQbench量化工具包在TensorRT上的應用

   我們研究了基于MQbench框架的普通PTQ算法和包括Adaround高階PTQ算法，且啟發(fā)于Adaround高階PTQ算法。

   我們將torch版本中的HistogramObserver引入到MQBench中，activation采用HistogramObserver weight采用MinMaxObserver，在PTQ過程中，weight的校準前向傳播一次，activation的校準需要多次 因此我們將weight的PTQ過程和activation的PTQ過程分開進行，加速PTQ量化。實踐證明，我們采用上述配置的分離PTQ量化在yolov8上可以取得基本不掉點的int8量化精度。

4. 針對YoloV6這種難量化模型，分別采用部分量化和QAT來彌補量化精度損失

   在部分量化階段，我們采用量化敏感層分析技術(shù)來判斷哪些層最需要恢復原始精度，給出各種metric的量化敏感層實現(xiàn)。

   在QAT階段，不同于原始Yolov6論文中蒸餾+RepOPT的方式，我們直接采用上述部分量化后的模型做出初始模型進行finetune，結(jié)果發(fā)現(xiàn)finetune后的模型依然取得不錯效果。

5. 針對旋轉(zhuǎn)目標檢測，我們同樣給出一種端到端方案，最后的輸出就是NMS后的結(jié)果。通過將TensorRT中的EfficientNMS Plugin和mmcv中旋轉(zhuǎn)框iou計算的cuda實現(xiàn)相結(jié)合，給出EfficientNMS for rotated box版本，經(jīng)過簡單驗證我們的TRT版本與Torch版本模型輸出基本對齊。

以上就是我們這個項目做的事情，歡迎各位看官關(guān)注b站和一劍三連。同時，如果各位有更好的想法也歡迎給我們的git倉庫提PR。

7. 領(lǐng)域大模型落地的一些思考

原文：https://mp.weixin.qq.com/s/s-r-CL6qbrhnjdlcLYGrkw

一、常說通用模型的領(lǐng)域化可能是偽命題，那么領(lǐng)域大模型的通用化是否也是偽命題。

自訓練模型開始，就一直再跟Leader Battle這個問題，領(lǐng)域大模型需不需要有通用化能力。就好比華為盤古大模型“只做事不作詩”的slogan，是不是訓練的領(lǐng)域大模型可以解決固定的幾個任務就可以了。

個人的一些拙見是，如果想快速的將領(lǐng)域大模型落地，最簡單的是將系統(tǒng)中原有能力進行升級，即大模型在固定的某一個或某幾個任務上的效果超過原有模型。

以Text2SQL任務舉例，之前很多系統(tǒng)中的方法是通過抽取關(guān)鍵要素&拼接方式來解決，端到端解決的并不是很理想，那么現(xiàn)在完全可以用大模型SQL生成的能力來解決。在已有產(chǎn)品上做升級，是代價最小的落地方式。就拿我司做的大模型來說，在解決某領(lǐng)域SQL任務上效果可以達到90%+，同比現(xiàn)有開源模型&開放API高了不少。

當然還有很多其他任務可以升級，例如：D2QA、D2SPO、Searh2Sum等等等。

二、領(lǐng)域大模型落地，任務場景要比模型能力更重要。

雖說在有產(chǎn)品上做升級，是代價最小的落地方式，但GPT4、AutoGPT已經(jīng)把人們胃口調(diào)的很高，所有人都希望直接提出一個訴求，大模型直接解決。但這對現(xiàn)有領(lǐng)域模型是十分困難的，所以在哪些場景上來用大模型是很關(guān)鍵的，并且如何將模型進行包裝，及時在模型能力不足的情況下，也可以讓用戶有一個很好的體驗。

現(xiàn)在很多人的疑惑是，先不說有沒有大模型，就算有了大模型都不知道在哪里使用，在私有領(lǐng)域都找不到一個Special場景。

所以最終大模型的落地，拼的不是模型效果本身，而是一整套行業(yè)解決方案，“Know How”成為了關(guān)鍵要素。

三、大多數(shù)企業(yè)最終落地的模型規(guī)格限制在了13B。

由于國情，大多數(shù)企業(yè)最終落地的方案應該是本地化部署，那么就會涉及硬件設備的問題。我并不絕的很有很多企業(yè)可以部署的起100B級別的模型，感覺真實部署限制在了10B級別。即使現(xiàn)在很多方法（例如：llama.cpp）可以對大模型進行加速，但100B級別的模型就算加速了，也是龐大資源消耗。

我之前說過“沒有體驗過33B模型的人，只會覺得13B就夠”，更大的模型一定要搞，但不影響最后落地的是10B級別。

———————End———————

新生態(tài)，創(chuàng)未來 | 2023RT-Thread 開發(fā)者大會開啟報名

邀請你參加 2023 RT-Thread 開發(fā)者大會的六大理由

1、刷新RT-Thread最新技術(shù)動態(tài)和產(chǎn)業(yè)服務能力

2、聆聽行業(yè)大咖分享，洞察產(chǎn)業(yè)趨勢

3、豐富的技術(shù)和產(chǎn)品展示，前沿技術(shù)發(fā)展和應用

4、絕佳的實踐機會：AIOT、MPU、RISC-V...

5、精美伴手禮人手一份開發(fā)板盲盒和免費午餐

6、黑科技滿點~滴水湖地鐵口安排無人車接送至會場

立刻掃碼報名吧