DeepSeek推出NSA機(jī)制，加速長上下文訓(xùn)練與推理
近日，DeepSeek公司宣布推出一種全新的稀疏注意力機(jī)制——NSA(Native Sparse Attention)。據(jù)DeepSeek介紹，NSA旨在與現(xiàn)代硬件實(shí)現(xiàn)高度一致，并且具備本機(jī)可訓(xùn)練的特性，專為超快速的長上下文訓(xùn)練和推理而設(shè)計(jì)。
NSA通過針對(duì)現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，顯著加快了推理速度，并大幅度降低了預(yù)訓(xùn)練成本，同時(shí)保持了卓越的性能表現(xiàn)。這一機(jī)制在確保效率的同時(shí)，并未犧牲模型的準(zhǔn)確性或功能。
在廣泛的基準(zhǔn)測試、涉及長上下文的任務(wù)以及基于指令的推理場景中，NSA的表現(xiàn)與采用完全注意力機(jī)制的模型相當(dāng)，甚至在部分測試中展現(xiàn)出更優(yōu)的性能。這一成果不僅驗(yàn)證了NSA機(jī)制的有效性和實(shí)用性，也展示了DeepSeek在人工智能領(lǐng)域的深厚技術(shù)積累和創(chuàng)新能力。
DeepSeek推出的NSA機(jī)制，不僅為長上下文訓(xùn)練和推理提供了全新的解決方案，也為人工智能領(lǐng)域的發(fā)展注入了新的活力。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
人工智能
+關(guān)注
關(guān)注
1804文章
48461瀏覽量
245107 -
NSA
+關(guān)注
關(guān)注
4文章
108瀏覽量
18424 -
DeepSeek
+關(guān)注
關(guān)注
1文章
756瀏覽量
1087
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
S32K在AUTOSAR中使用CAT1 ISR，是否需要執(zhí)行上下文切換？
如果我們在 AUTOSAR 中使用 CAT1 ISR，是否需要執(zhí)行上下文切換？另外，是否需要返回指令才能跳回到作系統(tǒng)？您有沒有帶有 CAT1 ISR 的 S32K3x4 微控制器的示例？
發(fā)表于 03-27 07:34
為什么深度學(xué)習(xí)中的Frame per Second高于OpenVINO?演示推理腳本？
在 DL Workbench 上使用 Microsoft 通用對(duì)象上下文 （MS COCO） 數(shù)據(jù)集運(yùn)行 YOLOv4 對(duì)象檢測模型，并獲得 50 - 60 FPS。
OpenVINO?演示推理腳本運(yùn)行，并獲得更高的 FPS。
發(fā)表于 03-06 07:27
壁仞科技支持DeepSeek-V3滿血版訓(xùn)練推理
DeepSeek在開源周開源了部分關(guān)鍵模塊的代碼及推理系統(tǒng)參考架構(gòu)，再次引發(fā)行業(yè)震動(dòng)，但目前尚未開源DeepSeek-V3 滿血版完整訓(xùn)練代碼。壁仞科技憑借八大自主創(chuàng)新技術(shù)，實(shí)現(xiàn)
北京大學(xué)兩部 DeepSeek 秘籍新出爐！（附全集下載）
和生成能力、世界知識(shí)能力，以及一定的推理能力。
相對(duì)應(yīng)而言，其劣勢便在于 AI 幻覺、有限的知識(shí)庫及上下文窗口限制。
了解完原理，我們也就能讓這些聊天機(jī)器人更好地為我所用。
二、擁抱 AIGC 的未來
發(fā)表于 02-27 17:57
讓大模型訓(xùn)練更高效，奇異摩爾用互聯(lián)創(chuàng)新方案定義下一代AI計(jì)算
了訓(xùn)練成本，使得企業(yè)能夠以低成本實(shí)現(xiàn)高性能AI大模型的訓(xùn)練；在推理端，DeepSeek加速了AI應(yīng)用從訓(xùn)
黑芝麻智能芯片加速DeepSeek模型推理
近日，黑芝麻智能宣布，其武當(dāng)C1200家族芯片已成功完成DeepSeek模型推理的部署，而A2000芯片也將全面支持基于DeepSeek的多模態(tài)大模型推理。這一消息標(biāo)志著黑芝麻智能在推
了解DeepSeek-V3 和 DeepSeek-R1兩個(gè)大模型的不同定位和應(yīng)用選擇
）
擴(kuò)展上下文+結(jié)構(gòu)化推理（支持更長復(fù)雜輸入）
響應(yīng)控制
通用流暢性優(yōu)先
強(qiáng)化分步解釋與中間過程可解釋性
3. 技術(shù)架構(gòu)差異
技術(shù)點(diǎn)
DeepSeek-V3
DeepSeek-R1
發(fā)表于 02-14 02:08
昆侖芯率先完成Deepseek訓(xùn)練推理全版本適配
本文是昆侖芯適配DeepSeek系列推文第一篇，將于近期分別推出在昆侖芯P800上進(jìn)行DeepSeek-V3/R1推理、訓(xùn)練的深度文章，干貨
摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務(wù)
近日，摩爾線程智能科技(北京)有限責(zé)任公司在其官方渠道發(fā)布了一則重要消息，宣布公司已經(jīng)成功實(shí)現(xiàn)了對(duì)DeepSeek蒸餾模型推理服務(wù)的部署。這一技術(shù)突破，標(biāo)志著摩爾線程在人工智能領(lǐng)域邁出了堅(jiān)實(shí)的一步
《具身智能機(jī)器人系統(tǒng)》第7-9章閱讀心得之具身智能機(jī)器人與大模型
的應(yīng)用。MAML算法通過二階優(yōu)化找到對(duì)任務(wù)變化敏感的模型參數(shù)，實(shí)現(xiàn)了快速適應(yīng)。上下文學(xué)習(xí)則引入了注意力機(jī)制，使模型能夠根據(jù)當(dāng)前場景動(dòng)態(tài)調(diào)整行為策略。在預(yù)訓(xùn)練-微調(diào)范式中，我們要注意任務(wù)表示的重要性：好的表示
發(fā)表于 12-24 15:03
SystemView上下文統(tǒng)計(jì)窗口識(shí)別阻塞原因
SystemView工具可以記錄嵌入式系統(tǒng)的運(yùn)行時(shí)行為，實(shí)現(xiàn)可視化的深入分析。在新發(fā)布的v3.54版本中，增加了一項(xiàng)新功能：上下文統(tǒng)計(jì)窗口，提供了對(duì)任務(wù)運(yùn)行時(shí)統(tǒng)計(jì)信息的深入分析，使用戶能夠徹底檢查每個(gè)任務(wù)，幫助開發(fā)人員識(shí)別阻塞原因。
【《大語言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)知識(shí)學(xué)習(xí)
能夠關(guān)注到輸入文本中的重要部分，從而提高預(yù)測的準(zhǔn)確性和效率。這種機(jī)制允許模型在處理文本時(shí)同時(shí)考慮多個(gè)位置的信息，并根據(jù)重要性進(jìn)行加權(quán)處理。
一些關(guān)鍵技術(shù)
1. 上下文理解
大語言模型能夠同時(shí)考慮句子前后
發(fā)表于 08-02 11:03
谷歌借助Gemini AI系統(tǒng)深化對(duì)機(jī)器人的訓(xùn)練
了如何利用Gemini 1.5 Pro的強(qiáng)化長上下文窗口功能，極大地優(yōu)化了用戶通過自然語言指令與RT-2機(jī)器人交互的體驗(yàn)。
鴻蒙Ability Kit（程序框架服務(wù)）【應(yīng)用上下文Context】
[Context]是應(yīng)用中對(duì)象的上下文，其提供了應(yīng)用的一些基礎(chǔ)信息，例如resourceManager（資源管理）、applicationInfo（當(dāng)前應(yīng)用信息）、dir（應(yīng)用文件路徑）、area
編寫一個(gè)任務(wù)調(diào)度程序，在上下文切換后遇到了一些問題求解
大家好，
我正在編寫一個(gè)任務(wù)調(diào)度程序，在上下文切換后遇到了一些問題。
為下一個(gè)任務(wù)恢復(fù)上下文后：
__builtin_tricore_mtcr_by_name(\"pcxi\"
發(fā)表于 05-22 07:50
工商網(wǎng)監(jiān)
評(píng)論