英偉達(dá)近日宣布,其DeepSeek R1 671b版本已正式上線英偉達(dá)NIM(NVIDIA Inference Microservices)平臺(tái),并以預(yù)覽版的形式在build.nvidia.com網(wǎng)站上發(fā)布。
據(jù)悉,DeepSeek R1 NIM微服務(wù)是英偉達(dá)在人工智能領(lǐng)域的一項(xiàng)重要?jiǎng)?chuàng)新,旨在為用戶提供高效、精準(zhǔn)的推理服務(wù)。在單個(gè)英偉達(dá)HGX H200系統(tǒng)上,該微服務(wù)每秒最多可處理3872個(gè)token,展現(xiàn)出強(qiáng)大的處理能力和高效性。
此次上線的DeepSeek R1 NIM微服務(wù)預(yù)覽版,允許開(kāi)發(fā)人員對(duì)其進(jìn)行測(cè)試和實(shí)驗(yàn),以更好地了解其性能和功能。英偉達(dá)表示,未來(lái)該API將作為英偉達(dá)AI Enterprise軟件平臺(tái)的一部分,以可下載的NIM微服務(wù)形式正式推出,為用戶提供更加便捷、高效的使用體驗(yàn)。
英偉達(dá)一直致力于推動(dòng)人工智能技術(shù)的發(fā)展和應(yīng)用,此次發(fā)布的DeepSeek R1 NIM微服務(wù)預(yù)覽版,不僅展示了英偉達(dá)在人工智能領(lǐng)域的強(qiáng)大技術(shù)實(shí)力,也為用戶提供了更加高效、精準(zhǔn)的推理服務(wù)。
-
軟件
+關(guān)注
關(guān)注
69文章
5097瀏覽量
88818 -
NIM
+關(guān)注
關(guān)注
0文章
10瀏覽量
8162 -
人工智能
+關(guān)注
關(guān)注
1804文章
48511瀏覽量
245379 -
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3902瀏覽量
92971 -
DeepSeek
+關(guān)注
關(guān)注
1文章
759瀏覽量
1157
發(fā)布評(píng)論請(qǐng)先 登錄
顯存也能疊疊樂(lè),雙 Intel Arc A770 顯卡低成本部署 DeepSeek R1 32B 蒸餾模型體驗(yàn)

研華發(fā)布昇騰AI Box及Deepseek R1模型部署流程
OpenAI O3與DeepSeek R1:推理模型性能深度分析
研華邊緣AI Box MIC-ATL3S部署Deepseek R1模型

IBM在watsonx.ai平臺(tái)推出DeepSeek R1蒸餾模型
了解DeepSeek-V3 和 DeepSeek-R1兩個(gè)大模型的不同定位和應(yīng)用選擇
景嘉微完成DeepSeek R1系列模型適配
Deepseek R1大模型離線部署教程

部署DeepSeek R1于AX650N與AX630C平臺(tái)

扣子平臺(tái)支持DeepSeek R1與V3模型
Krea發(fā)布Deepseek R1驅(qū)動(dòng)的Chat功能
云天勵(lì)飛上線DeepSeek R1系列模型

評(píng)論