91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

AI大模型進(jìn)化方向:百萬級訓(xùn)推一體機(jī)降至千元級后,推理芯片性能將成重點(diǎn)

Monika觀察 ? 來源:電子發(fā)燒友網(wǎng) ? 作者:莫婷婷 ? 2024-04-15 07:29 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報(bào)道(文/莫婷婷)AI大模型應(yīng)用在2024年進(jìn)入新的階段。Transformer等技術(shù)正在推動(dòng)著行業(yè)從單一模態(tài)的大語言模型,向多模態(tài)大模型進(jìn)化。
業(yè)內(nèi)普遍認(rèn)為,未來3到5年我們會快速邁入AI3.0時(shí)代,屆時(shí)進(jìn)入以機(jī)器人為代表的具身智能時(shí)代,當(dāng)人形機(jī)器人搭載了多模態(tài)大模型,和物理世界進(jìn)行交互后,就會發(fā)展成行為大模型,成為自進(jìn)化智能體,進(jìn)一步實(shí)現(xiàn)AGI通用人工智能,由此打開第四次工業(yè)革命的大門。
云天勵(lì)飛董事長兼CEO陳寧認(rèn)為,未來3年全球80%的企業(yè)將使用大模型,未來5年機(jī)器人和數(shù)字人的數(shù)量將超越人類的數(shù)量,未來7年,也就是到2030年行業(yè)將實(shí)現(xiàn)通用人工智能,AI的智慧程度超越全人類大腦的組合。
他進(jìn)一步提到,我們還有3年的時(shí)間可以轉(zhuǎn)型到大模型時(shí)代,借助大模型生產(chǎn)力的變革去賦能企業(yè)。那么,企業(yè)如何擁有屬于自己的大模型,訓(xùn)推一體機(jī)成為焦點(diǎn)之一。
千元級AI模盒,大模型進(jìn)入平民化階段
目前,行業(yè)內(nèi)已經(jīng)有多家企業(yè)推出訓(xùn)推一體機(jī),但是在訓(xùn)練專屬大模型過程中,訓(xùn)推一體機(jī)的痛點(diǎn)也隨之暴露出來。成本是其中一個(gè)關(guān)鍵問題,主流的訓(xùn)推一體機(jī)價(jià)格普遍在百萬級。另外還有大參數(shù)、大算力、大數(shù)據(jù)、專業(yè)人才等,要知道GPT-4模型訓(xùn)練數(shù)據(jù)ToKen量已經(jīng)達(dá)到130000億。為了加速AI普惠化,訓(xùn)推一體機(jī)亟需迭代。
就在今年3月,云天勵(lì)飛推出“深目”AI模盒,面向邊緣訓(xùn)推場景。官方介紹,“深目”AI模盒搭載了自研的14nm Chiplet大模型邊緣訓(xùn)推芯片DeepEdge10 Max、自研多模態(tài)大模型“云天天書”,基于云天勵(lì)飛的核心能力算法芯片化,實(shí)現(xiàn)了算法場景覆蓋超過90%、算法精度超過90%,使用成本降低90%。其中,DeepEdge10 Max適配并可承載10億級SAM、百億級Llama2等大模型運(yùn)算。
值得一提的是,“深目”AI模盒售價(jià)在千元級。可以說,在一定程度上,云天勵(lì)飛將訓(xùn)推一體機(jī)“打下”千元級,促進(jìn)了大模型平民化,解決大模型在場景落地最后一公里的問題,幫助更多中小企業(yè)客戶輕松使用大模型。
智慧城市場景里還存在非常多的問題沒有完全解決,例如長尾場景,只有一個(gè)模型能夠解決跨場景的問題,才有可能低成本解決智慧城市的碎片化問題。
在現(xiàn)實(shí)問題中,天災(zāi)人禍等極端場景識別訓(xùn)練的數(shù)據(jù)幾乎空白,云天勵(lì)飛副總裁羅憶以加油站場景的吸煙識別為例進(jìn)行介紹,平臺能夠利用大模型能力,以加油站為背景,生成在該環(huán)境抽煙行為的人物,并將數(shù)據(jù)用于算法訓(xùn)練中,填補(bǔ)訓(xùn)練數(shù)據(jù)的空白。
“我們通過可控的生成,對于指定的場景、部位可以做到細(xì)節(jié)可控、真實(shí)合理、高保真,而且可以批量生成數(shù)據(jù)。”目前,云天勵(lì)飛已經(jīng)生成了千萬級的數(shù)據(jù)用于各類算法的訓(xùn)練,而且生成的數(shù)據(jù)不僅能夠用于算法的訓(xùn)練,還能用于算法能力的測試。
“從生成訓(xùn)練到檢測,這個(gè)閉環(huán)打通,也為將來它的自學(xué)習(xí)奠定基礎(chǔ)。”羅憶再次表示。使用AI合成數(shù)據(jù)來訓(xùn)練算法,逐漸成為大模型時(shí)代下訓(xùn)練新算法和提升算法精度的方式之一。
推理芯片將是AI大模型的發(fā)展關(guān)鍵之一
未來,AI大模型的發(fā)展一定是降低推理成本,陳寧在接受電子發(fā)燒友網(wǎng)等媒體采訪時(shí)表示,關(guān)于大模型的訓(xùn)練,業(yè)內(nèi)的重視度已經(jīng)比較高了,GPU一卡難求,中國也掀起了智算,上下游的企業(yè)都參與到智能算力的建設(shè)過程中,云天勵(lì)飛也抓住了機(jī)遇?!拔覀冋J(rèn)為2024年如果是大模型落地應(yīng)用之年,推理就會越來越重要。”
云天勵(lì)飛自成立之初就將AI芯片定位在推理的應(yīng)用,此次將其在推理領(lǐng)域的深厚技術(shù)積累賦能給了“深目”。
“深目”內(nèi)置了自研的SPACE訓(xùn)練推理引擎,羅憶表示,“我們要讓大模型在邊緣側(cè)跑起來,不僅要推理,還要具備一定的訓(xùn)練能力,要提高它的精度,首先要解決速度的問題,確保訓(xùn)練有效的前提下,只要進(jìn)行少樣本的訓(xùn)練,即可進(jìn)行場景自適應(yīng)?!?/div>
根據(jù)介紹,基于SPACE訓(xùn)練推理引擎的高效訓(xùn)練架構(gòu),對比全量訓(xùn)練,“深目”AI模盒訓(xùn)練速度提升100倍,內(nèi)存消耗降低20倍。通過混合精度訓(xùn)練,模型99%的計(jì)算采用int8+fP16精度訓(xùn)練,只有不到1%的計(jì)算才用得fp32精度訓(xùn)練。而且做到了存儲及功耗均大幅下降,推理速度同比提升50%,推理成本更是降低10倍。
通過SPACE訓(xùn)練推理引擎和神經(jīng)網(wǎng)絡(luò)處理器芯片架構(gòu)的深度耦合,“深目”在邊緣端48T至64T的有限算力情況下,一樣可以實(shí)現(xiàn)高精度的推理大模型,并且可以微調(diào)和訓(xùn)練。陳寧表示,面向邊緣場景,云天勵(lì)飛強(qiáng)化了多模態(tài)大模型場景泛化和在線學(xué)習(xí)、訓(xùn)練的能力,通過一系列的性能提升,解決場景價(jià)值閉環(huán)的問題。
一般來說,AI芯片可以分為兩種:推理芯片、訓(xùn)練芯片?!暗撬惴ǖ挠?xùn)練不是目的,千行百業(yè)的推理應(yīng)用才是最終目的,人形機(jī)器人、無人機(jī)、無人車、可穿戴設(shè)備、AIPC、AI手機(jī)等,萬物智聯(lián)的智能硬件都需要一顆或者幾顆神經(jīng)網(wǎng)絡(luò)處理器的推理芯片”,陳寧表示。
2024年,AI行業(yè)在推理芯片領(lǐng)域迎來了新的進(jìn)展。例如,AI芯片創(chuàng)企Groq自研的新型AI芯片——LPU(Language Processing Units)在AI行業(yè)內(nèi)“出圈”,該芯片專為AI推理而生。公開資料顯示,由Groq LPU驅(qū)動(dòng)Meta Llama 2模型,推理性能可以做到頂級云計(jì)算供應(yīng)商的18倍。英偉達(dá)在GTC 2024上也發(fā)布了全新的 GPU——Blackwell芯片,推理能力是Hopper的30倍。
如今,推理芯片領(lǐng)域還沒有壟斷性的巨頭,推理芯片是一個(gè)萬億顆芯片的大藍(lán)海市場,而中國市場擁有豐富的場景,未來推理芯片會應(yīng)用到各個(gè)行業(yè)中,解決各個(gè)場景的問題,國內(nèi)的AI芯片企業(yè)也會在推理芯片領(lǐng)域迎來新的進(jìn)展。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 云天勵(lì)飛
    +關(guān)注

    關(guān)注

    0

    文章

    149

    瀏覽量

    12209
  • AI大模型
    +關(guān)注

    關(guān)注

    0

    文章

    375

    瀏覽量

    613
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    工業(yè)電腦一體機(jī)在非標(biāo)自動(dòng)化設(shè)備中的應(yīng)用

    工業(yè)電腦一體機(jī)在非標(biāo)自動(dòng)化設(shè)備中的應(yīng)用
    的頭像 發(fā)表于 06-21 17:47 ?231次閱讀
    工業(yè)<b class='flag-5'>級</b>電腦<b class='flag-5'>一體機(jī)</b>在非標(biāo)自動(dòng)化設(shè)備中的應(yīng)用

    DeepSeek賦能,大模型一體機(jī)破解企業(yè)AI落地難題

    ? 電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)大模型一體機(jī)是近年來人工智能領(lǐng)域的重要?jiǎng)?chuàng)新,它將高性能硬件、預(yù)訓(xùn)練大模型及配套軟件深度集成,形成“開箱即用”的AI
    的頭像 發(fā)表于 06-09 07:13 ?5370次閱讀
    DeepSeek賦能,大<b class='flag-5'>模型</b><b class='flag-5'>一體機(jī)</b>破解企業(yè)<b class='flag-5'>AI</b>落地難題

    中軟國際推出昇騰金融AI解決方案和一體機(jī)v1.0

    解決金融客戶面臨的諸多業(yè)務(wù)難題。 中軟國際昇騰金融AI一體機(jī)硬件配置強(qiáng)大,整體性能卓越穩(wěn)定。軟件層面,該方案集成了豐富的功能組件。大模型訓(xùn)
    的頭像 發(fā)表于 03-28 17:05 ?605次閱讀

    壁仞科技推出阿里QWQ-32B大模型一體機(jī)

    能力等關(guān)鍵測試中展現(xiàn)出卓越性能。 作為國產(chǎn)AI算力重要推動(dòng)力量,壁仞科技不斷測試與更新適配最先進(jìn)大模型,聯(lián)合生態(tài)合作伙伴共同推出QWQ-32B大模型
    的頭像 發(fā)表于 03-10 09:05 ?1216次閱讀
    壁仞科技推出阿里QWQ-32B大<b class='flag-5'>模型</b><b class='flag-5'>一體機(jī)</b>

    中科曙光推出DeepSeek人工智能一體機(jī)

    為滿足用戶對DeepSeek的多方位需求。近日,中科曙光推出DeepSeek人工智能一體機(jī)。該一體機(jī)集多形態(tài)曙光高端計(jì)算服務(wù)器、高效能基礎(chǔ)模型、全流程AI工具鏈于
    的頭像 發(fā)表于 02-21 11:40 ?1076次閱讀

    DeepSeek一體機(jī):加速AI訓(xùn)超融合,推動(dòng)行業(yè)智能化落地

    本地部署推出FusionCube A3000訓(xùn)超融合一體機(jī),以“數(shù)據(jù)-模型-應(yīng)用”全流程創(chuàng)新,破解大模型落地難題,助力企業(yè)低成本、高質(zhì)量推
    的頭像 發(fā)表于 02-20 11:14 ?771次閱讀
    DeepSeek<b class='flag-5'>一體機(jī)</b>:加速<b class='flag-5'>AI</b><b class='flag-5'>訓(xùn)</b><b class='flag-5'>推</b>超融合,推動(dòng)行業(yè)智能化落地

    格靈深瞳發(fā)布全國產(chǎn)超融合大模型一體機(jī)

    模型一體機(jī)最大的亮點(diǎn)在于其支持單臺運(yùn)行DeepSeek-R1滿血版。DeepSeek-R1是格靈深瞳自主研發(fā)的款高性能AI
    的頭像 發(fā)表于 02-19 15:37 ?770次閱讀

    華為推出昇騰DeepSeek大模型一體機(jī)

    DeepSeek大模型的橫空出世,讓AI正以前所未有的速度重塑各行各業(yè)的發(fā)展格局。昇騰DeepSeek一體機(jī)深度融合昇騰高性能算力底座與DeepSeek全系列大
    的頭像 發(fā)表于 02-18 09:56 ?2059次閱讀

    澎峰科技發(fā)布萬DeepSeek智算一體機(jī)

    滿血DeepSeek智算一體機(jī)——智算先鋒Deep Fusion DF100。 這款劃時(shí)代的產(chǎn)品不僅將大模型的私有化部署帶入了萬時(shí)代
    的頭像 發(fā)表于 02-17 11:04 ?1684次閱讀

    寧暢推出DeepSeek大模型一體機(jī)

    為加速人工智能大模型技術(shù)在企業(yè)場景中的規(guī)?;涞?,寧暢正式發(fā)布DeepSeek大模型一體機(jī)解決方案。作為款面向企業(yè)的“開箱即用”智能算力
    的頭像 發(fā)表于 02-15 14:51 ?1367次閱讀

    云從科技從容大模型訓(xùn)一體機(jī)成功適配DeepSeek

    了新的動(dòng)能。 從容大模型訓(xùn)一體機(jī)是云從科技基于昇騰AI基礎(chǔ)軟硬件平臺推出的創(chuàng)新產(chǎn)品。該產(chǎn)品集成了大模型
    的頭像 發(fā)表于 02-14 15:44 ?779次閱讀

    云天天書大模型訓(xùn)一體機(jī)成功適配DeepSeek

    近日,云天天書大模型訓(xùn)一體機(jī)成功適配DeepSeek。該一體機(jī)由云天勵(lì)飛與華為聯(lián)合推出,可以部署在華為昇騰服務(wù)器上,支持私有化部署,實(shí)現(xiàn)開
    的頭像 發(fā)表于 02-14 11:02 ?962次閱讀

    新華三發(fā)布DeepSeek大模型一體機(jī)UniCube

    ,為各行各業(yè)的智能進(jìn)化注入了全新動(dòng)力。 UniCube一體機(jī)實(shí)現(xiàn)了671B DeepSeek大模型的單機(jī)推理及單機(jī)訓(xùn)
    的頭像 發(fā)表于 02-11 15:21 ?1552次閱讀

    浪潮信息發(fā)布腦企智一體機(jī)

    在2024中國算力大會上,浪潮信息正式發(fā)布了其創(chuàng)新的腦企智一體機(jī)。這款一體機(jī)融合了腦企智EPAI企業(yè)大模型開放平臺和
    的頭像 發(fā)表于 09-30 16:50 ?1943次閱讀

    雷曼智慧一體機(jī)獲得最高能效等級一級認(rèn)證

    近日,雷曼智慧會議/教育交互大屏(以下簡稱“雷曼智慧一體機(jī)”)成功通過國家權(quán)威認(rèn)可實(shí)驗(yàn)室的檢測認(rèn)證,依據(jù)最新國家標(biāo)準(zhǔn)《顯示器能效限定值及能效等級》(GB 21520-2023),其能源效率等級達(dá)到高性能LED一體機(jī)的最高等級
    的頭像 發(fā)表于 08-26 09:58 ?1071次閱讀
    主站蜘蛛池模板: 日韩精品一区二区三区毛片 | 99伊人 | 久久精品国产精品亚洲红杏 | 天天操夜夜操美女 | 香蕉视频色版在线观看 | 午夜免费 | 天天摸天天做天天爽 | 亚洲综合涩| 亚洲国产精| 又黄又爽又猛午夜性色播在线播放 | 欧美三级在线观看视频 | 啪啪91视频 | 国产又黄又爽又猛的免费视频播放 | 亚洲人成伊人成综合网久久 | 亚洲天堂导航 | 在线观看网址你懂得 | 黄频网| 性夜黄a爽影免费看 | 免费观看视频 | 日本69xxx| 波多野结衣久久国产精品 | 日本h片在线观看 | a级黄视频 | 久久99操| 色惰网站| 久久精品人人做人人看 | 久久99精品久久久久久久野外 | 免费看一级毛片 | 天堂资源最新版在线www | 欧美夜夜夜 | 热之国产| 操一操日一日 | 婷婷色人阁 | 日韩高清特级特黄毛片 | 美女扒开尿口给男人桶视频免费 | 色视频www在线播放国产人成 | 国产做a爰片久久毛片 | 手机在线观看a | 天天爽夜夜爽精品免费 | 一级片aaa | 中文字幕有码在线视频 |