電子發(fā)燒友網(wǎng)報(bào)道(文/莫婷婷)AI大模型應(yīng)用在2024年進(jìn)入新的階段。Transformer等技術(shù)正在推動(dòng)著行業(yè)從單一模態(tài)的大語言模型,向多模態(tài)大模型進(jìn)化。
業(yè)內(nèi)普遍認(rèn)為,未來3到5年我們會快速邁入AI3.0時(shí)代,屆時(shí)進(jìn)入以機(jī)器人為代表的具身智能時(shí)代,當(dāng)人形機(jī)器人搭載了多模態(tài)大模型,和物理世界進(jìn)行交互后,就會發(fā)展成行為大模型,成為自進(jìn)化智能體,進(jìn)一步實(shí)現(xiàn)AGI通用人工智能,由此打開第四次工業(yè)革命的大門。
云天勵(lì)飛董事長兼CEO陳寧認(rèn)為,未來3年全球80%的企業(yè)將使用大模型,未來5年機(jī)器人和數(shù)字人的數(shù)量將超越人類的數(shù)量,未來7年,也就是到2030年行業(yè)將實(shí)現(xiàn)通用人工智能,AI的智慧程度超越全人類大腦的組合。
他進(jìn)一步提到,我們還有3年的時(shí)間可以轉(zhuǎn)型到大模型時(shí)代,借助大模型生產(chǎn)力的變革去賦能企業(yè)。那么,企業(yè)如何擁有屬于自己的大模型,訓(xùn)推一體機(jī)成為焦點(diǎn)之一。
千元級AI模盒,大模型進(jìn)入平民化階段
目前,行業(yè)內(nèi)已經(jīng)有多家企業(yè)推出訓(xùn)推一體機(jī),但是在訓(xùn)練專屬大模型過程中,訓(xùn)推一體機(jī)的痛點(diǎn)也隨之暴露出來。成本是其中一個(gè)關(guān)鍵問題,主流的訓(xùn)推一體機(jī)價(jià)格普遍在百萬級。另外還有大參數(shù)、大算力、大數(shù)據(jù)、專業(yè)人才等,要知道GPT-4模型訓(xùn)練數(shù)據(jù)ToKen量已經(jīng)達(dá)到130000億。為了加速AI普惠化,訓(xùn)推一體機(jī)亟需迭代。
就在今年3月,云天勵(lì)飛推出“深目”AI模盒,面向邊緣訓(xùn)推場景。官方介紹,“深目”AI模盒搭載了自研的14nm Chiplet大模型邊緣訓(xùn)推芯片DeepEdge10 Max、自研多模態(tài)大模型“云天天書”,基于云天勵(lì)飛的核心能力算法芯片化,實(shí)現(xiàn)了算法場景覆蓋超過90%、算法精度超過90%,使用成本降低90%。其中,DeepEdge10 Max適配并可承載10億級SAM、百億級Llama2等大模型運(yùn)算。

值得一提的是,“深目”AI模盒售價(jià)在千元級。可以說,在一定程度上,云天勵(lì)飛將訓(xùn)推一體機(jī)“打下”千元級,促進(jìn)了大模型平民化,解決大模型在場景落地最后一公里的問題,幫助更多中小企業(yè)客戶輕松使用大模型。

智慧城市場景里還存在非常多的問題沒有完全解決,例如長尾場景,只有一個(gè)模型能夠解決跨場景的問題,才有可能低成本解決智慧城市的碎片化問題。
在現(xiàn)實(shí)問題中,天災(zāi)人禍等極端場景識別訓(xùn)練的數(shù)據(jù)幾乎空白,云天勵(lì)飛副總裁羅憶以加油站場景的吸煙識別為例進(jìn)行介紹,平臺能夠利用大模型能力,以加油站為背景,生成在該環(huán)境抽煙行為的人物,并將數(shù)據(jù)用于算法訓(xùn)練中,填補(bǔ)訓(xùn)練數(shù)據(jù)的空白。
“我們通過可控的生成,對于指定的場景、部位可以做到細(xì)節(jié)可控、真實(shí)合理、高保真,而且可以批量生成數(shù)據(jù)。”目前,云天勵(lì)飛已經(jīng)生成了千萬級的數(shù)據(jù)用于各類算法的訓(xùn)練,而且生成的數(shù)據(jù)不僅能夠用于算法的訓(xùn)練,還能用于算法能力的測試。
“從生成訓(xùn)練到檢測,這個(gè)閉環(huán)打通,也為將來它的自學(xué)習(xí)奠定基礎(chǔ)。”羅憶再次表示。使用AI合成數(shù)據(jù)來訓(xùn)練算法,逐漸成為大模型時(shí)代下訓(xùn)練新算法和提升算法精度的方式之一。
推理芯片將是AI大模型的發(fā)展關(guān)鍵之一
未來,AI大模型的發(fā)展一定是降低推理成本,陳寧在接受電子發(fā)燒友網(wǎng)等媒體采訪時(shí)表示,關(guān)于大模型的訓(xùn)練,業(yè)內(nèi)的重視度已經(jīng)比較高了,GPU一卡難求,中國也掀起了智算,上下游的企業(yè)都參與到智能算力的建設(shè)過程中,云天勵(lì)飛也抓住了機(jī)遇?!拔覀冋J(rèn)為2024年如果是大模型落地應(yīng)用之年,推理就會越來越重要。”
云天勵(lì)飛自成立之初就將AI芯片定位在推理的應(yīng)用,此次將其在推理領(lǐng)域的深厚技術(shù)積累賦能給了“深目”。
“深目”內(nèi)置了自研的SPACE訓(xùn)練推理引擎,羅憶表示,“我們要讓大模型在邊緣側(cè)跑起來,不僅要推理,還要具備一定的訓(xùn)練能力,要提高它的精度,首先要解決速度的問題,確保訓(xùn)練有效的前提下,只要進(jìn)行少樣本的訓(xùn)練,即可進(jìn)行場景自適應(yīng)?!?/div>

根據(jù)介紹,基于SPACE訓(xùn)練推理引擎的高效訓(xùn)練架構(gòu),對比全量訓(xùn)練,“深目”AI模盒訓(xùn)練速度提升100倍,內(nèi)存消耗降低20倍。通過混合精度訓(xùn)練,模型99%的計(jì)算采用int8+fP16精度訓(xùn)練,只有不到1%的計(jì)算才用得fp32精度訓(xùn)練。而且做到了存儲及功耗均大幅下降,推理速度同比提升50%,推理成本更是降低10倍。
通過SPACE訓(xùn)練推理引擎和神經(jīng)網(wǎng)絡(luò)處理器芯片架構(gòu)的深度耦合,“深目”在邊緣端48T至64T的有限算力情況下,一樣可以實(shí)現(xiàn)高精度的推理大模型,并且可以微調(diào)和訓(xùn)練。陳寧表示,面向邊緣場景,云天勵(lì)飛強(qiáng)化了多模態(tài)大模型場景泛化和在線學(xué)習(xí)、訓(xùn)練的能力,通過一系列的性能提升,解決場景價(jià)值閉環(huán)的問題。
一般來說,AI芯片可以分為兩種:推理芯片、訓(xùn)練芯片?!暗撬惴ǖ挠?xùn)練不是目的,千行百業(yè)的推理應(yīng)用才是最終目的,人形機(jī)器人、無人機(jī)、無人車、可穿戴設(shè)備、AIPC、AI手機(jī)等,萬物智聯(lián)的智能硬件都需要一顆或者幾顆神經(jīng)網(wǎng)絡(luò)處理器的推理芯片”,陳寧表示。
2024年,AI行業(yè)在推理芯片領(lǐng)域迎來了新的進(jìn)展。例如,AI芯片創(chuàng)企Groq自研的新型AI芯片——LPU(Language Processing Units)在AI行業(yè)內(nèi)“出圈”,該芯片專為AI推理而生。公開資料顯示,由Groq LPU驅(qū)動(dòng)Meta Llama 2模型,推理性能可以做到頂級云計(jì)算供應(yīng)商的18倍。英偉達(dá)在GTC 2024上也發(fā)布了全新的 GPU——Blackwell芯片,推理能力是Hopper的30倍。
如今,推理芯片領(lǐng)域還沒有壟斷性的巨頭,推理芯片是一個(gè)萬億顆芯片的大藍(lán)海市場,而中國市場擁有豐富的場景,未來推理芯片會應(yīng)用到各個(gè)行業(yè)中,解決各個(gè)場景的問題,國內(nèi)的AI芯片企業(yè)也會在推理芯片領(lǐng)域迎來新的進(jìn)展。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報(bào)投訴
-
云天勵(lì)飛
+關(guān)注
關(guān)注
0文章
149瀏覽量
12209 -
AI大模型
+關(guān)注
關(guān)注
0文章
375瀏覽量
613
發(fā)布評論請先 登錄
相關(guān)推薦
熱點(diǎn)推薦
工業(yè)級電腦一體機(jī)在非標(biāo)自動(dòng)化設(shè)備中的應(yīng)用
工業(yè)級電腦一體機(jī)在非標(biāo)自動(dòng)化設(shè)備中的應(yīng)用

DeepSeek賦能,大模型一體機(jī)破解企業(yè)AI落地難題
? 電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)大模型一體機(jī)是近年來人工智能領(lǐng)域的重要?jiǎng)?chuàng)新,它將高性能硬件、預(yù)訓(xùn)練大模型及配套軟件深度集成,形成“開箱即用”的AI

中軟國際推出昇騰金融AI解決方案和一體機(jī)v1.0
解決金融客戶面臨的諸多業(yè)務(wù)難題。 中軟國際昇騰金融AI一體機(jī)硬件配置強(qiáng)大,整體性能卓越穩(wěn)定。軟件層面,該方案集成了豐富的功能組件。大模型訓(xùn)
壁仞科技推出阿里QWQ-32B大模型一體機(jī)
能力等關(guān)鍵測試中展現(xiàn)出卓越性能。 作為國產(chǎn)AI算力重要推動(dòng)力量,壁仞科技不斷測試與更新適配最先進(jìn)大模型,聯(lián)合生態(tài)合作伙伴共同推出QWQ-32B大模型

中科曙光推出DeepSeek人工智能一體機(jī)
為滿足用戶對DeepSeek的多方位需求。近日,中科曙光推出DeepSeek人工智能一體機(jī)。該一體機(jī)集多形態(tài)曙光高端計(jì)算服務(wù)器、高效能基礎(chǔ)模型、全流程AI工具鏈于
DeepSeek一體機(jī):加速AI訓(xùn)推超融合,推動(dòng)行業(yè)智能化落地
本地部署推出FusionCube A3000訓(xùn)推超融合一體機(jī),以“數(shù)據(jù)-模型-應(yīng)用”全流程創(chuàng)新,破解大模型落地難題,助力企業(yè)低成本、高質(zhì)量推

格靈深瞳發(fā)布全國產(chǎn)超融合大模型一體機(jī)
大模型一體機(jī)最大的亮點(diǎn)在于其支持單臺運(yùn)行DeepSeek-R1滿血版。DeepSeek-R1是格靈深瞳自主研發(fā)的一款高性能AI大
華為推出昇騰DeepSeek大模型一體機(jī)
DeepSeek大模型的橫空出世,讓AI正以前所未有的速度重塑各行各業(yè)的發(fā)展格局。昇騰DeepSeek一體機(jī)深度融合昇騰高性能算力底座與DeepSeek全系列大
澎峰科技發(fā)布萬元級DeepSeek智算一體機(jī)
萬元級滿血DeepSeek智算一體機(jī)——智算先鋒Deep Fusion DF100。 這款劃時(shí)代的產(chǎn)品不僅將大模型的私有化部署帶入了萬元時(shí)代
寧暢推出DeepSeek大模型一體機(jī)
為加速人工智能大模型技術(shù)在企業(yè)級場景中的規(guī)?;涞?,寧暢正式發(fā)布DeepSeek大模型一體機(jī)解決方案。作為一款面向企業(yè)的“開箱即用”智能算力
云從科技從容大模型訓(xùn)推一體機(jī)成功適配DeepSeek
了新的動(dòng)能。 從容大模型訓(xùn)推一體機(jī)是云從科技基于昇騰AI基礎(chǔ)軟硬件平臺推出的創(chuàng)新產(chǎn)品。該產(chǎn)品集成了大模型
云天天書大模型訓(xùn)推一體機(jī)成功適配DeepSeek
近日,云天天書大模型訓(xùn)推一體機(jī)成功適配DeepSeek。該一體機(jī)由云天勵(lì)飛與華為聯(lián)合推出,可以部署在華為昇騰服務(wù)器上,支持私有化部署,實(shí)現(xiàn)開
新華三發(fā)布DeepSeek大模型一體機(jī)UniCube
,為各行各業(yè)的智能進(jìn)化注入了全新動(dòng)力。 UniCube一體機(jī)實(shí)現(xiàn)了671B DeepSeek大模型的單機(jī)推理及單機(jī)訓(xùn)
浪潮信息發(fā)布元腦企智一體機(jī)
在2024中國算力大會上,浪潮信息正式發(fā)布了其創(chuàng)新的元腦企智一體機(jī)。這款一體機(jī)融合了元腦企智EPAI企業(yè)大模型開放平臺和
雷曼智慧一體機(jī)獲得最高能效等級一級認(rèn)證
近日,雷曼智慧會議/教育交互大屏(以下簡稱“雷曼智慧一體機(jī)”)成功通過國家權(quán)威認(rèn)可實(shí)驗(yàn)室的檢測認(rèn)證,依據(jù)最新國家標(biāo)準(zhǔn)《顯示器能效限定值及能效等級》(GB 21520-2023),其能源效率等級達(dá)到高性能LED一體機(jī)的最高等級
評論