在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

AI推理帶火的ASIC,開發成敗在此一舉!

Hobby觀察 ? 來源:電子發燒友網 ? 作者:梁浩斌 ? 2025-03-03 00:13 ? 次閱讀

電子發燒友網報道(文/梁浩斌)去年年底,多家大廠爆出開發數據中心ASIC芯片的消息,包括傳聞蘋果與博通合作開發面向AI推理的ASIC,亞馬遜也在年底公布了其AIASIC的應用實例,展示出ASIC的應用性價比遠超GPU,加上博通財報AI業務同比大增220%,掀起了AI推理端的ASIC熱潮。

那么ASIC跟傳統的GPU有哪些區別,開發上又有哪些流程上的不同?

ASIC和GPU

通用GPU在設計之初就為了適配更多使用場景,在AI應用上,GPU支持訓練、推理、通用計算等全流程,以英偉達GPU為例,通過CUDA生態,英偉達GPU能夠快速適配新的算法,比如從Transformer到CNN的遷移,只需要修改30%左右的代碼。

相比通用GPU,ASIC是專為滿足特定應用而設計的芯片,針對特定應用的特定算法進行硬件級別的優化,尤其在AI應用中,比如運行矩陣乘法、張量計算等任務,能夠相比GPU效率更高。

比如谷歌TPU就是一款ASIC,采用脈動陣列設計,通過固化數據流水線減少內存訪問次數,能效比達GPU的3.2倍

相比之下GPU使用通用計算單元處理多種任務,為了滿足不同類型的計算需求,必然需要存在計算冗余。

GPU由于架構的特性,一般會在AI計算中保留圖形渲染、視頻編解碼等功能模塊,但在AI計算中這些模塊大部分處于閑置狀態。有研究指出,英偉達H100GPU上有大約15%的晶體管是未在AI計算過程中被使用的。

同時,在計算流程上,GPU在處理AI計算任務時是需要通過CUDA軟件棧進行任務調度,比如矩陣乘法的運行時需要經過內存加載、指令分發、TensorCore計算、結果回寫等多個步驟。

而在ASIC上,可以通過硬件級的流水線固化數據流,能夠減少計算流程步驟,提高運算效率。在減少計算流程的同時,ASIC對內存訪問模式的優化,還能有助于降低內存控制器的功耗。

AI計算中,低精度是以損失部分準確率為代價,通過量化壓縮數據來提高推理速度。目前AI推理中INT8/FP16的精度,GPU一般支持FP32/FP64等高精度計算,在混合精度訓練中,GPU還需要額外的顯存來轉換成低精度結果,同樣的芯片,在運行高精度和低精度的算力也不同。

盡管精度的選擇本質上是準確性和效率的取舍,但AI推理等應用中,對精度的需求并不需要極致的接近100%,但仍能保持較高的水準。ASIC一般直接支持低精度計算,在AI計算時的效率能夠相比GPU大幅提高,但保持一定的準確率。比如有數據顯示,TikTok的推薦算法系統采用INT8精度,但依然保持了接近99%的推薦準確率。

所以,ASIC相比GPU,在硬件架構上可以針對專有應用進行特定優化,提高計算效率和降低功耗。在成本方面,ASIC在規模量產的情況下可以降至GPU的三分之一,但前期開發成本仍不能忽視。

可能大家也發現,目前定制開發高算力ASIC的廠商,無一例外是云計算大廠,本身公司業務就有極大規模的算力需求。ASIC定制費用,主要是開發過程中的一次性工程費用,也被業內稱為NRE(Non-RecurringEngineering)。顧名思義,NRE費用只需要支出一次,后續規模生產中不需要再增加這部分費用。

NRE費用中,包含芯片設計的成本,比如研發人員薪酬、EDA工具授權費等,這與芯片使用的制程工藝、芯片本身的復雜程度相關;然后是版圖設計成本,其實這里的概念跟芯片設計的成本類似,主要是涉及芯片的物理布局設計,需要特定的研發人員和軟件支持;再是IP授權費用,一般是一些通用的IP,比如CPUIP、內存控制器、接口IP等。

以定制一款采用5nm制程的ASIC為例,NRE費用可以高達1億至2億美元。然而一旦能夠大規模出貨,NRE費用就可以很大程度上被攤薄。

此前有業內人士分析,中等復雜程度的ASIC盈虧平衡點在10萬片左右,這對于很多廠商來說已經是遙不可及。

ASIC開發流程

在開發ASIC時,最關鍵的是以算法架構為主導,圍繞這一方面去進行其他工作。

首先是進行需求定義,要明確ASIC的目標場景是什么,比如推理還是訓練?端側還是云端?用到CNN還是Transformer?在AI領域,定制ASIC的往往是云計算大廠,這些廠商一般會有頂尖的架構師去進行充分考慮,未來可能的應用、效率、成本、技術可行性等都會包含在內,同時平衡性能、成本、功耗等關鍵指標。當然也有一些芯片廠商推出針對某些應用場景的ASIC產品。那么在前期產品定義就十分關鍵,有時候還需要開發針對應用場景的算法配合自己的芯片產品使用。

接下來是最關鍵的算法和架構優化,需要對行業發展趨勢有足夠認知,選擇適合的算法進行優化,保證算法與硬件架構適配,通過仿真測試驗證。

然后設計ASIC的整體架構,比如功能模塊的劃分和模塊之間的互連,以及接口等IP的使用。

在前端設計中,使用VHDL或Verilog等硬件描述語言對設計進行編碼,然后將編碼轉換為門級網表,對其進行優化滿足芯片面積和性能要求。

進入后端設計后,需要將門級網表映射到具體的芯片物理結構上,進行布局和布線。

完成模塊布局和布線后,就可以開始進行FPGA驗證,測試ASIC設計的功能是否滿足需求。隨后完成流片、測試后就可以投入大規模生產。

總的來說,ASIC的開發中,硬件和軟件的協同是其成功的關鍵,在擁有強大的芯片性能同時,還要筑建完整的軟件生態,吸引更多用戶使用。

當然,在ASIC量產進入市場后,軟件棧開發也是相當重要的,需要編譯器將TensorFlow和PyTorch等機器學習模型映射到硬件指令上,在生態上也需要支持更多主流的框架,以盡可能滿足更多使用需求。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • asic
    +關注

    關注

    34

    文章

    1243

    瀏覽量

    122051
  • AI
    AI
    +關注

    關注

    88

    文章

    34405

    瀏覽量

    275678
  • 芯片開發
    +關注

    關注

    0

    文章

    12

    瀏覽量

    2574
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    AI推理的存儲,看好SRAM?

    電子發燒友網報道(文/黃晶晶)近幾年,生成式AI引領行業變革,AI訓練率先崛起,帶動高帶寬內存HBM飛沖天。但我們知道AI推理的廣泛應用才
    的頭像 發表于 03-03 08:51 ?1541次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>的存儲,看好SRAM?

    AI端側部署開發(SC171開發套件V3)

    AI端側部署開發(SC171開發套件V3) 序列 課程名稱 視頻課程時長 視頻課程鏈接 課件鏈接 工程源碼 1 Fibo AI Stack模型轉化指南------Docker Desk
    發表于 04-16 18:30

    首創開源架構,天璣AI開發套件讓端側AI模型接入得心應手

    生態和天璣AI生態的全面打通。這意味著,天璣開發者將有機會獲取更多NVIDIA TAO生態的AI開發資源,TAO生態開發者可將
    發表于 04-13 19:52

    NVIDIA 推出開放推理 AI 模型系列,助力開發者和企業構建代理式 AI 平臺

    月 18 日 —— ?NVIDIA 今日發布具有推理功能的開源 Llama Nemotron 模型系列,旨在為開發者和企業提供業務就緒型基礎,助力構建能夠獨立工作或以團隊形式完成復雜任務的高級 AI 智能體。
    發表于 03-19 09:31 ?204次閱讀
    NVIDIA 推出開放<b class='flag-5'>推理</b> <b class='flag-5'>AI</b> 模型系列,助力<b class='flag-5'>開發</b>者和企業構建代理式 <b class='flag-5'>AI</b> 平臺

    燧原科技助力美圖AI換裝全球爆

    2025蛇年元宵后,美圖公司旗下美顏相機憑借“AI換裝”功能爆,獲得了國內外用戶的極大青睞,App下載量和使用量迅速激增的同時,也面臨了海量推理算力即時支持的挑戰。
    的頭像 發表于 02-25 16:47 ?789次閱讀

    AI開發板】正點原子K230D BOX開發板來了!款性能強悍且小巧便攜的AI開發板!

    AI開發板】正點原子K230D BOX開發板來了!款性能強悍且小巧便攜的AI開發板! 正
    發表于 02-18 16:56

    Qwen大模型助力開發低成本AI推理方案

    阿里巴巴的開源Qwen2.5模型近期在AI領域引發了廣泛關注。這大模型的推出,為斯坦福大學與伯克利大學的研究人員提供了強大的技術支持,使他們能夠成功開發出低成本的AI
    的頭像 發表于 02-12 09:19 ?515次閱讀

    使用NVIDIA推理平臺提高AI推理性能

    NVIDIA推理平臺提高了 AI 推理性能,為零售、電信等行業節省了數百萬美元。
    的頭像 發表于 02-08 09:59 ?635次閱讀
    使用NVIDIA<b class='flag-5'>推理</b>平臺提高<b class='flag-5'>AI</b><b class='flag-5'>推理</b>性能

    生成式AI推理技術、市場與未來

    (reasoning)能力,這轉變將極大推動上層應用的發展。 紅杉資本近期指出,在可預見的未來,邏輯推理推理時計算將是個重要主題,并開啟生成式
    的頭像 發表于 01-20 11:16 ?762次閱讀
    生成式<b class='flag-5'>AI</b><b class='flag-5'>推理</b>技術、市場與未來

    新品| LLM630 Compute Kit,AI 大語言模型推理開發平臺

    LLM630LLM推理,視覺識別,可開發,靈活擴展···LLM630ComputeKit是AI大語言模型推理
    的頭像 發表于 01-17 18:48 ?605次閱讀
    新品| LLM630 Compute Kit,<b class='flag-5'>AI</b> 大語言模型<b class='flag-5'>推理</b><b class='flag-5'>開發</b>平臺

    Neuchips展示大模型推理ASIC芯片

    領先的AI專用集成電路(ASIC)解決方案提供商Neuchips在CES 2024上展示了其革命性的Raptor Gen AI加速芯片(以前稱為N3000)和Evo PCIe加速卡LLM解決方案
    的頭像 發表于 01-06 17:30 ?665次閱讀

    ASIC!大廠AI訓練推理拋棄GPU;博通的護城河有多深?

    電子發燒友網報道(文/梁浩斌)在上周末,博通應該可以說是投資圈和科技圈最火爆的話題,大家紛紛驚呼“英偉達的對手終于出現了!”“ASIC要超越GPU”云云。 ? 這切都要源于上周五博通公布的炸裂財報
    的頭像 發表于 12-18 01:25 ?2954次閱讀

    FPGA和ASIC在大模型推理加速中的應用

    隨著現在AI的快速發展,使用FPGA和ASIC進行推理加速的研究也越來越多,從目前的市場來說,有些公司已經有了專門做推理ASIC,像Gro
    的頭像 發表于 10-29 14:12 ?1858次閱讀
    FPGA和<b class='flag-5'>ASIC</b>在大模型<b class='flag-5'>推理</b>加速中的應用

    AMD助力HyperAccel開發全新AI推理服務器

    HyperAccel 是家成立于 2023 年 1 月的韓國初創企業,致力于開發 AI 推理專用型半導體器件和硬件,最大限度提升推理工作負
    的頭像 發表于 09-18 09:37 ?780次閱讀
    AMD助力HyperAccel<b class='flag-5'>開發</b>全新<b class='flag-5'>AI</b><b class='flag-5'>推理</b>服務器

    是否能將libwebsokets移植到ESP8266上利用libwebsokets進行網絡應用開發

    使用 lwip開源協議棧,在實現相關的API時是否已經將 libwebsoket融入,如果已經融入,那我做的移植將是多此一舉
    發表于 07-22 06:22
    主站蜘蛛池模板: 国产免费播放一区二区三区 | 深夜大尺度视频在线观看 | 国产香蕉精品视频在 | 成人mv高清在线 | 免费大片黄日本在线观看 | 免费看的黄网站 | 精品新一区二区三区四区 | 精品久久天干天天天按摩 | 99热官网 | 在线观看免费黄视频 | 二级黄绝大片中国免费视频0 | 狠狠色影院| 亚洲啪啪看看 | 免费在线色视频 | 同性同男小说肉黄 | 国产又爽又黄又粗又大 | 真爽~张开腿~让我插 | 香蕉视频vip | 狠狠干天天爽 | 丁香六月五月婷婷 | 日韩精品视频免费在线观看 | 久久五月网 | 久久综合九色欧美综合狠狠 | 亚洲综合色婷婷中文字幕 | 西西人体44rt高清午夜 | 91大神视频网站 | 激情综合婷婷 | 欧美三级中文字幕hd | 视频一区 在线 | www.操你啦| 女同性进行性行为视频 | 一区二区三区四区国产精品 | 五月婷花| 天天综合天天添夜夜添狠狠添 | 禁漫羞羞a漫入口 | 大香伊在人线免费 | 免费在线亚洲 | 亚洲最色网 | 国产美女一级视频 | 97大香伊在人人线色 | 亚洲午夜久久久精品影院 |