91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

FPGA與GPU架構(gòu)的背景

FPGA之家 ? 來源:FPGA之家 ? 作者:FPGA之家 ? 2022-06-13 09:58 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

人工智能AI)模型的規(guī)模和復(fù)雜度以每年大約 10 倍的速度不斷增加,AI 解決方案提供商面臨著巨大的壓力,他們必須縮短產(chǎn)品上市時間,提高性能,快速適應(yīng)不斷變化的形勢。模型復(fù)雜性日益增加,AI 優(yōu)化的硬件隨之出現(xiàn)。

例如,近年來,圖形處理單元(GPU)集成了 AI 優(yōu)化的算法單元,以提高 AI 計算吞吐量。然而,隨著 AI 算法和工作負(fù)載的演變與發(fā)展,它們會展現(xiàn)出一些屬性,讓我們難以充分利用可用的 AI 計算吞吐量,除非硬件提供廣泛的靈活性來適應(yīng)這種算法變化。近期的論文表明,許多 AI 工作負(fù)載都難以實現(xiàn) GPU 供應(yīng)商報告的全部計算能力。即使對于高度并行的計算,如一般矩陣乘法(GEMM),GPU 也只能在一定規(guī)模的矩陣下實現(xiàn)高利用率。因此,盡管 GPU 在理論上提供較高的 AI 計算吞吐量(通常稱為“峰值吞吐量”),但在運行 AI 應(yīng)用時,實際性能可能低得多。

FPGA 可提供一種不同的 AI 優(yōu)化的硬件方法。與 GPU 不同,F(xiàn)PGA 提供獨特的精細(xì)化空間可重構(gòu)性。這意味著我們可以配置 FPGA 資源,以極為準(zhǔn)確的順序執(zhí)行精確的數(shù)學(xué)函數(shù),從而實施所需的操作。每個函數(shù)的輸出都可以直接路由到需要它的函數(shù)的輸入之中。這種方法支持更加靈活地適應(yīng)特定的 AI 算法和應(yīng)用特性,從而提高可用 FPGA 計算能力的利用率。此外,雖然 FPGA 需要硬件專業(yè)知識才能編程(通過硬件描述語言),但專門設(shè)計的軟核處理單元(也就是重疊結(jié)構(gòu)),允許 FPGA 以類似處理器的方式編程。FPGA 編程完全通過軟件工具鏈來完成,簡化了任何特定于 FPGA 的硬件復(fù)雜性。

FPGA與GPU架構(gòu)的背景

2020 年,英特爾 宣布推出首款 AI 優(yōu)化的 FPGA — 英特爾 Stratix 10 NX FPGA 器件。英特爾 Stratix 10 NX FPGA 包括 AI 張量塊,支持 FPGA 實現(xiàn)高達(dá) 143 INT8 和 286 INT4 峰值 AI 計算 TOPS 或 143 塊浮點 16(BFP16)和 286 塊浮點 12(BFP12)TFLOPS。最近的論文表明,塊浮點精度可為許多 AI 工作負(fù)載提供更高的精度和更低的消耗。NVIDIA GPU 同樣也提供張量核。但從架構(gòu)的角度來看,GPU 張量核和 FPGA AI 張量塊有很大的不同,如下圖所示。

909881c0-eaac-11ec-ba43-dac502259ad0.png

GPU 和 FPGA 都有張量核心。FPGA 有可以在數(shù)據(jù)流內(nèi)外編織的軟邏輯

90ce859a-eaac-11ec-ba43-dac502259ad0.png

(左)GPU 數(shù)據(jù)從張量核心處理的內(nèi)存系統(tǒng)中讀取,寫回內(nèi)存系統(tǒng)。(右)FPGA 數(shù)據(jù)可以從內(nèi)存中讀取,但數(shù)據(jù)流可以并行安排到一個或多個張量核心。任意數(shù)量的張量核心都能以最小的傳輸開銷使用輸出。數(shù)據(jù)可以被寫回內(nèi)存或路由到其他任何地方

英特爾研究人員開發(fā)了一種名為神經(jīng)處理單元(NPU)的 AI 軟處理器。這種 AI 軟處理器適用于低延遲、低批量推理。它將所有模型權(quán)重保持在一個或多個連接的 FPGA 上以降低延遲,從而確保模型持久性。

910acc80-eaac-11ec-ba43-dac502259ad0.png

NPU 重疊架構(gòu)和用于編程 NPU 軟核處理器的前端工具鏈高級概述

FPGA與GPU性能比較

本次研究的重點是計算性能。下圖比較了英特爾 Stratix 10 NX FPGA 上的 NPU 與 NVIDIA T4 和 V100 GPU 運行各種深度學(xué)習(xí)工作負(fù)載的性能,包括多層感知器(MLP)、一般矩陣向量乘法(GEMV)、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)、長期短期記憶(LSTM)和門控循環(huán)單元(GRU)。GEMV 和 MLP 由矩陣大小來指定,RNN、LSTM 和 GRU 則通過大小和時間步長來指定。例如,LSTM-1024-16 工作負(fù)載表示包含 1024x1024 矩陣和 16 個時間步長的 LSTM。

91486914-eaac-11ec-ba43-dac502259ad0.png

NVIDIA V100 和 NVIDIA T4 與英特爾 Stratix 10 NX FPGA 上的 NPU 在不同批處理規(guī)模下的性能。虛線顯示 NPU 在批次大小可被 6 整除情況下的性能

從這些結(jié)果可以充分地看出,英特爾 Stratix 10 NX FPGA 不僅可以在低批次實時推理時實現(xiàn)比 GPU 高一個數(shù)量級的性能,還可以有效地進(jìn)行高批次實時推理。

由于架構(gòu)上的差異和靈活編程模型,英特爾 Stratix 10 NX FPGA 還可實現(xiàn)更出色的端到端性能。不會產(chǎn)生與 GPU 相同的開銷。

91848282-eaac-11ec-ba43-dac502259ad0.png

短序列和長序列時 RNN 工作負(fù)載的系統(tǒng)級執(zhí)行時間(越低越好)

結(jié)論

英特爾 Stratix 10 NX FPGA 采用高度靈活的架構(gòu),所實現(xiàn)的平均性能比 NVIDIA T4 GPU 和 NVIDIA V100 GPU 分別高 24 倍和 12 倍。

由于其較高的計算密度,英特爾 Stratix 10 NX FPGA 可為以實際可達(dá)到性能為重要指標(biāo)的高性能、延遲敏感型 AI 系統(tǒng)提供至關(guān)重要的功能。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • FPGA
    +關(guān)注

    關(guān)注

    1645

    文章

    22050

    瀏覽量

    618415
  • 英特爾
    +關(guān)注

    關(guān)注

    61

    文章

    10196

    瀏覽量

    174679
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4710

    瀏覽量

    95380

原文標(biāo)題:實際性能超過GPU,英特爾?Stratix?10 NX FPGA如何助您在AI加速領(lǐng)域贏得先機?

文章出處:【微信號:zhuyandz,微信公眾號:FPGA之家】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗】+NVlink技術(shù)從應(yīng)用到原理

    前言 【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」書中的芯片知識是比較接近當(dāng)前的頂尖芯片水平的,同時包含了芯片架構(gòu)的基礎(chǔ)知識,但該部分知識比較晦澀難懂,或許是由于我一直從事的事芯片
    發(fā)表于 06-18 19:31

    GPU架構(gòu)深度解析

    GPU架構(gòu)深度解析從圖形處理到通用計算的進(jìn)化之路圖形處理單元(GPU),作為現(xiàn)代計算機中不可或缺的一部分,已經(jīng)從最初的圖形渲染專用處理器,發(fā)展成為強大的并行計算引擎,廣泛應(yīng)用于人工智能、科學(xué)計算
    的頭像 發(fā)表于 05-30 10:36 ?382次閱讀
    <b class='flag-5'>GPU</b><b class='flag-5'>架構(gòu)</b>深度解析

    iTOP-3588S開發(fā)板四核心架構(gòu)GPU內(nèi)置GPU可以完全兼容0penGLES1.1、2.0和3.2。

    ,8GB內(nèi)存,32GBEMMC。 四核心架構(gòu)GPU內(nèi)置GPU可以完全兼容0penGLES1.1、2.0和3.2。 內(nèi)置NPU RK3588S內(nèi)置NPU,支持INT4/INT8/INT16/FP16混合運算
    發(fā)表于 05-15 10:36

    FPGA+GPU+CPU國產(chǎn)化人工智能平臺

    算法架構(gòu)可快速移植,接口靈活搭配,具備部署靈活、功耗和算力性價比高、支持人工智能推理應(yīng)用部署等特點。FPGA+GPU+CPU多核異構(gòu)平臺架構(gòu)示意圖前面板實物圖前面板
    的頭像 發(fā)表于 01-07 16:42 ?1085次閱讀
    <b class='flag-5'>FPGA+GPU</b>+CPU國產(chǎn)化人工智能平臺

    芯原發(fā)布新一代Vitality架構(gòu)GPU IP系列

    芯原股份近日宣布,正式推出全新Vitality架構(gòu)的圖形處理器(GPU)IP系列。這一新一代GPU架構(gòu)以其卓越的計算性能和廣泛的應(yīng)用領(lǐng)域,吸引了業(yè)界的廣泛關(guān)注。 Vitality
    的頭像 發(fā)表于 12-24 10:55 ?924次閱讀

    《算力芯片 高性能 CPUGPUNPU 微架構(gòu)分析》第3篇閱讀心得:GPU革命:從圖形引擎到AI加速器的蛻變

    在數(shù)據(jù)挖掘工作中,我經(jīng)常需要處理海量數(shù)據(jù)的深度學(xué)習(xí)任務(wù),這讓我對GPU架構(gòu)和張量運算充滿好奇。閱讀《算力芯片》第7-9章,讓我對這些關(guān)鍵技術(shù)有了全新認(rèn)識。 GPU架構(gòu)從早期的固定功能流
    發(fā)表于 11-24 17:12

    GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)設(shè)計

    眾所周知,在大型模型訓(xùn)練中,通常采用每臺服務(wù)器配備多個GPU的集群架構(gòu)。在上一篇文章《高性能GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)(上篇)》中,我們對GPU
    的頭像 發(fā)表于 11-05 16:20 ?1238次閱讀
    <b class='flag-5'>GPU</b>服務(wù)器AI網(wǎng)絡(luò)<b class='flag-5'>架構(gòu)</b>設(shè)計

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗】--了解算力芯片GPU

    本篇閱讀學(xué)習(xí)第七、八章,了解GPU架構(gòu)演進(jìn)及CPGPU存儲體系與線程管理 █從圖形到計算的GPU架構(gòu)演進(jìn) GPU圖像計算發(fā)展 ●從三角形開始
    發(fā)表于 11-03 12:55

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗】--全書概覽

    GPU、NPU,給我們剖析了算力芯片的微架構(gòu)。書中有對芯片方案商處理器的講解,理論聯(lián)系實際,使讀者能更好理解算力芯片。 全書共11章,由淺入深,較系統(tǒng)全面進(jìn)行講解。下面目錄對全書內(nèi)容有一個整體了解
    發(fā)表于 10-15 22:08

    【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗】+ 未知領(lǐng)域的感受

    ”,好奇于這種大模型算力中心到底是如何建設(shè)的,用什么設(shè)備、什么架構(gòu)建設(shè)的?對這些問題真是一無所知,甚至都沒有想過,帶著這份好奇開始閱讀。 先瀏覽目錄,共分十三章,目錄中出現(xiàn)最多的就是GPU,比如機器學(xué)習(xí)
    發(fā)表于 10-08 10:40

    基于FPGA+GPU異構(gòu)平臺的遙感圖像切片解決方案

    大型遙感圖像分割成圖像切片信息,以便更有效地處理和分析圖像數(shù)據(jù)。中科億海微自主研制的AI目標(biāo)識別加速卡,基于FPGA+GPU異構(gòu)并行計算處理架構(gòu)設(shè)計,內(nèi)嵌深度學(xué)習(xí)
    的頭像 發(fā)表于 09-20 08:05 ?889次閱讀
    基于<b class='flag-5'>FPGA+GPU</b>異構(gòu)平臺的遙感圖像切片解決方案

    名單公布!【書籍評測活動NO.43】 算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析

    。本書對華為等廠商推出的NPU芯片設(shè)計也做了架構(gòu)描述,中國也擁有獨立自主知識產(chǎn)權(quán)的高算力芯片,并且支持多芯片、高帶寬互連。本書也回顧了近20年來主流的CPU、GPU芯片架構(gòu)的特點,介紹了存儲與互連總線技術(shù)
    發(fā)表于 09-02 10:09

    ALINX FPGA+GPU架構(gòu)視頻圖像處理開發(fā)平臺介紹

    Alinx 最新發(fā)布的新品 Z19-M 是一款創(chuàng)新的 FPGA+GPU 異構(gòu)架構(gòu)視頻圖像處理開發(fā)平臺,它結(jié)合了 AMD Zynq UltraScale+ MPSoC(FPGA)與 NVIDIA Jetson Orin NX(
    的頭像 發(fā)表于 08-29 14:43 ?2134次閱讀

    自動駕駛?cè)笾髁餍酒?b class='flag-5'>架構(gòu)分析

    當(dāng)前主流的AI芯片主要分為三類,GPU、FPGA、ASIC。GPUFPGA均是前期較為成熟的芯片架構(gòu),屬于通用型芯片。ASIC屬于為AI特
    的頭像 發(fā)表于 08-19 17:11 ?2393次閱讀
    自動駕駛?cè)笾髁餍酒?b class='flag-5'>架構(gòu)</b>分析

    GPU云服務(wù)器架構(gòu)解析及應(yīng)用優(yōu)勢

    GPU云服務(wù)器作為一種高性能計算資源,近年來在人工智能、大數(shù)據(jù)分析、圖形渲染等領(lǐng)域得到了廣泛應(yīng)用。它結(jié)合了云計算的靈活性與GPU的強大計算能力,為企業(yè)和個人用戶提供了一種高效、便捷的計算解決方案。下面我們將從架構(gòu)解析和技術(shù)優(yōu)勢兩
    的頭像 發(fā)表于 08-14 09:43 ?882次閱讀
    主站蜘蛛池模板: 亚洲 欧美 日韩 综合 | 亚洲网在线观看 | 99久久综合给久久精品 | 天天操天 | 特级毛片免费视频播放 | 欧美天堂在线视频 | 开心激情播播网 | 一级做a爰片久久毛片图片 一级做a爰片久久毛片鸭王 | 日本毛片大全 | 国产亚洲精品线观看77 | 国产伦精品一区二区三区免 | 欧美xxxxbbbb在线播放 | 国产精品久久久久久久9999 | 国产大乳美女挤奶视频 | 日本三级精品 | 天堂在线中文无弹窗全文阅读 | 欧美熟色妇 | 日韩欧美在线第一页 | 欧美成人一区亚洲一区 | 看视频免费网址 | 热门国产xvideos中文 | 天堂网中文 | 韩国三级hd中文字幕久久精品 | 久久婷婷综合五月一区二区 | 欧美日韩伦理 | 91色爱| 热99在线视频 | 欧美巨波霸乳影院67194 | 韩国韩宝贝2020vip福利视频 | 717影院理论午夜伦不卡久久 | 国产―笫一页―浮力影院xyz | 曰韩一级 | 亚洲欧洲一二三区 | 黄色大片网 | 人与牲动交xx | 女的扒开尿口让男人桶 | 嫩草影院永久入口在线观看 | 亚洲嫩草影院在线观看 | hs网站免费 | 亚洲www视频 | 亚洲欧美一区二区三区另类 |