在AI和大數據時代到來之后,GPU單兵作戰就變成了奢望,以現在的數據中心和超算為例,動輒就是成千上萬張GPU,龐大的GPU網絡在交換機和光模塊的支持下代表了這個計算時代下最高的算力。但并非只有數據中心和超算里的GPU才需要這樣的擴展性,嵌入式GPU和專業GPU同樣如此。
物理限制的嵌入式GPU
隨著各種傳感器的性能持續走高,譬如多線激光雷達、高分辨率的圖像傳感器等,我們對邊緣計算單元尤其是GPU的需求也在持續增加。但在實現的過程中,我們還有一些物理限制沒法消除,像是尺寸、重量和功耗等。
為了解決這一系列問題,美國政府和行業方案提供商們成立了SOSA聯盟,以求開發開放的標準和最好的方案來實現高性價比、互操作性強的傳感器系統。如何克服這些負載計算工作量提升帶來的挑戰,又能不增加寶貴的物理資源呢?答案自然還是將GPU、DPU等技術集成到嵌入式結構中去。
這類嵌入式GPU并非用來單獨售賣,而是交給合作伙伴整合到不同的邊緣計算系統中,比如研華、凌華、EIZO、Mercury Systems等,然后交付給美國空軍、洛克希德·馬丁這類軍事、航空、工業客戶。
MXM嵌入式GPU模塊 / 凌華科技
即便選擇了嵌入式結構,也還有著不少的路線,比如GPU、FPGA和ASIC等等。SOSA聯盟主席,來自美國空軍的Ilya Lipkin表示,如果想要更快的運行速度,快速部署軟件,自然是選擇GPU最好。但他們也面臨著空間的問題,因為嵌入式GPU往往會被塞到3U或者6U的服務器里,他們想要做到更小的體積,甚至是手掌大小,可這樣一來就不得不犧牲帶寬、容量。
所以,雖然嵌入式GPU仍然在這些嵌入式傳感系統中可以保持領先地位,但他們并沒有像獲得數據中心那樣不算嚴格的空間要求。目前的MXM嵌入式GPU可以做到PCIe GPU五分之一的尺寸,但這對于嵌入式GPU的擴展性來說還不算完美。在邊緣計算上,反倒是一些FPGA和ASIC方案在能耗比和擴展性上占優,如果嵌入式GPU不能做到更強大的擴展性,很有可能會被后來者顛覆。
顯卡交火時代的結束
不管是最新發布的RTX4090消費級顯卡,還是RTX 6000這樣的專業顯卡,都象征了英偉達在新架構GPU上的又一次創新。在臺積電4N工藝的加持下,無論是晶體管數目還是CUDA核心都做到了極致。
然而,原本變成了專屬英偉達高端消費顯卡和專業顯卡的交火技術NVLink,在RTX4090和RTX 6000上卻無處可尋,難不成英偉達徹底放棄顯卡交火技術,也就此放棄NVLink了?根據英偉達CEO黃仁勛的說法,他們省下了NVLink連接器的空間,釋放了更多的空間來處理更多的AI計算。
在上一代顯卡的NVLink中,通過連接兩塊英偉達顯卡,使用高端顯卡和專業顯卡的專業系統能夠獲得更高的帶寬和雙倍的顯存容量。這樣的提升對于個人或專業用戶來說是極大的提升,那么為何英偉達會放棄NVLink呢?筆者也在英偉達GTC的一次分享會議上提出了這一問題。
RTX6000 / 英偉達
英偉達方面表示,就RTX 6000這類專業顯卡而言,他們取消NVLink后省下了足夠的空間,塞入了更多的計算單元來提升單卡的性能。與此同時,雖然這些專業顯卡的NVLink支持被取消,不代表英偉達放棄了這一技術。英偉達決心將NVLink的重心放在數據中心產品上,比如Grace CPU、Hopper GPU,他們通過NVLink Die to Die和Chip to Chip的互聯可以實現更好的擴展性。
但這確實象征著一個時代的結束,過去AMD的交火和英偉達的SLI也是兩家競爭最火熱的一項技術,可隨著AMD放棄了交火支持,英偉達的SLI在換成NVLink后如今也迎來了終結。
但顯卡交火的落幕也情有可原,且不說這種互聯方式的受眾群體一再變少,要想享受到顯卡交火的性能也需要軟件追加更新支持。或許專業顯卡的目標還是追求單卡性能就好,多卡互聯的支持還是讓給數據中心吧。
物理限制的嵌入式GPU
隨著各種傳感器的性能持續走高,譬如多線激光雷達、高分辨率的圖像傳感器等,我們對邊緣計算單元尤其是GPU的需求也在持續增加。但在實現的過程中,我們還有一些物理限制沒法消除,像是尺寸、重量和功耗等。
為了解決這一系列問題,美國政府和行業方案提供商們成立了SOSA聯盟,以求開發開放的標準和最好的方案來實現高性價比、互操作性強的傳感器系統。如何克服這些負載計算工作量提升帶來的挑戰,又能不增加寶貴的物理資源呢?答案自然還是將GPU、DPU等技術集成到嵌入式結構中去。
這類嵌入式GPU并非用來單獨售賣,而是交給合作伙伴整合到不同的邊緣計算系統中,比如研華、凌華、EIZO、Mercury Systems等,然后交付給美國空軍、洛克希德·馬丁這類軍事、航空、工業客戶。
MXM嵌入式GPU模塊 / 凌華科技
即便選擇了嵌入式結構,也還有著不少的路線,比如GPU、FPGA和ASIC等等。SOSA聯盟主席,來自美國空軍的Ilya Lipkin表示,如果想要更快的運行速度,快速部署軟件,自然是選擇GPU最好。但他們也面臨著空間的問題,因為嵌入式GPU往往會被塞到3U或者6U的服務器里,他們想要做到更小的體積,甚至是手掌大小,可這樣一來就不得不犧牲帶寬、容量。
所以,雖然嵌入式GPU仍然在這些嵌入式傳感系統中可以保持領先地位,但他們并沒有像獲得數據中心那樣不算嚴格的空間要求。目前的MXM嵌入式GPU可以做到PCIe GPU五分之一的尺寸,但這對于嵌入式GPU的擴展性來說還不算完美。在邊緣計算上,反倒是一些FPGA和ASIC方案在能耗比和擴展性上占優,如果嵌入式GPU不能做到更強大的擴展性,很有可能會被后來者顛覆。
顯卡交火時代的結束
不管是最新發布的RTX4090消費級顯卡,還是RTX 6000這樣的專業顯卡,都象征了英偉達在新架構GPU上的又一次創新。在臺積電4N工藝的加持下,無論是晶體管數目還是CUDA核心都做到了極致。
然而,原本變成了專屬英偉達高端消費顯卡和專業顯卡的交火技術NVLink,在RTX4090和RTX 6000上卻無處可尋,難不成英偉達徹底放棄顯卡交火技術,也就此放棄NVLink了?根據英偉達CEO黃仁勛的說法,他們省下了NVLink連接器的空間,釋放了更多的空間來處理更多的AI計算。
在上一代顯卡的NVLink中,通過連接兩塊英偉達顯卡,使用高端顯卡和專業顯卡的專業系統能夠獲得更高的帶寬和雙倍的顯存容量。這樣的提升對于個人或專業用戶來說是極大的提升,那么為何英偉達會放棄NVLink呢?筆者也在英偉達GTC的一次分享會議上提出了這一問題。
RTX6000 / 英偉達
但這確實象征著一個時代的結束,過去AMD的交火和英偉達的SLI也是兩家競爭最火熱的一項技術,可隨著AMD放棄了交火支持,英偉達的SLI在換成NVLink后如今也迎來了終結。
但顯卡交火的落幕也情有可原,且不說這種互聯方式的受眾群體一再變少,要想享受到顯卡交火的性能也需要軟件追加更新支持。或許專業顯卡的目標還是追求單卡性能就好,多卡互聯的支持還是讓給數據中心吧。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
gpu
+關注
關注
28文章
4776瀏覽量
129359
發布評論請先 登錄
相關推薦
FPGA+GPU+CPU國產化人工智能平臺
平臺采用國產化FPGA+GPU+CPU構建嵌入式多核異構智算終端,可形成FPGA+GPU、FPGA+CPU、CPU+FPGA等組合模式,形成低功耗、高可擴展性的硬件系統,結合使用場景靈活搭配,已有
在眾核場景下EXT4該如何應對才能發揮性能
一、背景和問題 1. EXT4日志的問題 隨著計算機系統加載數百個CPU內核,文件系統的可擴展性得到進一步強調。因此本文主要定位服務器中廣泛使用的Ext4文件系統在做日志記錄時的可擴展性問題
訓練AI大模型需要什么樣的gpu
訓練AI大模型需要選擇具有強大計算能力、足夠顯存、高效帶寬、良好散熱和能效比以及良好兼容性和擴展性的GPU。在選擇時,需要根據具體需求進行權衡和選擇。
深度評測:云計算平臺的優勢和不足
云計算平臺具有成本效益、靈活性和可擴展性、簡化維護和升級、全球訪問性以及災難恢復等優勢,但也面臨安全性問題、依賴性問題、合規性和隱私問題、性能限制以及遷移復雜性等挑戰。企業在采用云計算
Perforce Helix Core通過ISO 26262認證!為汽車軟件開發團隊提供無限可擴展性、細粒度安全性、文件快速訪問等
News!Helix Core通過ISO 26262認證,符合汽車系統開發所需的安全和可靠性標準,助力汽車軟件安全合規!具備無限可擴展性、細粒度安全性、文件快速訪問...是眾多汽車OEM和供應商的首選版本控制工具。
GPU算力租用平臺怎么樣
GPU算力租用平臺以其成本效益、靈活性與可擴展性、簡化運維以及即時訪問等優勢,在深度學習、科學計算、圖形渲染等多個領域發揮著重要作用。
Cincoze高階效能&PCIe擴展型工控機
應用于如機器視覺、AI運算等要求高度運算效能與實時GPU圖像辨識速度的應用場景。DS?系列不僅具備強大的處理能力,還支持多種擴展模塊,以及多元的認證標準,確保在苛刻的環境下持續穩定運行
Imagination DXS GPU:重塑汽車智能與交互的未來
增長。在此背景下,Imagination公司最新推出的DXS GPU IP產品,以其可擴展性、靈活性和強大的計算能力,為車載智能與交互系統注入了新的活力。
使用低成本MSPM0 MCU在無線電動工具和園藝工具中實現可擴展性
電子發燒友網站提供《使用低成本MSPM0 MCU在無線電動工具和園藝工具中實現可擴展性.pdf》資料免費下載
發表于 09-02 11:47
?2次下載
進一步解讀英偉達 Blackwell 架構、NVlink及GB200 超級芯片
。允許在網絡結構中直接減少和組合張量,優化計算任務并增強圖形處理器集群的可擴展性。
**5. **安全性和可靠性
引入英偉達機密計算技術,在不影響性能的情況下,增強了大規模實時生成式人工智能推理的安全性
發表于 05-13 17:16
FPGA在深度學習應用中或將取代GPU
、運動和電力限制等環境因素。
Larzul 說:“在一些關鍵的應用場景中,比如智慧城市的視頻監控,要求硬件暴露在對 GPU 有不利影響的環境因素 (比如太陽) 下。“ GPU 受晶體管
發表于 03-21 15:19
FPGA與AISC的差異
擴展性較好,可以通過增加芯片數量或使用更大容量的芯片來滿足更高的性能需求。而ASIC的可擴展性相對較差,需要重新設計和制造。
驗證和調試 :FPGA的驗證和調試過程相對簡單,可以在系統級進行仿真和測試。而
發表于 02-22 09:54
評論