面對每個月27億活躍用戶產(chǎn)生的數(shù)據(jù)量,F(xiàn)acebook將重心從通用硬件轉(zhuǎn)向AI專用硬件。在今天的開放計算項目全球峰會上,發(fā)布并開源了3款A(yù)I硬件,分別是面向訓(xùn)練的Zion、面向推理的Kings Canyon及面向視頻轉(zhuǎn)碼的Mount Shasta。
一個全家桶app,每個月要服務(wù)27億人,不容易吶!不信你問Facebook。
為了應(yīng)對大量的算力要求,這家位于Menlo Park的技術(shù)巨頭,硬是從通用硬件轉(zhuǎn)移到了專用加速器。這些加速器的作用,是保證其數(shù)據(jù)中心的性能,功耗和效率,特別是在AI領(lǐng)域。
今天,F(xiàn)acebook一口氣推出了3款硬件產(chǎn)品,分別是用于AI模型培訓(xùn)的“下一代”硬件平臺Zion;以及針對AI推理優(yōu)化的定制專用集成電路Kings Canyon;以及視頻轉(zhuǎn)碼Mount Shasta。并捐贈給旗下的開放計算項目使用。
Open Compute Project(OCP)是Facebook在2011年4月發(fā)起的一個數(shù)據(jù)中心開放架構(gòu)技術(shù)發(fā)展組織,目前成員包括Intel、Red Hat、Facebook、Mozilla、Rackspace、NTT Data、百度、高盛以及Google等。https://benchlife.info/8597-2/
Facebook稱這三款硬件產(chǎn)品將大大加速AI的訓(xùn)練和推理。“人工智能用于各種服務(wù),以幫助人們進行日常互動,并為他們提供獨特的個性化體驗,” Facebook工程師Kevin Lee,Vijay Rao和William Christie Arnold在博客文章中寫道,“在整個Facebook的基礎(chǔ)設(shè)施中使用人工智能工作負載,能夠增強各服務(wù)之間的相關(guān)性,并改善我們的用戶體驗。”
Zion
Zion為AI訓(xùn)練創(chuàng)建Block
和Block之間通信
Zion專為處理包括CNN,LSTM和SparseNN在內(nèi)的神經(jīng)網(wǎng)絡(luò)架構(gòu)的“頻譜”而量身定制。包括三個部分:擁有8個NUMA CPU插槽的服務(wù)器;配備了8加速器芯片組,以及一個廠商中立(vendor-agnostic )的OCP加速器模塊(OAM)。
Zion的高內(nèi)存容量和高帶寬,得益于兩個高速fabric,一個用來連接所有的CPU,另一個用來連接所有的加速器。除此之外,還得益于其靈活的架構(gòu),可以使用頂部擴展到單個機架中的多個服務(wù)器機架式(TOR)網(wǎng)絡(luò)交換機。
“加速器內(nèi)存帶寬高但容量低,所以我們通過對模型進行分區(qū)來解決這個問題:將頻繁訪問的數(shù)據(jù)駐留在加速器上,而訪問頻率較低的數(shù)據(jù)駐留在帶有CPU的DDR內(nèi)存里,“Lee,Rao和Arnold解釋道,“所有CPU和加速器的計算和通信都是平衡的,并通過高速和低速互連,極大地提高了效率。”
Kings Canyon
Zion為AI推理創(chuàng)建Block
和Block之間通信
至于專為推理任務(wù)而設(shè)計的Kings Canyon共分四個部分:Kings Canyon推理M.2模塊;Twin Lakes單插槽服務(wù)器;Glacier Point v2載卡;以及Facebook的Yosemite v2機箱。Facebook表示正在與Esperanto、Habana,英特爾,Marvell和高通公司合作,開發(fā)能夠同時支持INT8和高精度FP16工作負載的ASIC芯片。
ASIC不運行通用代碼,需要專門的編譯器將圖形轉(zhuǎn)換為在這些加速器上執(zhí)行的指令。Glow編譯器的目標是從更高級別的軟件堆棧中抽象出特定于供應(yīng)商的硬件,以使基礎(chǔ)架構(gòu)與供應(yīng)商無關(guān)。它接受來自PyTorch 1.0等框架的計算圖,并為這些ML加速器生成高度優(yōu)化的代碼。
Glow編譯器
Kings Canyon中的每臺服務(wù)器都結(jié)合了M.2 Kings Canyon加速器,以及一個連接Twin Lakes服務(wù)器的Glacier Point v2載卡。其中兩個被安裝到Y(jié)osemite v2 sled中,并通過NIC鏈接到TOR開關(guān)。Kings Canyon模塊包括一個ASIC,一個內(nèi)存及其他支持組件,比如通過PCIe通道與加速器模塊通信的CPU。而Glacier Point v2包含一個集成的PCIe交換機,允許服務(wù)器同時訪問所有模塊。
“通過適當(dāng)?shù)膶⒛P瓦M行分割,我們得以運行非常大的深度學(xué)習(xí)模型。例如,對于SparseNN模型,如果單個節(jié)點的內(nèi)存容量不夠用,就在兩個節(jié)點之間對模型進行分片,從而增加模型可用的內(nèi)存量。“Lee,Rao和Arnold說過,“這兩個節(jié)點通過多主機NIC連接,允許高速交換。”
Mount Shasta
Mount Shasta是與Broadcom和Verisilicon合作開發(fā)的ASIC,專為視頻轉(zhuǎn)碼而開發(fā)。在Facebook的數(shù)據(jù)中心內(nèi),它將被安裝在帶有集成散熱器的M.2模塊上,位于可容納多個M.2模塊的Glacier Point v2(GPv2)載板中。
Facebook表示,平均而言,預(yù)計這些芯片的效率會比目前的服務(wù)器“高出許多倍”。它的目標是在10W功率范圍內(nèi),以60fps速度輸入流編碼效率至少比4K高出一倍。
“我們希望Zion、Kings Canyon和Mount Shasta的設(shè)計,能夠滿足我們在AI訓(xùn)練、AI推理和視頻轉(zhuǎn)碼方面不斷增長的工作量。”Lee,Rao和Arnold寫道,“我們將采取硬件和軟件協(xié)同設(shè)計,不斷改進硬件產(chǎn)品的效率。但一家廠商的能力終歸有限,希望更多的廠商都能夠進入Facebook的生態(tài)中,共同努力。“
-
加速器
+關(guān)注
關(guān)注
2文章
827瀏覽量
39100 -
Facebook
+關(guān)注
關(guān)注
3文章
1432瀏覽量
56667 -
ai硬件
+關(guān)注
關(guān)注
0文章
23瀏覽量
2511
原文標題:Facebook開源AI硬件,一口氣推出“三件套”
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
火爆開發(fā)中 | 開源FPGA硬件板卡,硬件第一期發(fā)布
【開源分享】:開源小巧的FPGA開發(fā)板——Icepi Zero
【RA4L1-SENSOR】之 RA4L1-SENSOR開發(fā)版開箱評測視頻
開源鴻蒙硬件生態(tài)分論壇圓滿舉辦
從四件套到七件套:醫(yī)院隔離電源系統(tǒng)的多樣化產(chǎn)品選型方案

明晚開播 | 開源芯片系列講座第27期:RISC-V AI指令集的標準化與開源實現(xiàn)

直播預(yù)約 | 開源芯片系列講座第27期:RISC-V AI指令集的標準化與開源實現(xiàn)

ADS1299套件的PGA型號是什么呀?
3D打印汽車零部件模型定制服務(wù),多種材料、快速打印-CASAIM

億華云服務(wù)器怎么樣靠譜嗎?
服務(wù)器數(shù)據(jù)恢復(fù)—EXT3文件系統(tǒng)下誤刪除數(shù)據(jù)的恢復(fù)案例

蘋果2024年硬件與服務(wù)雙輪驅(qū)動,有望突破4000億美元大關(guān)
3D打印汽車零部件建模設(shè)計3D打印服務(wù)

評論