盛世嫡妃凤轻小说,盗墓笔记同人小说,完美世界txt下载

電子發(fā)燒友網(wǎng)報道（文/周凱揚(yáng)）深度學(xué)習(xí)硬件在AI時代已經(jīng)引領(lǐng)了不少設(shè)計創(chuàng)新，無論是簡單的邊緣推理，還是大規(guī)模自然語言模型的訓(xùn)練，都有了性能上的突破。作為業(yè)內(nèi)在深度學(xué)習(xí)上投入最多的公司之一，英偉達(dá)無疑是這類硬件的領(lǐng)軍者。

近日，在伯克利大學(xué)的電子工程與電腦科學(xué)學(xué)院研討會上，英偉達(dá)的首席科學(xué)家、研究部門高級副總裁同時兼任該校副教授的Bill Dally，分享了從他這個從業(yè)人士看來，發(fā)生在深度學(xué)習(xí)硬件上的一些趨勢。

硬件成為限制

AI的浪潮其實早在20世紀(jì)就被多次掀起過，但真正成為人們不可忽視的巨浪，還是這十幾年的事，因為這時候AI有了天時地利人和：算法與模型，大到足夠訓(xùn)練這些模型的數(shù)據(jù)集，以及能在合理的時間內(nèi)訓(xùn)練出這些模型的硬件。

但從帶起第一波深度學(xué)習(xí)的AlexNet，到如今的GPT-3和Turing NLG等，人們不斷在打造更大的數(shù)據(jù)集和更大的模型，加上大語言模型的興起，對訓(xùn)練的要求也就越來越高。可在摩爾定律已經(jīng)放緩的當(dāng)下，訓(xùn)練時間也在被拉長。

基于Hopper架構(gòu)的H100 GPU / 英偉達(dá)

以英偉達(dá)為例，到了帕斯卡這一代，他們才真正開始考慮單芯片的深度學(xué)習(xí)性能，并結(jié)合到GPU的設(shè)計中去，所以才有了Hopper這樣超高規(guī)格的AI硬件出現(xiàn)。但我們在訓(xùn)練這些模型的時候，并沒有在硬件規(guī)模上有所減少，仍然需要用到集成了數(shù)塊Hopper GPU的DGX系統(tǒng)，甚至打造一個超算。很明顯，單從硬件這一個方向出發(fā)已經(jīng)有些不夠了，至少不是一個“高性價比”的方案。

軟硬件全棧投入

硬件推出后，仍要針對特定的模型進(jìn)行進(jìn)一步的軟件優(yōu)化，因此即便是同樣的硬件，其AI性能也會在未來呈現(xiàn)數(shù)倍的飛躍。從上個月的MLPerf的測試結(jié)果就可以看出，在A100 GPU推出的2.5年內(nèi)，英偉達(dá)就靠軟件優(yōu)化實現(xiàn)了最高2.5倍的訓(xùn)練性能提升，當(dāng)然了最大的性能提升還是得靠H100這樣的新硬件來實現(xiàn)。

Bill Dally表示這就是英偉達(dá)的優(yōu)勢所在，雖然這幾年投入進(jìn)深度學(xué)習(xí)硬件的資本不少，但隨著經(jīng)濟(jì)下行，不少投資者已經(jīng)喪失了信心，所以不少AI硬件初創(chuàng)公司都沒能撐下去，他自己也在這段時間看到了不少向英偉達(dá)投遞過來的簡歷。

他認(rèn)為不少這些公司都已經(jīng)打造出了自己的矩陣乘法器，但他們并沒有在軟件上有足夠的投入，所以即便他們一開始給出的指標(biāo)很好看，也經(jīng)常拿英偉達(dá)的產(chǎn)品作為對比，未來的性能甚至比不過英偉達(dá)的上一代硬件，更別說Hopper這類新產(chǎn)品了。

加速器

相較傳統(tǒng)的通用計算硬件，加速器在深度學(xué)習(xí)上明顯要高效多了，因為加速器往往都是作為一種專用單元存在的，比如針對特定的數(shù)據(jù)類型和運(yùn)算。加速器可以在一個運(yùn)算周期內(nèi)就完成通常需要花上10秒或100秒才能完成的工作量，效率最高可提升1000倍。

A100和H100的MLPerf跑分 / 英偉達(dá)

當(dāng)然了要追求純粹的性能提升，而不是效率提升的話，這些加速器也可以采用大規(guī)模并行設(shè)計，比如典型的32x32矩陣乘法單元，同時運(yùn)行的運(yùn)算有了千百倍的提升。加速器在內(nèi)存設(shè)計上也更具有優(yōu)勢，比如針對特定的數(shù)據(jù)結(jié)構(gòu)和運(yùn)算，選擇優(yōu)化過的高帶寬低能耗內(nèi)存，同時盡可能使用本地內(nèi)存，減少數(shù)據(jù)搬運(yùn)來控制開銷。

對于英偉達(dá)來說，他們在加速器上的研究更像是為GPU準(zhǔn)備的試驗田，一旦有優(yōu)秀的成果出現(xiàn)，這些加速器就會成為GPU上的新核心。

小結(jié)

從Bill Dally的分享中，我們可以看出英偉達(dá)這樣的巨頭在深度學(xué)習(xí)上選擇的技術(shù)路線，以及他們?yōu)楹文茉诒姸喑鮿?chuàng)公司涌現(xiàn)、大廠入局的當(dāng)下巋然不動的底氣。這并不是說深度學(xué)習(xí)硬件的道路只有這一條，類腦芯片等技術(shù)的出現(xiàn)也提供了新的破局機(jī)會，但有了前人經(jīng)驗的借鑒后，在兼顧性能、數(shù)值精度、模型的同時，還是得在軟件上下大功夫才行。

聲明：本文由電子發(fā)燒友原創(chuàng)，轉(zhuǎn)載請注明以上來源。如需入群交流，請?zhí)砑游⑿舉lecfans999，投稿爆料采訪需求，請發(fā)郵箱huangjingjing@elecfans.com。

更多熱點文章閱讀

最高漲幅25%，AMD宣布上調(diào)Xilinx FPGA售價，供應(yīng)短缺讓TOP 2廠商受益
時隔20年，莫斯科人汽車再次復(fù)產(chǎn)，背后全是中國車企的影子
歐盟超430億歐元投向芯片領(lǐng)域，對上游半導(dǎo)體設(shè)備有何影響？
24W以下電源，新型自供電BJT方案將全面取代其他方案？
車用芯片不再缺？芯片大廠表示有所緩解，真實情況究竟如何呢？

原文標(biāo)題：始于硬件卻也被硬件所限的深度學(xué)習(xí)

文章出處：【微信公眾號：電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴