電子發(fā)燒友網(wǎng)報(bào)道(文/梁浩斌)今年火爆的AI應(yīng)用也帶火了數(shù)據(jù)中心市場(chǎng),AI服務(wù)器需求暴增。不僅是AI大模型的規(guī)模在不斷擴(kuò)張至千億級(jí)參數(shù),還有越來(lái)越多不同類型的大模型訓(xùn)練和推理,都需要更強(qiáng)大的算力集群。
在一個(gè)多服務(wù)器構(gòu)成的算力系統(tǒng)中,互連速率其實(shí)很大程度上決定著整個(gè)系統(tǒng)的性能上限,因此在片間互連方面,也開始采用CPO光電合封技術(shù),將交換芯片和光電器件封裝在一起,使得光電器件與芯片之間的數(shù)據(jù)傳輸損耗減小、提高傳輸速度。
但另一方面,由于半導(dǎo)體晶體管密度的提升速度放緩,單個(gè)計(jì)算節(jié)點(diǎn)中,比如單張AI加速卡上的芯片采用Chiplet技術(shù)成為了趨勢(shì),即多個(gè)小的“芯?!狈庋b在一起,通過(guò)互連組成一個(gè)整體的計(jì)算引擎。而為了提高chiplet設(shè)計(jì)的性能,芯片內(nèi)部多個(gè)die之間的互連也非常關(guān)鍵。ONoC(Optical Network-on-Chip)片上光互連正是為了解決這個(gè)問(wèn)題。
片上光互連:晶圓級(jí)的光互連網(wǎng)絡(luò)
從結(jié)構(gòu)上看,片上光互連其實(shí)是一種光子集成芯片技術(shù),將不同功能的有源器件和無(wú)源器件集成在同一塊光電基板上。光電基板上具有光子路由波導(dǎo),這些波導(dǎo)被用于數(shù)據(jù)通信,和用于電路走線的多層金屬層。CMOS電芯片堆疊在硅光芯片上,在光電基板上形成二維陣列。
光從基板上的激光光源中發(fā)出,輸入到基板上的路由波導(dǎo),通過(guò)波導(dǎo)到達(dá)光芯片上的調(diào)制器。這個(gè)時(shí)候電芯片上的信息數(shù)據(jù),通過(guò)電芯片和光芯片之間的微凸塊加載到環(huán)形調(diào)制器中,將數(shù)字1和0轉(zhuǎn)換為光的強(qiáng)度差異。
調(diào)制后的光信號(hào)通過(guò)光電基板上的波導(dǎo)傳播,到達(dá)其他光芯片上的光電探測(cè)器中。這個(gè)時(shí)候光信號(hào)就被轉(zhuǎn)換成電信號(hào),這些信息就被不同的電芯片所接收。
當(dāng)然在實(shí)際應(yīng)用中,每個(gè)CMOS芯片和光芯片之間,都有數(shù)以千計(jì)的微凸塊被用于數(shù)據(jù)傳輸。因?yàn)楣庑盘?hào)傳播不需要銅導(dǎo)線,損耗小,延遲低,這樣就實(shí)現(xiàn)了在光電基板上進(jìn)行高能效、高帶寬密度、低延遲的光互連。
從工作原理上看,其實(shí)可以大致分析出片上光互連的核心器件主要是激光器、調(diào)制器和接收器。要想提高片上光互連的傳輸容量,可以使用波分復(fù)用、偏振復(fù)用、模分復(fù)用等技術(shù)實(shí)現(xiàn)。
目前,針對(duì)單一物理維度光信號(hào)的復(fù)用、解復(fù)用設(shè)備已經(jīng)相對(duì)成熟。為了進(jìn)一步提高片上光互連系統(tǒng)的通道數(shù)量和傳輸容量,多種復(fù)用方式的綜合運(yùn)用成為了重要的研究趨勢(shì)。例如,波長(zhǎng)-偏振-模式混合復(fù)用等技術(shù)能夠顯著提升片上光互連系統(tǒng)的性能。此外,片上光互連架構(gòu)的設(shè)計(jì)與選擇對(duì)性能的提升也具有不可忽視的作用。片上光互連架構(gòu)不僅決定了片上網(wǎng)絡(luò)中不同節(jié)點(diǎn)的互連方式,同時(shí)也影響了路由器的端口數(shù)量和網(wǎng)絡(luò)鏈路數(shù)量,進(jìn)一步影響了網(wǎng)絡(luò)的時(shí)延、功耗和可靠性等性能指標(biāo)。
因此,綜合運(yùn)用多種復(fù)用方式并優(yōu)化片上光互連架構(gòu)是片上光互連發(fā)展的重要趨勢(shì)。
距離落地應(yīng)用還有多遠(yuǎn)?
目前片上光互連技術(shù)主要處于實(shí)驗(yàn)室階段,還未大規(guī)模量產(chǎn)。業(yè)界的主要玩家包括一些高校和研究機(jī)構(gòu),比如美國(guó)加州大學(xué)圣巴巴拉分校、加州伯克利大學(xué)、荷蘭的埃因霍溫科技大學(xué)和特溫特大學(xué)、美國(guó)集成光子制造研究所、中科院半導(dǎo)體所等。另外也有英特爾、曦智科技等廠商在推動(dòng)相關(guān)技術(shù)的產(chǎn)業(yè)化。
英特爾在今年的Hot CHIPS會(huì)議上,展示了一款代號(hào)為“Piuma”的8核528線程處理器,而這款處理器的最大特點(diǎn)在于,采用了硅光子互連,能夠提供1TB/s的光學(xué)帶寬,可以將多達(dá)131,072個(gè)芯片連接在一起,形成一個(gè)大型共享內(nèi)存的圖形處理超級(jí)計(jì)算機(jī)。
在Piuma組成的超級(jí)計(jì)算機(jī)中,路由器就是網(wǎng)絡(luò),所有設(shè)備都通過(guò) HyperX 拓?fù)溥M(jìn)行連接,每個(gè)機(jī)架內(nèi)將有16個(gè)Piuma芯片。不過(guò)英特爾目前還未決定Piuma芯片是否會(huì)進(jìn)行商業(yè)化,他們表示,如果有客戶提供資金支持,公司將會(huì)很樂(lè)意生產(chǎn)這款產(chǎn)品。
曦智科技近幾年一直在片上光互連技術(shù)上努力推進(jìn)商業(yè)化,今年HiPChips會(huì)議上,曦智科技展示了其片上光互連技術(shù)上的最新進(jìn)展,該系統(tǒng)的通道數(shù)為512,單通道最長(zhǎng)廣播距離為50mm,廣播延時(shí)1ns,單通道頻率4GHz,片上總帶寬達(dá)到2Tbps。實(shí)測(cè)數(shù)據(jù)顯示,該計(jì)算系統(tǒng)完成多個(gè)計(jì)算核之間All-to-All的數(shù)據(jù)廣播,這將大幅提高每個(gè)計(jì)算核的算力利用率。
而基于該片上光互連技術(shù),曦智科技正在推動(dòng)第一款商用級(jí)光電混合計(jì)算加速卡的商業(yè)化落地,未來(lái)將搭載曦智科技自研軟件棧,在商用場(chǎng)景下發(fā)揮片上光互連低延遲、低功耗的優(yōu)勢(shì)。
小結(jié):
在芯片受限于制程工藝、晶體管密度提高放緩的情況下,通過(guò)芯粒的設(shè)計(jì)將多個(gè)die封裝在同一基板上成為了突破單芯片性能的一條重要路線。而這條路線的關(guān)鍵在于片上互連技術(shù)的發(fā)展,片上光互連技術(shù)也為未來(lái)的chiplet設(shè)計(jì)路線提供了更多的可能。
在一個(gè)多服務(wù)器構(gòu)成的算力系統(tǒng)中,互連速率其實(shí)很大程度上決定著整個(gè)系統(tǒng)的性能上限,因此在片間互連方面,也開始采用CPO光電合封技術(shù),將交換芯片和光電器件封裝在一起,使得光電器件與芯片之間的數(shù)據(jù)傳輸損耗減小、提高傳輸速度。
但另一方面,由于半導(dǎo)體晶體管密度的提升速度放緩,單個(gè)計(jì)算節(jié)點(diǎn)中,比如單張AI加速卡上的芯片采用Chiplet技術(shù)成為了趨勢(shì),即多個(gè)小的“芯?!狈庋b在一起,通過(guò)互連組成一個(gè)整體的計(jì)算引擎。而為了提高chiplet設(shè)計(jì)的性能,芯片內(nèi)部多個(gè)die之間的互連也非常關(guān)鍵。ONoC(Optical Network-on-Chip)片上光互連正是為了解決這個(gè)問(wèn)題。
片上光互連:晶圓級(jí)的光互連網(wǎng)絡(luò)
從結(jié)構(gòu)上看,片上光互連其實(shí)是一種光子集成芯片技術(shù),將不同功能的有源器件和無(wú)源器件集成在同一塊光電基板上。光電基板上具有光子路由波導(dǎo),這些波導(dǎo)被用于數(shù)據(jù)通信,和用于電路走線的多層金屬層。CMOS電芯片堆疊在硅光芯片上,在光電基板上形成二維陣列。
光從基板上的激光光源中發(fā)出,輸入到基板上的路由波導(dǎo),通過(guò)波導(dǎo)到達(dá)光芯片上的調(diào)制器。這個(gè)時(shí)候電芯片上的信息數(shù)據(jù),通過(guò)電芯片和光芯片之間的微凸塊加載到環(huán)形調(diào)制器中,將數(shù)字1和0轉(zhuǎn)換為光的強(qiáng)度差異。
調(diào)制后的光信號(hào)通過(guò)光電基板上的波導(dǎo)傳播,到達(dá)其他光芯片上的光電探測(cè)器中。這個(gè)時(shí)候光信號(hào)就被轉(zhuǎn)換成電信號(hào),這些信息就被不同的電芯片所接收。
當(dāng)然在實(shí)際應(yīng)用中,每個(gè)CMOS芯片和光芯片之間,都有數(shù)以千計(jì)的微凸塊被用于數(shù)據(jù)傳輸。因?yàn)楣庑盘?hào)傳播不需要銅導(dǎo)線,損耗小,延遲低,這樣就實(shí)現(xiàn)了在光電基板上進(jìn)行高能效、高帶寬密度、低延遲的光互連。
從工作原理上看,其實(shí)可以大致分析出片上光互連的核心器件主要是激光器、調(diào)制器和接收器。要想提高片上光互連的傳輸容量,可以使用波分復(fù)用、偏振復(fù)用、模分復(fù)用等技術(shù)實(shí)現(xiàn)。
目前,針對(duì)單一物理維度光信號(hào)的復(fù)用、解復(fù)用設(shè)備已經(jīng)相對(duì)成熟。為了進(jìn)一步提高片上光互連系統(tǒng)的通道數(shù)量和傳輸容量,多種復(fù)用方式的綜合運(yùn)用成為了重要的研究趨勢(shì)。例如,波長(zhǎng)-偏振-模式混合復(fù)用等技術(shù)能夠顯著提升片上光互連系統(tǒng)的性能。此外,片上光互連架構(gòu)的設(shè)計(jì)與選擇對(duì)性能的提升也具有不可忽視的作用。片上光互連架構(gòu)不僅決定了片上網(wǎng)絡(luò)中不同節(jié)點(diǎn)的互連方式,同時(shí)也影響了路由器的端口數(shù)量和網(wǎng)絡(luò)鏈路數(shù)量,進(jìn)一步影響了網(wǎng)絡(luò)的時(shí)延、功耗和可靠性等性能指標(biāo)。
因此,綜合運(yùn)用多種復(fù)用方式并優(yōu)化片上光互連架構(gòu)是片上光互連發(fā)展的重要趨勢(shì)。
距離落地應(yīng)用還有多遠(yuǎn)?
目前片上光互連技術(shù)主要處于實(shí)驗(yàn)室階段,還未大規(guī)模量產(chǎn)。業(yè)界的主要玩家包括一些高校和研究機(jī)構(gòu),比如美國(guó)加州大學(xué)圣巴巴拉分校、加州伯克利大學(xué)、荷蘭的埃因霍溫科技大學(xué)和特溫特大學(xué)、美國(guó)集成光子制造研究所、中科院半導(dǎo)體所等。另外也有英特爾、曦智科技等廠商在推動(dòng)相關(guān)技術(shù)的產(chǎn)業(yè)化。
英特爾在今年的Hot CHIPS會(huì)議上,展示了一款代號(hào)為“Piuma”的8核528線程處理器,而這款處理器的最大特點(diǎn)在于,采用了硅光子互連,能夠提供1TB/s的光學(xué)帶寬,可以將多達(dá)131,072個(gè)芯片連接在一起,形成一個(gè)大型共享內(nèi)存的圖形處理超級(jí)計(jì)算機(jī)。
在Piuma組成的超級(jí)計(jì)算機(jī)中,路由器就是網(wǎng)絡(luò),所有設(shè)備都通過(guò) HyperX 拓?fù)溥M(jìn)行連接,每個(gè)機(jī)架內(nèi)將有16個(gè)Piuma芯片。不過(guò)英特爾目前還未決定Piuma芯片是否會(huì)進(jìn)行商業(yè)化,他們表示,如果有客戶提供資金支持,公司將會(huì)很樂(lè)意生產(chǎn)這款產(chǎn)品。
曦智科技近幾年一直在片上光互連技術(shù)上努力推進(jìn)商業(yè)化,今年HiPChips會(huì)議上,曦智科技展示了其片上光互連技術(shù)上的最新進(jìn)展,該系統(tǒng)的通道數(shù)為512,單通道最長(zhǎng)廣播距離為50mm,廣播延時(shí)1ns,單通道頻率4GHz,片上總帶寬達(dá)到2Tbps。實(shí)測(cè)數(shù)據(jù)顯示,該計(jì)算系統(tǒng)完成多個(gè)計(jì)算核之間All-to-All的數(shù)據(jù)廣播,這將大幅提高每個(gè)計(jì)算核的算力利用率。
而基于該片上光互連技術(shù),曦智科技正在推動(dòng)第一款商用級(jí)光電混合計(jì)算加速卡的商業(yè)化落地,未來(lái)將搭載曦智科技自研軟件棧,在商用場(chǎng)景下發(fā)揮片上光互連低延遲、低功耗的優(yōu)勢(shì)。
小結(jié):
在芯片受限于制程工藝、晶體管密度提高放緩的情況下,通過(guò)芯粒的設(shè)計(jì)將多個(gè)die封裝在同一基板上成為了突破單芯片性能的一條重要路線。而這條路線的關(guān)鍵在于片上互連技術(shù)的發(fā)展,片上光互連技術(shù)也為未來(lái)的chiplet設(shè)計(jì)路線提供了更多的可能。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
光互連
+關(guān)注
關(guān)注
0文章
10瀏覽量
7822
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
算智算中心的算力如何衡量?
作為當(dāng)下科技發(fā)展的重要基礎(chǔ)設(shè)施,其算力的衡量關(guān)乎其能否高效支撐人工智能、大數(shù)據(jù)分析等智能應(yīng)用的運(yùn)行。以下是對(duì)智算中心算力衡量的詳細(xì)闡述:一、
ETH-X超節(jié)點(diǎn):開辟AI算力約束突破的新路徑
面對(duì)人工智能大模型的迅速發(fā)展及其對(duì)算力資源的急劇增長(zhǎng)需求,單芯片性能提升遭遇瓶頸,同時(shí)通過(guò)Scale Out策略擴(kuò)展多機(jī)集群以增加算
未來(lái)邊緣GPU算力在車聯(lián)網(wǎng)中的創(chuàng)新應(yīng)用
的發(fā)展提供了強(qiáng)大的技術(shù)支撐。未來(lái)邊緣GPU算力在車聯(lián)網(wǎng)中的應(yīng)用及創(chuàng)新,將有力推動(dòng)車聯(lián)網(wǎng)技術(shù)的快速發(fā)展,提升交通運(yùn)行效率,降低交通事故發(fā)生率,為人們創(chuàng)造更加安全、便捷
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--了解算力芯片CPU
。
█在算力芯片設(shè)計(jì)中,芯片拓?fù)?Topology)結(jié)構(gòu)非常重要。
●環(huán)形(Ring)拓?fù)浞绞绞且环N將多個(gè)處理單元連接成環(huán)形結(jié)構(gòu)的
發(fā)表于 10-20 12:03
《算力芯片 高性能 CPU/GPU/NPU 微架構(gòu)分析》第1-4章閱讀心得——算力之巔:從基準(zhǔn)測(cè)試到CPU微架構(gòu)的深度探索
的支持?,F(xiàn)代CPU的設(shè)計(jì)不僅注重性能的提升,還特別關(guān)注能效比和靈活性,以適應(yīng)不斷變化的計(jì)算需求。算力芯片的發(fā)展史,某種程度上就是人類智慧的結(jié)晶。從單一的算術(shù)邏輯單元到復(fù)雜的超標(biāo)量處理器
發(fā)表于 10-19 01:21
【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--全書概覽
經(jīng)典 GPU 算力芯片解讀
10.1 NVIDIAGPU芯片
10.2 AMDGPU芯片
10.3 IntelXeGPU架構(gòu)
10.3.4
發(fā)表于 10-15 22:08
名單公布!【書籍評(píng)測(cè)活動(dòng)NO.43】 算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析
力,在全球范圍內(nèi),對(duì)于推動(dòng)科技進(jìn)步、經(jīng)濟(jì)發(fā)展及社會(huì)整體的運(yùn)作具有至關(guān)重要的作用。隨著信息技術(shù)的高速發(fā)展,高性能計(jì)算(HPC)和人工智能(AI)等技術(shù)在多個(gè)領(lǐng)域的應(yīng)用變得日益廣泛,芯片算
發(fā)表于 09-02 10:09
大模型時(shí)代的算力需求
現(xiàn)在AI已進(jìn)入大模型時(shí)代,各企業(yè)都爭(zhēng)相部署大模型,但如何保證大模型的算力,以及相關(guān)的穩(wěn)定性和性能,是一個(gè)極為重要的問(wèn)題,帶著這個(gè)極為重要的問(wèn)題,我需要在此書中找到答案。
發(fā)表于 08-20 09:04
中國(guó)算力中心市場(chǎng)持續(xù)增長(zhǎng),智能算力規(guī)??焖籴绕?/a>
7月24日,中國(guó)信息通信研究院(簡(jiǎn)稱“中國(guó)信通院”)權(quán)威發(fā)布了《中國(guó)算力中心服務(wù)商分析報(bào)告(2024年)》,該報(bào)告深入剖析了中國(guó)算力中心市場(chǎng)的現(xiàn)狀與
芯耀輝科技解讀高速互連對(duì)于AI和大算力芯片而言意味著什么?
近年來(lái),隨著人工智能技術(shù)的迅猛發(fā)展,大算力芯片已成為推動(dòng)AI技術(shù)創(chuàng)新的關(guān)鍵力量。然而,隨著芯片內(nèi)部計(jì)算單元數(shù)量的增加和任務(wù)復(fù)雜度的提升,
光子計(jì)算芯片最新突破,峰值算力超1000tops,比電芯片更適合大模型
電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)近日,國(guó)內(nèi)光計(jì)算芯片公司光本位科技宣布,公司已完成算力密度和算力精度均達(dá)到商用標(biāo)準(zhǔn)的光計(jì)算芯片流
揭秘芯片算力:為何它如此關(guān)鍵?
在數(shù)字化時(shí)代,芯片作為電子設(shè)備的核心組件,其性能直接關(guān)系到設(shè)備的運(yùn)行速度和處理能力。而芯片的算力,即其計(jì)算能力,更是衡量芯片性能的
算力系列基礎(chǔ)篇——算力101:從零開始了解算力
相信大家已經(jīng)感受到,我們正處在一個(gè)人工智能時(shí)代。如果要問(wèn)在人工智能時(shí)代最重要的是什么?那必須是:算力!算力!
高算力芯片:未來(lái)科技的加速器?
在數(shù)字化時(shí)代,芯片作為電子設(shè)備的核心組件,其性能直接關(guān)系到設(shè)備的運(yùn)行速度和處理能力。而芯片的算力,即其計(jì)算能力,更是衡量芯片性能的
評(píng)論