高性能計(jì)算需要高性能I/O。一段時(shí)間以來(lái)，業(yè)界一直在努力改進(jìn)高帶寬的遠(yuǎn)程解決方案。去年Intel和Xilinx都推出了56G I/O的FPGA。長(zhǎng)距離112G SerDes PHY已經(jīng)公布，隨著即將推出的5納米節(jié)點(diǎn)的出現(xiàn)，狀態(tài)可能會(huì)更好。再往前看，超過(guò)112G的行業(yè)路線圖充滿了不確定性。對(duì)于跨度幾十米或更長(zhǎng)的距離，將使用光通信代替電信號(hào)通信。不幸的是，這些產(chǎn)品往往是反向相關(guān)的。距離物理裸片越遠(yuǎn)，傳輸?shù)某杀揪驮礁摺Ｍ瑯樱^高的數(shù)據(jù)傳輸速率通常會(huì)犧牲密度，因此單片硅光子芯片被視為信息處理的更好的解決方案。

在過(guò)去的十年中，大量實(shí)現(xiàn)高集成度的方法被大量商業(yè)引入。諸如TSMC CoWoS和Samsung I-Cube之類的硅中介層以及諸如Intel的EMIB，這些封裝技術(shù)可將多個(gè)管芯緊密地集成在同一芯片上。市場(chǎng)上的首批產(chǎn)品通過(guò)將DRAM芯片直接封裝在CPU旁邊，從而提高了帶寬并降低了功耗，進(jìn)而實(shí)現(xiàn)了高帶寬DRAM。除了內(nèi)存之外，還需要付出巨大的努力來(lái)支持將多個(gè)利基用途的芯片（在這種情況下更合適地稱為小芯片）結(jié)合在一起在封裝上，以增強(qiáng)芯片的功能。盡管今天，大多數(shù)基于小芯片的設(shè)計(jì)僅涉及自己開(kāi)發(fā)的小芯片，未來(lái)的設(shè)計(jì)可能會(huì)合并多個(gè)公司的裸片。此類工作中最早的就是英特爾的Stratix 10 FPGA系列，該系列由包含多個(gè)AIB鏈接的單片F(xiàn)PGA芯片組成。英特爾能夠提供多種具有不同功能的小芯片。最近，OCP宣布成立自己的工作組，以推動(dòng)整個(gè)行業(yè)的小芯片標(biāo)準(zhǔn)。

Ayar Labs是一家位于加利福尼亞州的硅光子學(xué)初創(chuàng)公司。該公司在A輪融資中籌集了2400萬(wàn)美元。Ayar采取了不尋常的方法來(lái)追求處理器市場(chǎng)而不是網(wǎng)絡(luò)。他們的前提很簡(jiǎn)單–將光學(xué)器件盡可能靠近計(jì)算芯片，以實(shí)現(xiàn)更好的帶寬和能效。換句話說(shuō)，要實(shí)現(xiàn)近乎單片的光子集成，獲得與其他封裝組件相當(dāng)?shù)拿勘忍貍鬏斈芰啃剩瑫r(shí)實(shí)現(xiàn)可以跨越幾十到幾百米的遠(yuǎn)程通信。

TeraPHY

Terabit PHY，簡(jiǎn)稱TeraPHY，是Ayar實(shí)驗(yàn)室的第一款產(chǎn)品。這是一個(gè)原型光子學(xué)芯片，它被設(shè)計(jì)成與CPU、GPU或FPGA一起集成在包中的系統(tǒng)中。re只是一個(gè)小問(wèn)題——光學(xué)和電子并不完全相互通信。秘訣是什么?Ayar的設(shè)計(jì)利用了GlobalFoundries的45nm RF SOI(絕緣體上的射頻硅)工藝，該工藝允許他們開(kāi)發(fā)集成光學(xué)元件和光學(xué)器件周?chē)膹?fù)雜電路的單片集成設(shè)計(jì)。簡(jiǎn)而言之：這使他們可以在一側(cè)提供電氣I / O接口，在另一側(cè)提供光接口。

英特爾已經(jīng)開(kāi)發(fā)了一個(gè)廣泛的芯片架構(gòu)圍繞其層10 FPGA家族。但所有這些芯片都是內(nèi)部研發(fā)的。好消息是，該架構(gòu)使用AIB接口在主FPGA芯片和各種芯片之間進(jìn)行通信。作為DARPA ERI項(xiàng)目的一部分，該接口也被作為開(kāi)放標(biāo)準(zhǔn)開(kāi)放，因此它不再是英特爾或EMIB的專利。Stratix 10多芯片體系結(jié)構(gòu)使其本身具有TeraPHY提供的功能——用TeraPHY小芯片替換掉一個(gè)電子收發(fā)器模塊，只要接口是兼容的，就可以了。這是Ayar Labs選定的路線。

電信號(hào)接口

對(duì)于TeraPHY，Ayar集成了AIB接口的24個(gè)通道。實(shí)際上，每列允許的最大通道數(shù)為24個(gè)通道（以及AUX塊）。每個(gè)通道代表一組信號(hào)。在當(dāng)前的凸點(diǎn)間距為55微米時(shí)，這意味著二十個(gè)發(fā)送數(shù)據(jù)信號(hào)和二十個(gè)接收數(shù)據(jù)信號(hào)。其運(yùn)行速度高達(dá)2GT/ s。Ayar說(shuō)，對(duì)于他們的TeraPHY小芯片，總接口帶寬為960Gbps，這表明他們使用的是1GT/s AIB基本規(guī)格，而不是2GT/s AIB Plus規(guī)格。

由于AIB接口使用的凸點(diǎn)間距很小，因此可以在硅上使用。在Stratix 10案例中，這意味著使用英特爾的EMIB技術(shù)。在下面未完成的封裝中，大型Stratix 10 FPGA芯片的右側(cè)有兩個(gè)TeraPHY小芯片。

EMIB的位置在所有管芯的邊緣清晰可見(jiàn)。請(qǐng)注意，F(xiàn)PGA的另一端可能還有其他小芯片。

光信號(hào)I/F

位于AIB接口和光接口之間的是可配置的交叉膠連邏輯，該邏輯將AIB通道映射到光通道。交叉開(kāi)關(guān)允許一對(duì)多連接。單個(gè)電信號(hào)通道可以通過(guò)多個(gè)光接口發(fā)送，反之亦然。TeraPHY小芯片集成了十個(gè)光子宏對(duì)，一個(gè)宏用于發(fā)送，一個(gè)宏用于接收。

芯片內(nèi)的光穿過(guò)波導(dǎo)。由于光的特性，多種波長(zhǎng)的光可以沿著同一波導(dǎo)傳播而不會(huì)互相干擾。波分復(fù)用（WDM）技術(shù)用于將多個(gè)這樣的波長(zhǎng)引入到波導(dǎo)中，以增加可以在同一光纖鏈路上傳輸?shù)臄?shù)據(jù)量。為了實(shí)現(xiàn)這一目標(biāo)，Ayar在同一波導(dǎo)上使用了多個(gè)微環(huán)形諧振器，使用來(lái)自波導(dǎo)的不同波長(zhǎng)將數(shù)據(jù)與光或電進(jìn)行數(shù)據(jù)轉(zhuǎn)換。各個(gè)低功率硅光子環(huán)形諧振器鎖定在它們工作的特定波長(zhǎng)上。這些環(huán)形諧振器由CMOS驅(qū)動(dòng)器驅(qū)動(dòng)，該驅(qū)動(dòng)器與管芯上的數(shù)字邏輯的復(fù)位相接口。

每個(gè)宏對(duì)中包含一組PLL，TRXSlice和其他使它們?nèi)抗ぷ魉璧倪壿嫛Ｈ绻榭碐DSII截圖，則可以得出八個(gè)TRX切片，每個(gè)波長(zhǎng)一個(gè)。設(shè)計(jì)每個(gè)宏中的各種PLL，以便可以將數(shù)據(jù)速率配置為高達(dá)2x的增量。當(dāng)前的TeraPHY小芯片允許的數(shù)據(jù)速率為16 Gbps，25.6 Gbps和最高32Gbps。由于每個(gè)波導(dǎo)有八個(gè)波長(zhǎng)，因此您正在查看每個(gè)宏的128 Gbps至256 Gbps的可配置聚合帶寬。

當(dāng)前的TeraPHY小芯片包含10個(gè)宏對(duì)。這意味著它能夠在所有光學(xué)宏上提供高達(dá)2.56 Tb/s的聚合帶寬。這比AIB鏈接上的所有功能要多得多。目前尚不清楚它們?yōu)槭裁慈绱瞬黄胶猓怯捎诳梢詫蝹€(gè)AIB信道路由到多個(gè)光信道，因此在進(jìn)行此類通信時(shí)可能存在拓?fù)洹＠纾粋€(gè)SoC將流量路由到其他兩個(gè)SoC。值得補(bǔ)充的是，由于在接收端不需要糾錯(cuò)，因此它在光通道上使用NRZ調(diào)制格式。

為了與英特爾建立伙伴關(guān)系，將兩個(gè)TeraPHY集成到Stratix 10 FPGA中。這意味著每個(gè)FPGA的總光帶寬為5.12 Tbps。兩個(gè)小于50平方毫米的小芯片令人印象深刻！

那么，如何從芯片上物理地取出它呢？輸入或輸出波導(dǎo)終止于光柵耦合器，光柵耦合器是在其頂表面上具有脊和凹槽的設(shè)備，允許光以某個(gè)特定角度從波導(dǎo)中散射出去。在這里，將光纖拉到足夠近的距離，使其能夠收集散射的光。

對(duì)于Intel Stratix 10 FPGA，光線從頂部散出。換句話說(shuō)，TeraPHY組件涉及通過(guò)芯片背面對(duì)齊和粘合光纖。光纖連接器從蓋子頂部直接穿過(guò)一個(gè)開(kāi)口，直達(dá)TeraPHY小芯片。

英特爾FPGA產(chǎn)品戰(zhàn)略與創(chuàng)新副總裁文斯·胡（Vince Hu）表示：“我們看到的數(shù)據(jù)中心工作負(fù)載激增，它們對(duì)帶寬的需求不滿足，而且需要在機(jī)架級(jí)距離上連接設(shè)備。”“做到這一點(diǎn)的最佳方法是使用光學(xué)互連，并使用Ayar Labs小芯片，我們可以在低延遲和低功耗的情況下實(shí)現(xiàn)很高的帶寬。”

由于AIB的延遲極低，僅為3ns左右，因此通過(guò)AIB到TeraPHY并通過(guò)AIB的往返通信的延遲不到10 ns，而每米的延遲大約為5 ns。光纖（取決于整個(gè)系統(tǒng)的配置），最長(zhǎng)可達(dá)2公里。TeraPHY的總能源效率略低于5 pJ / bit。該數(shù)字包含AIB接口，交叉開(kāi)關(guān)和光學(xué)宏塊。

SuperNova激光

值得一提的是該芯片的工作溫度。由于FPGA的功率高達(dá)300瓦，而TeraPHY又增加了4.7W，因此該芯片的熱量可能會(huì)很高– Ayar報(bào)告的數(shù)字可能高達(dá)90攝氏度。GlobalFoundries 45 RF SOI已經(jīng)滿足1級(jí)（-40oC至+125oC）和Ayar自己的TeraPHY小芯片的要求，該設(shè)計(jì)通過(guò)能夠跟蹤和管理熱量變化的額外控制調(diào)諧邏輯來(lái)承受這些溫度。不幸的是，對(duì)于光源（激光器），它可能會(huì)遭受這些溫度的影響，這可能會(huì)影響設(shè)備的可靠性。

為此原因，Ayar Labs還開(kāi)發(fā)了一種稱為SuperNova的外部激光器。SuperNova當(dāng)前支持八個(gè)和十六個(gè)波長(zhǎng)。波長(zhǎng)被多路復(fù)用并放大到八個(gè)或十六個(gè)輸出端口上。換句話說(shuō)，Ayar當(dāng)前的SuperNova激光器總共支持256個(gè)通道，總帶寬為8.192 Tbps。激光的功率效率為1-2 pJ / bit。

潛在的路線圖改進(jìn)

Ayar Labs TeraPHY小芯片顯示出集成光子學(xué)的潛力。對(duì)于同類產(chǎn)品而言，這一數(shù)字令人印象深刻。Stratix 10上的第一代AIB接口在第一代EMIB的55微米微凸點(diǎn)間距上的能效約為0.85pJ / bit。英特爾最近談?wù)摿撕芏嘤?jì)劃，將這個(gè)數(shù)字降低多達(dá)0.5 pJ / bit或更多。能源效率的提高與更高密度的微型凸塊相結(jié)合，應(yīng)該能夠以與當(dāng)前原型機(jī)相似的功率獲得更高的帶寬。此外，Ayar當(dāng)前的TeraPHY小芯片利用WDM以便在同一波導(dǎo)上以八個(gè)波長(zhǎng)發(fā)送八個(gè)比特。即使我們假設(shè)他們不會(huì)再添加任何渠道，它們實(shí)際上可以使TeraPHY小芯片上的波長(zhǎng)數(shù)量增加一倍，從而使光I/O帶寬增加一倍。Ayar的SuperNova激光器已經(jīng)支持16種波長(zhǎng)。在Supercomputing 2019上，Ayar Lab宣稱將于于2020年第一季度開(kāi)始送樣。

審核編輯 ：李倩