01

阿里云基礎(chǔ)網(wǎng)絡(luò)架構(gòu)演進(jìn)

我們先回顧一下阿里云基礎(chǔ)網(wǎng)絡(luò)架構(gòu)的演進(jìn)歷程，這有助于更好理解阿里云對(duì)自研平臺(tái)網(wǎng)絡(luò)操作系統(tǒng)的需求、AliNOS的設(shè)計(jì)理念及其發(fā)展方向。

在2017年以前，OTT作為最終網(wǎng)絡(luò)產(chǎn)品用戶看到的網(wǎng)絡(luò)設(shè)備及能力如下圖所示：

主要的痛點(diǎn)集中在以下四個(gè)方面。

● 商業(yè)網(wǎng)絡(luò)設(shè)備軟硬件設(shè)計(jì)對(duì)最終用戶不透明，作為網(wǎng)絡(luò)最重要的組成單元在規(guī)模化部署后，設(shè)備內(nèi)部器件的成本、失效率都對(duì)整體網(wǎng)絡(luò)有著巨大規(guī)模化效應(yīng)；

●設(shè)備的功能實(shí)現(xiàn)無法按需定制，復(fù)雜的系統(tǒng)特性排期長無法快速交付，無法滿足大規(guī)模數(shù)據(jù)中心要求；

●由于云規(guī)模化的特點(diǎn)，多廠商供應(yīng)是客觀存在的，但不同廠商的運(yùn)維管控方式各不相同，這對(duì)自動(dòng)化管控造成非常大的挑戰(zhàn)；

●交付及設(shè)備修復(fù)需要通過廠商的運(yùn)維體系，鏈條長，從而對(duì)時(shí)效滿足度低。

為解決上述痛點(diǎn)，從2017年始，阿里云數(shù)據(jù)中心網(wǎng)絡(luò)確立“基于全自研平臺(tái)，分布式超大規(guī)模數(shù)據(jù)中心建設(shè)”的宏偉目標(biāo)。構(gòu)建超大規(guī)模全自研數(shù)據(jù)中心，第一出發(fā)點(diǎn)是要解決HAIL架構(gòu)中的“Highly Availability、Intelligence”，這樣才能滿足大規(guī)模部署要求下的自主可控節(jié)奏、規(guī)模化交付效率和運(yùn)維高自動(dòng)化。

阿里云自研白盒網(wǎng)絡(luò)設(shè)備，結(jié)合自研操作系統(tǒng)AliNOS，與后端的監(jiān)控管控自動(dòng)化作為一個(gè)整體進(jìn)行設(shè)計(jì)和研發(fā)，從而得以全面解決架構(gòu)、建設(shè)及運(yùn)維各角度在超大規(guī)模數(shù)據(jù)中心的高可用、低成本、快速迭代及智能化的網(wǎng)絡(luò)訴求。通過白盒化，網(wǎng)絡(luò)產(chǎn)品用戶看到的網(wǎng)絡(luò)設(shè)備及能力，轉(zhuǎn)化成如下圖所示的特點(diǎn)。

白盒設(shè)備

標(biāo)準(zhǔn)化、模塊化白盒設(shè)備硬件組件與軟件集成，提高效率、降低成本，從而豐富生態(tài)，加速白盒規(guī)范化網(wǎng)絡(luò)發(fā)展。

DevOps

研發(fā)、架構(gòu)、運(yùn)營、自動(dòng)化工具平臺(tái)等多個(gè)團(tuán)隊(duì)參與基于自研交換機(jī)的體系建設(shè)，深度devops定制符合阿里云數(shù)據(jù)中心架構(gòu)、交付邏輯和運(yùn)維沉淀的重點(diǎn)需求，并能快速迭代，打造了專屬阿里云的企業(yè)版SONiC-AliNOS網(wǎng)絡(luò)操作系統(tǒng)。

IBN

通過一套網(wǎng)絡(luò)操作系統(tǒng)AliNOS的標(biāo)準(zhǔn)化南北向接口，從而使得IBN在阿里云網(wǎng)絡(luò)以更標(biāo)準(zhǔn)、更完整地規(guī)模化實(shí)現(xiàn)，提升網(wǎng)絡(luò)整體穩(wěn)定性。

自動(dòng)網(wǎng)絡(luò)

端到端全自研，讓阿里云大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)實(shí)現(xiàn)了接近全自動(dòng)化交付，和運(yùn)維的自驅(qū)動(dòng)自適應(yīng)的高可用智能網(wǎng)絡(luò)。

互聯(lián)網(wǎng)重新定義了網(wǎng)絡(luò)系統(tǒng)，白盒化解決了HAIL架構(gòu)中“HAI”代表的高可用和智能化運(yùn)維。HAIL架構(gòu)中“Low Latency”所代表的高性能，則成為了驅(qū)動(dòng)阿里云數(shù)據(jù)中心網(wǎng)絡(luò)全棧深度自研的動(dòng)力，給出了一個(gè)持續(xù)的發(fā)展方向。2019年，基于AliNOS構(gòu)建的自研交換機(jī)及配合高性能網(wǎng)絡(luò)的RDMA技術(shù)正式大規(guī)模上線。這是一個(gè)通過可預(yù)期網(wǎng)絡(luò)架構(gòu)中的端網(wǎng)融合技術(shù)及AliNOS創(chuàng)新，為上層業(yè)務(wù)打造的超越現(xiàn)有商業(yè)解決方案可提供能力的極致高性能、高穩(wěn)定RDMA自研網(wǎng)絡(luò)。

在成功高效地部署百萬級(jí)端口，在數(shù)據(jù)中心內(nèi)為業(yè)務(wù)提供高可用、高效率、智能化以及以RDMA為代表的高性能網(wǎng)絡(luò)后，阿里云基礎(chǔ)網(wǎng)絡(luò)為進(jìn)一步服務(wù)到更多最終應(yīng)用和客戶，提出了端網(wǎng)融合可預(yù)期網(wǎng)絡(luò)（Predictable Network）的新型技術(shù)體系，這也代表著AliNOS走出了數(shù)據(jù)中心，開始走向更廣闊的領(lǐng)域。

02

SONiC的前世今生

AliNOS是建立在SONiC基礎(chǔ)之上的，同時(shí)它還集成了阿里云業(yè)務(wù)和運(yùn)營需求的一些功能優(yōu)化，在介紹AliNOS之前，我們先來回顧一下SONiC的前世今生。

SONiC（Software for Open Networking in the Cloud）是一個(gè)開源的，以Linux為基礎(chǔ)的網(wǎng)絡(luò)操作系統(tǒng)。這個(gè)系統(tǒng)由三部分組成。

SONiC從FRR社區(qū)(Free Range Routing) 取得了一套完整的網(wǎng)絡(luò)協(xié)議棧，如BGP、BFD、LLDP。 SONiC通過OCP社區(qū) (Open Compute Project)定義了一層軟硬件解耦合的APIs-SAI（Switch Abstraction Interface）。這層APIs使得軟件和交換芯片ASIC可以獨(dú)立演進(jìn)迭代。這也使得自研平臺(tái)可以根據(jù)自身需求來選取適合的交換芯片ASIC，以達(dá)到最高性價(jià)比。

SONiC自身通過SONiC社區(qū)的努力把協(xié)議、配置及交換芯片ASIC組合起來，構(gòu)成網(wǎng)絡(luò)設(shè)備的控制平面。

SONiC社區(qū)是為這個(gè)開源網(wǎng)絡(luò)操作系統(tǒng)的合作而成立的開源社區(qū)，現(xiàn)在社區(qū)有7個(gè)創(chuàng)始成員，幾十個(gè)貢獻(xiàn)組織和上千個(gè)做貢獻(xiàn)的活躍成員，阿里巴巴是早期創(chuàng)始成員之一。這個(gè)開源社區(qū)也不是一蹴而就的，SONiC最初從一個(gè)OCP旗下的項(xiàng)目成長起來，于2022年正式引入Linux基金會(huì)。

網(wǎng)絡(luò)操作系統(tǒng)是一個(gè)非常復(fù)雜的系統(tǒng)，不少設(shè)備廠商為了讓一個(gè)系統(tǒng)支持多種網(wǎng)絡(luò)設(shè)備、協(xié)議和不同客戶的需求，不得不提升設(shè)備廠商自身網(wǎng)絡(luò)操作系統(tǒng)的復(fù)雜度。如北美一家知名設(shè)備廠商為電信運(yùn)營商支持IEFT YANG model，同時(shí)又要為云運(yùn)營商支持Open Config YANG model，而不得不在一套網(wǎng)絡(luò)操作系統(tǒng)里支持兩個(gè)不同配置的YANG model做相同的事情。為了降低復(fù)雜度，SONiC最初的定位只是TOR的網(wǎng)絡(luò)操作系統(tǒng)，還做了不少簡(jiǎn)化，即使這樣，SONiC也還是經(jīng)歷了一個(gè)痛苦摸索和演進(jìn)的過程，不少早期工作在SONiC上的人都有一本辛酸血淚史，大家都是一步一坑地通過摸索、完善，才逐漸爬出來的。

經(jīng)過多年的積累，特別是包括阿里云在內(nèi)的多個(gè)云廠商的實(shí)戰(zhàn)經(jīng)驗(yàn)打磨，SONiC已經(jīng)成為業(yè)界認(rèn)可的網(wǎng)絡(luò)操作系統(tǒng)，不少初創(chuàng)公司以SONiC為基礎(chǔ)很快建立起他們?cè)O(shè)備的網(wǎng)絡(luò)操作系統(tǒng)，快速推出自己的產(chǎn)品，從而推動(dòng)了整個(gè)網(wǎng)絡(luò)新技術(shù)的快速發(fā)展，阿里云通過與社區(qū)的交流在不斷貢獻(xiàn)的同時(shí)也獲取了不少適合自身發(fā)展的網(wǎng)絡(luò)技術(shù)。

03

AliNOS的現(xiàn)狀

AliNOS是伴隨阿里云自研網(wǎng)絡(luò)平臺(tái)的成長而成長起來的，由于阿里云網(wǎng)絡(luò)的規(guī)模龐大，廠商難以保證他們的軟件能夠有效支持這么大規(guī)模的設(shè)備，并跟上運(yùn)營、變更的節(jié)奏，因此可以讓廠商代工自研設(shè)備，但必須自己掌控整個(gè)軟件棧，才能有效實(shí)現(xiàn)問題的快速修復(fù)、需求的快速響應(yīng)、新技術(shù)的快速推出及安全的驗(yàn)證等要求。

“求真務(wù)實(shí)，簡(jiǎn)單開放”是阿里云基礎(chǔ)設(shè)施團(tuán)隊(duì)的工作理念，在這個(gè)理念的指導(dǎo)下，阿里云基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)選擇了以SONiC為基礎(chǔ)，研發(fā)AliNOS這款適合阿里云需求的網(wǎng)絡(luò)操作系統(tǒng)。AliNOS的軟件代碼主要分為三大部分：SONiC的軟件代碼、交換芯片供應(yīng)商提供的SAI/SDK相關(guān)代碼，以及阿里云內(nèi)部的監(jiān)管控工具。SONiC的軟件代碼包括了FRR的網(wǎng)絡(luò)協(xié)議棧和SONiC的控制平面部分。阿里云基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)還在研發(fā)、運(yùn)營過程中不斷對(duì)SONiC軟件代碼進(jìn)行優(yōu)化改進(jìn)。

本著簡(jiǎn)單開放的原則，阿里云也分期分批地將這些優(yōu)化改進(jìn)回饋社區(qū)，如去堆疊的想法及研發(fā)結(jié)果就是阿里云依據(jù)自身的運(yùn)營經(jīng)驗(yàn)介紹給社區(qū)的，目前已成為行業(yè)的事實(shí)標(biāo)準(zhǔn)，大幅降低了服務(wù)器雙上連的網(wǎng)絡(luò)系統(tǒng)復(fù)雜度。

AliNOS已經(jīng)支持了阿里云數(shù)據(jù)中心網(wǎng)絡(luò)5.2架構(gòu)，6.0架構(gòu)的大規(guī)模部署，現(xiàn)在AliNOS開始了7.0架構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)開發(fā)。此外，AliNOS也開始用來支撐廣域網(wǎng)及邊緣網(wǎng)關(guān)設(shè)備，特別是對(duì)自研路由器的支持給AliNOS帶來了不少挑戰(zhàn)。不久的將來，AliNOS還將用來管理一些新型的網(wǎng)絡(luò)設(shè)備，如DPU等。AliNOS已經(jīng)從數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備拓展到了廣域網(wǎng)及邊緣網(wǎng)的網(wǎng)絡(luò)設(shè)備，這些新的機(jī)遇不可避免地也帶來了不少新的挑戰(zhàn)。

04

新的挑戰(zhàn)

從交換機(jī)到路由器

阿里云在完成數(shù)據(jù)中心網(wǎng)絡(luò)交換機(jī)全自研后，開始把成功的經(jīng)驗(yàn)拓展到數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)上面，著手研發(fā)路由器并推動(dòng)下一代廣域網(wǎng)架構(gòu)變革。從交換機(jī)到路由器，不是一個(gè)簡(jiǎn)單的路由規(guī)模增加的問題，這個(gè)問題其實(shí)有點(diǎn)兒像某著名大學(xué)的化學(xué)系教授按比例放大實(shí)驗(yàn)室的實(shí)驗(yàn)給化工廠釀成事故，被隔壁大學(xué)的化工系當(dāng)作反面教材一樣，看似簡(jiǎn)單但有很多實(shí)際問題需要考慮，路由器有很多復(fù)雜度是交換機(jī)沒有經(jīng)歷過的。

首先路由器要支持L3VPN，而L3VPN的路由是百萬級(jí)別的，因而要在系統(tǒng)層面綜合考慮數(shù)據(jù)平面的速率，BGP loading time、BGP路由的收斂及IGP路由變化對(duì)BGP路由收斂的影響。L3VPN的路由處理也就不再能用像交換機(jī)那樣所見及所得的處理方式，L3VPN的路由轉(zhuǎn)發(fā)鏈的設(shè)計(jì)會(huì)根據(jù)交換芯片ASIC的能力而有所不同，特別是L3VPN的VPN信息存儲(chǔ)及處理，需要在SAI層面做適當(dāng)?shù)某橄螅瑥亩苊饪刂破矫娓兄粨Q芯片ASIC的不同，這個(gè)抽象同時(shí)也不能綁定某個(gè)供應(yīng)商的特殊處理，但又需要有前瞻性，符合交換芯片ASIC的演進(jìn)道路。

其次由于L3VPN的路由是百萬級(jí)別的，BGP路徑的規(guī)模要到千萬級(jí)別，因而對(duì)于軟件內(nèi)存的管理優(yōu)化變得非常重要，F(xiàn)RR的協(xié)議棧在之前并沒有這種優(yōu)化需求，寫代碼時(shí)對(duì)內(nèi)存的使用也比較隨意。阿里云目前和社區(qū)在緊密合作，共同優(yōu)化FRR BGP的代碼，從而把FRR BGP從交換機(jī)級(jí)別的支持提升到路由器級(jí)別的支持。

另外需要對(duì)FRR BGP增加一些路由器必需的功能，如BGP advertise delay、BGP VRF leaking、BFD硬件卸載等，使得協(xié)議棧整體達(dá)到路由器可部署的級(jí)別而不是單一功能的演示。

最后由于交換機(jī)路由在千或者萬級(jí)規(guī)模，交換機(jī)對(duì)路由的卸載速率沒有要求，現(xiàn)有SONiC控制平面的路由下發(fā)通道并沒有優(yōu)化，這就需要AliNOS對(duì)控制平面做整體優(yōu)化，讓百萬級(jí)別的L3VPN路由可以高速卸載到芯片ASIC，從而得到較好的BGP loading time，BGP loading time一直是各路由器廠商比拼的性能指標(biāo)之一。

阿里云計(jì)劃把這些在FRR及SONiC代碼的優(yōu)化改進(jìn)在適當(dāng)?shù)臅r(shí)候反饋回社區(qū)。

利用IPv6簡(jiǎn)化網(wǎng)絡(luò)協(xié)議棧

上面的L3VPN的復(fù)雜度來自于在IPv4上做多租戶的VRF。在數(shù)據(jù)中心內(nèi)，我們也引進(jìn)了VXLAN給overlay做多租戶，由于VXLAN的引進(jìn)，我們又引進(jìn)了BGP EVPN、OVS等協(xié)議，隨著協(xié)議的不斷引入，網(wǎng)絡(luò)的復(fù)雜度也日益增加，利用IPv6簡(jiǎn)化網(wǎng)絡(luò)協(xié)議棧是阿里云網(wǎng)絡(luò)團(tuán)隊(duì)定義下一代阿里云網(wǎng)絡(luò)架構(gòu)的一個(gè)基本出發(fā)點(diǎn)。

IPv6技術(shù)已經(jīng)存在了很長時(shí)間了，但網(wǎng)絡(luò)應(yīng)用和網(wǎng)絡(luò)技術(shù)一直有著“雞生蛋，蛋生雞”的關(guān)系，因此在AliNOS上，我們不止要大力加強(qiáng)IPv6建設(shè)，還要加強(qiáng)對(duì)如何讓現(xiàn)有的IPv4應(yīng)用平穩(wěn)過渡到IPv6的技術(shù)上做研發(fā)投入。只有把這個(gè)過渡期處理好了，我們才有可能實(shí)現(xiàn)利用IPv6簡(jiǎn)化網(wǎng)絡(luò)協(xié)議棧，從而讓網(wǎng)絡(luò)變得像水管一樣，簡(jiǎn)單、好用且可靠。

通過SRv6實(shí)現(xiàn)流量可控

在利用IPv6簡(jiǎn)化網(wǎng)絡(luò)協(xié)議棧的同時(shí)，我們還需要加強(qiáng)對(duì)流量可控的手段。SRv6是2014年左右提出來的，隨著芯片技術(shù)的成熟及協(xié)議發(fā)展的完善，越來越多的用戶意識(shí)到SRv6將不再僅僅是一個(gè)網(wǎng)絡(luò)協(xié)議，它將是一種面向應(yīng)用業(yè)務(wù)的對(duì)網(wǎng)絡(luò)編程的語言，SRv6協(xié)議開始被采納，有人把SRv6的一些基本功能開發(fā)出來并貢獻(xiàn)給SONiC社區(qū)，但沒有人用SONiC的SRv6部署在生產(chǎn)網(wǎng)。阿里云開始在AliNOS里研發(fā)SRv6 VPN，并通過自研路由器在DCI部署這個(gè)技術(shù)，從而實(shí)現(xiàn)對(duì)于應(yīng)用的流量調(diào)度。

SRv6 VPN的研發(fā)主要有三個(gè)部分：FRR里對(duì)于BGP協(xié)議的補(bǔ)充、SONiC的SWSS里對(duì)于SRv6 VPN的開發(fā)，以及SAI里增加SRv6 VPN相關(guān)的新的objects。由于SRv6 VPN是在阿里云生產(chǎn)網(wǎng)里部署的，AliNOS又增加了一些部署時(shí)必需的優(yōu)化改進(jìn)。阿里云基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)計(jì)劃把SRv6 VPN的研發(fā)成果及部署相關(guān)的改進(jìn)上傳至SONiC的后續(xù)版本中。

這個(gè)應(yīng)用也在Linux Foundation的Open Network & Edge大會(huì)上做了交流，得到了業(yè)界很多很好的反饋，若干云廠商已經(jīng)計(jì)劃在阿里云上傳代碼到SONiC社區(qū)后，開始在它們的網(wǎng)絡(luò)里部署SRv6 for SONiC技術(shù)。我們可以預(yù)期在不久的將來，SRv6將成為一個(gè)事實(shí)標(biāo)準(zhǔn)被各云廠商所采用。

端網(wǎng)融合可預(yù)期網(wǎng)絡(luò)

云計(jì)算重新定義的網(wǎng)絡(luò)系統(tǒng)，是基于計(jì)算和網(wǎng)絡(luò)的協(xié)同設(shè)計(jì)。近幾年DPU的蓬勃發(fā)展，讓服務(wù)器里的智能網(wǎng)卡或DPU也更多地參與到了網(wǎng)絡(luò)里來。

AliNOS的應(yīng)用范圍從網(wǎng)絡(luò)設(shè)備伸展到了網(wǎng)絡(luò)邊緣設(shè)備或DPU的SOC。隨著網(wǎng)絡(luò)邊界的延伸，許多問題可以通過端網(wǎng)融合的方式得到更好的解決，如傳統(tǒng)多打一擁塞的解決點(diǎn)在TOR或者SMART NIC上，但因?yàn)椴涣私夥?wù)器PCIe端的信息，不少設(shè)備廠商還提出了Smart Pipeline、Smart TOR的概念，由于沒有端的信息，很多方案只能隔山打牛，費(fèi)力不討好。隨著DPU的引入，網(wǎng)絡(luò)可以開始感知到服務(wù)器PCIe端及其他更多的信息，很多問題可以利用這些新信息重新思考了。

SONiC社區(qū)也成立了DASH工作組（Disaggregated API for SONiC Hosts）來協(xié)調(diào)這個(gè)方向的工作，阿里云基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)也有不少同學(xué)參與了DASH的討論。

AliNOS作為一個(gè)端到端，各種網(wǎng)絡(luò)設(shè)備的統(tǒng)一平臺(tái)，可以通過telemetry讓計(jì)算能夠感知到整個(gè)網(wǎng)絡(luò)的狀態(tài)，一個(gè)實(shí)時(shí)的狀態(tài)。AliNOS還可以通過SRv6、HPCC高性能流控算法、uFAB新型架構(gòu)及Solar多路徑等硬核技術(shù)與計(jì)算協(xié)同設(shè)計(jì)，讓整個(gè)網(wǎng)絡(luò)變成計(jì)算的編程平臺(tái)，可以任意調(diào)度所需資源，并實(shí)現(xiàn)帶寬和延遲(尤其是長尾延遲)的保證。

端網(wǎng)融合可預(yù)期網(wǎng)絡(luò)的核心思想是讓網(wǎng)絡(luò)更加透明，讓端側(cè)(計(jì)算/存儲(chǔ)等應(yīng)用)更加方便靈活地利用網(wǎng)絡(luò)信息進(jìn)行資源調(diào)度。這種透明度使業(yè)務(wù)可以充分利用CLOS無擁塞拓?fù)洹ath規(guī)劃與調(diào)度，從而為業(yè)務(wù)提供更加高效的網(wǎng)絡(luò)帶寬資源。業(yè)務(wù)也可以通過對(duì)CLOS架構(gòu)拓?fù)淙该鞲兄植紩?huì)話更合理，從而最小化單鏈路故障影響域，實(shí)現(xiàn)業(yè)務(wù)高穩(wěn)定網(wǎng)絡(luò)，在出現(xiàn)單點(diǎn)故障時(shí)，業(yè)務(wù)可以進(jìn)行有序遷移，100%成功率切換，保證了故障場(chǎng)景下依然滿足極致低長尾時(shí)延。

05

展望

阿里云基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)的工作理念是“求真務(wù)實(shí)，簡(jiǎn)單開放”，AliNOS的研發(fā)也是本著這個(gè)信念進(jìn)行的，從數(shù)據(jù)中心網(wǎng)絡(luò)拓展到了廣域網(wǎng)、邊緣網(wǎng)及DPU，AliNOS將遇到不少新的挑戰(zhàn)，這些新的挑戰(zhàn)也是動(dòng)力，激勵(lì)阿里云基礎(chǔ)網(wǎng)絡(luò)團(tuán)隊(duì)繼續(xù)做好AliNOS，讓AliNOS成為建設(shè)端網(wǎng)融合可預(yù)期網(wǎng)絡(luò)的基石。我們也希望通過和開源社區(qū)的合作交流，讓我們的網(wǎng)絡(luò)更加簡(jiǎn)單開放，我們的工作更加求真務(wù)實(shí)，推動(dòng)全球云網(wǎng)絡(luò)的共同發(fā)展。

審核編輯：劉清