在當今云計算、人工智能、大數據平臺等一系列顛覆性的技術創新背后，軟件的價值被前所未有的推向高峰，“軟件吞噬一切”在整個IT行業中盛行，幾十年沉淀下來的網絡也未能幸免。各大標準組織和學術派爭先恐后的制定網絡行業標準，試圖打破傳統網絡的技術限制和商業壁壘，用標準軟件來定義功能，用通用硬件來承載軟件，最終為用戶帶來物美價廉、互通性高、可持續性升級換代的新一代網絡解決方案。

SDN應運而生，提出了將網絡控制平面和轉發平面解耦，采用相對集中式的控制器替代原有分布式控制，通過開放的可編程接口實現“軟件定義”。這種可編程的網絡架構特性，為網絡資源的設計、管理和使用提供了更多的可能性，從而更容易推動整個網絡的變革與發展。

盛大游戲一直通過采用先進云計算技術助推游戲產業的發展，打造出國內一流的私有云平臺G云1.0。隨著游戲運營環境的急劇變化，為承載紛繁復雜的業務體系及線上游戲運營系統，盛大游戲希望能緊跟行業技術發展態勢，進而重構整個游戲混合云網絡架構。

在設計盛大游戲G云2.0網絡過程中，要求充分考慮盛大游戲系統架構的通用性和易用性，同時需要針對游戲行業的特殊性，例如網絡延時、彈性擴容、安全等進行定制化的架構設計，所以新的網絡架構必須要著眼于以下幾點：

標準且開放化：無論是物理網絡還是虛擬化網絡，必須采用業界相對標準的組網模型和網絡協議，兼顧開放性和互通性，實現網絡的模塊化設計，為今后平臺的演進提供標準化模型；

靈活擴展性：需要引入Overlay VxLAN技術替代原有的VLAN來更加靈活的支持云主機對于網絡的要求，包括：熱遷移、租戶隔離、多租戶等；

高性能：對于虛擬化網絡Overlay，必須滿足游戲場景下對網絡延時的苛刻要求。VPC網絡需要滿足租戶各云主機（虛機、物理機）之間高吞吐、低延時的網絡互通要求；

高可靠性：無論是Underlay網絡，還是SDN控制器，必須充分考慮單點故障和HA等機制，從而保障整個網絡 7 x 24小時高可靠性要求；

解耦合：需要充分考慮控制和轉發平面的解耦合，以及虛擬化網絡和物理設備的解耦，以便實現云主機的靈活接入，熱遷移等功能；

自動化：引入SDN控制器，實現對租戶網絡VPC的集中管理，支持物理網絡和虛擬化網絡的快速部署和靈活擴展。

盛大游戲引入思華ExpressNET

SDN產品打造新一代混合云網絡架構

經過雙方充分的需求分析和論證工作，引入以盛科SDN白牌交換機為網絡承載（同時支持華為等數據中心交換機），思華科技ExpressNET為控制平面的方案。該方案沒有僵化地采用純OpenFlow的方式，而采用了支持VxLAN的數據中心交換機和開放API相結合方式，由網絡設備提供出足夠靈活的API供思華的SDN控制器（ExpressNET）調用，思華ExpressNET整體架構如下圖所示：

<圖示1：思華ExpressNET整體架構>

盛大游戲G云2.0 整體網絡部署架構如下圖所示：

<圖示2：G云2.0 網絡部署架構>

思華ExpressNET網絡平臺為云主機、裸機提供了必要的實體和虛擬網絡環境，包括但不限于：VPC內部二三層東西向訪問、南北向公網訪問、虛機和物理機訪問、跨云跨IDC訪問等，同時以VPC為單元對租戶進行安全隔離、公網QoS限制。整個網絡架構主要包含了下列組件及其功能特點：

1.由可編程標準化網絡硬件設備（例如盛科E系列，華為CloudEngine系列等）組成Clos IP Fabric：其承擔了整個底層網絡（Underlay）功能，為上層的虛擬化網絡提供了堅實的網絡基礎，同時作為VxLAN的端點，提供高性能的VTEP隧道終結。該架構具有運維簡單、等價多路徑、水平擴容和可編程化特點，已被互聯網公司，數據中心和傳統企業IT所廣泛接受；

2.位于各計算節點和Neutron節點的思華ExpressNET分布式控制器：作為思華ExpressNET尤為重要的虛擬化網絡的控制平面，提供二層、三層網絡、DHCP、NAT、QoS、ARP Proxy等功能，各功能采用App Plugin的方式實現，易于擴展。采用分布式控制器的好處在于消除了單點故障，性能有保障，同時兼顧了SDN的設計理念，將控制和轉發平面進行了解耦；

3.位于Neutron節點的思華ExpressNET交換機控制器：該控制器負責通過廠商自定義RPC或者標準的NetConf協議對Underlay網絡設備進行管控，從而打通虛擬和物理網絡的控制平面，真正做到虛實網絡的結合與聯動；

4.位于各計算節點的Open vSwitch（以下簡稱為OVS）：以OpenFlow流表的形式提供了高效的網絡轉發平面，并支持Intel DPDK擴展，以滿足今后對性能的進一步要求；

5.采用VxLAN隧道封裝技術提供租戶VPC虛擬化網絡：不僅實現了虛機到虛機的二/三層網絡連通，同時實現了VPC內虛機到裸機的二/三層直通，以及G云2.0到用戶線下IDC的直通，各VPC安全隔離；

6.考慮到Host VxLAN性能的限制，采用VxLAN Offloading技術將VxLAN加/解封裝上移到物理交換機ToR上，不僅提高了網絡吞吐、降低了網絡延時，同時將寶貴的主機計算資源預留給云主機。

ExpressNET, 重新定義網絡

網絡設計之初，充分分析了OpenStack 原生Neutron網絡架構上的一些缺陷和不足，在兼容Neutron ML2 Framework的基礎上，參考了市面上已有的開源項目，引入了思華ExpressNET全面替換原生Neutron網絡方案，從而彌補了原生方案的不足，主要體現在以下幾個方面：

1、ExpressNET以OpenFlow流表實現分布式DHCP取代集中式的DHCP：OpenStack原生模型設計會在Neutron節點上造成大量的資源占用和單點故障風險，例如有100個租戶，每個租戶有100個子網，那么在Neutron節點上就要維持100 x 100 = 10,000個DHCP進程，消耗大量CPU資源，并且增加了維護和排障難度。

<圖示3：OpenStack原生集中式的DHCP模型>

思華ExpressNET解決方案利用OVS OpenFlow流表將DHCP功能分散到各個計算節點實現，不僅有效的避免單點故障，同時減少了對計算資源的消耗，簡化了系統部署，降低了運維排障難度。

<圖示4：思華Express NET分布式DHCP模型>

2、ExpressNET以OpenFlow流表方式實現的分布式vRouter和DNAT替代原生Neutron的vRouter模型。OpenStack原生的Neutron有兩種vRouter模型：一種是早期版本的集中式vRouter實現，該模型下所有的三層流量都會經過位于Neutron節點的虛擬路由器（通過網絡Namespace實現），不僅增加了網絡單點故障、限制了網絡吞吐，同時加大了網絡延時，如下圖所示：

<圖示5：OpenStack原生集中式的vRouter>

隨后OpenStack提出了分布式vRouter即DVR的概念，在各計算節點上為租戶創建多個Namespace并安裝相應路由作為租戶本地化的vRouter，雖然該方案在一定程度上解決了集中式模型的一些問題，但由于其依舊采用Namespace的實現方式，不僅耗費計算節點大量的CPU資源，公網IP地址（用于Floating IP Namespace），同時并未降低網絡延時和排障難度，如下圖所示：

<圖示6：OpenStack原生分布式的vRouter>

而在盛大游戲的案例中，思華ExpressNET擁有L2/L3和DNAT App Plugin，使得位于各計算節點的本地控制器提供路由和地址轉換等控制平面功能，并結合OVS OpenFlow流表實現轉發平面功能，不僅有效的解決了集中式路由帶來的諸多問題，同時降低了復雜度、提高了網絡彈性，釋放了本地計算資源，減少了公網IP地址浪費以及降低了網絡延時，如下圖所示：

<圖示7：思華ExpressNET 以OVS流表方式實現分布式vRouter>

3、ExpressNET支持多公網網段（Multiple Elastic IP Pool）：原生的OpenStack無法很好的支持多外網功能，導致平臺無法使用多個公網IP網段，從而增加了網絡實際部署難度。如下圖所示，當申請了多個公網網段后，由于OpenStack的限制，無法讓虛機VM1申請缺省公網網段Pool 1以外的地址段，如EIP Pool 2 & Pool 3（每個虛機一個公網EIP）：

<圖示8：OpenStack原生的單一外網限制>

思華ExpressNET取消該限制并增加相應的保護機制，使得平臺可以將任何可用的公網地址段與分布式的路由器相關聯，極大的降低了對IDC網絡的需求。如下圖所示，在平臺管理員創建完額外的外網及網段后（External Network 2 & 3），租戶可以在控制臺中從EIP Pool 1, 2 &3中隨機挑出一個公網IP，綁定到其指定的虛機或者物理機上

<圖示9：思華ExpressNET取消限制，支持多公網網段>

4、ExpressNET擴展OpenStack 網絡功能，支持VPC與線下IDC互聯互通：盛大游戲案例中必須要考慮用戶云上資源和原有IDC的互聯互通，典型的應用場景是各工作室或者技術部門既有在原平臺中的Legacy系統，又有新業務在G云2.0上開展，同時新舊系統需要二層或者三層網絡直通而不經過NAT。如下圖所示，思華ExpressNET方案利用分布式虛擬路由器和底層Underlay網絡設備，實現了云上VPC與云下IDC不經過NAT轉換的網絡直通，云上的虛機或者物理機可以直接訪問盛大游戲原有Legacy系統的IP，不僅滿足了用戶原有的使用習慣，降低了上云的復雜度，同時保證了網絡的延續性和透明性。

<圖示10：思華ExpressNET實現VPC與線下IDC互聯互通>

5、ExpressNET支持跨IDC的VPC Peering：雖然該需求目前在盛大云平臺中并不是非常強烈，但是伴隨著多地IDC服務的提供，部分平臺使用者希望將分散在各地IDC的VPC進行互通，這也是很多公有云例如 AWS、阿里云所推出的VPC Peering網絡服務。相應的解決方案可以按照以前AWS或者阿里云以用戶VPC為單位，部署相應的軟件VPN網關，實現VPC的互聯互通，但是缺點是用戶參與度過高，部署方案復雜，性能受限。參考了最新的阿里云和AWS的VPC Peering高速互聯方案，依托盛大游戲原有的內網資源，思華ExpressNET通過在虛擬路由器中引入成熟的靜／動態路由協議，結合外部網絡設備，打造一張高性能、高擴展性的DCI（數據中心互連）網絡。數據中心之間的網絡設備借助成熟的BGP-EVPN技術實現控制平面，依舊采用VxLAN作為轉發平面保證整個設計的一致性。

<圖示11：思華ExpressNET實現跨IDC的VPC Peering>

通過引入思華科技ExpressNET SDN解決方案后，盛大游戲G云2.0網絡平臺SDN收獲的不僅僅是數據中心、基礎架構，而是包括盛大游戲各個場景的服務和功能，都能在通用的策略框架下實現高效、可靠、安全地運營，實現無縫的移動性、無縫的工作負載遷移。

盛大游戲技保平臺中心總監應華說，“在建設G云2.0之初，我們也分析參考了市面上多家SDN的技術，包括原生Neutron，多少都存在一些缺陷和不足，并考慮到被單一廠家從軟件到硬件全部綁定的風險。最終我們決定選擇思華ExpressNET作為G云2.0的網絡架構，主要還是看重ExpressNET采用了SDN白牌交換機和開放API相結合的方式，各個IDC可以選擇不同廠家的網絡設備，有效降低了對單一硬件廠商的依賴度。再加上思華多年的技術積累，能夠為盛大游戲提供定制化的SDN開發服務，是我們值得信賴的長期合作伙伴。”