隨著實時服務浪潮逐漸滲透進我們的日常生活，計算基礎設施也開始迎來重大變化。從使用自然語言提供即時型個人智能助手，到通過店面分析生成與客戶購物行為相關的結論信息，各類實時服務的出現給服務供應商帶來了前所未有的巨大市場空間。

為了從這些服務中獲取價值，一大基本前提就是保證數據與洞見結論的即時可訪問能力;很明顯，這種能力在很大程度上需要AI技術作為基礎。也正因為如此，Amazon Web Services（AWS）、微軟、阿里巴巴以及SK電信等云服務巨頭都在開發自己的計算基礎設施，用于提供這類服務方案。

數據中心運營商現在也需要優化計算以滿足實時響應要求。為此，IT架構不僅要解決持續快速變化的工作負載與算法需求（主要由AI驅動），同時必須進一步提升計算資源與存儲/網絡資源的集成水平。

這就給服務供應商帶來了新的難題：要求他們提供一套能夠實現差異化優勢與卓越性能，同樣具備高吞吐量、低延遲與靈活軟件/硬件堆棧的基礎設施平臺。這套平臺還必須能夠處理從遞歸神經網絡、長期/短期內存網絡、卷積神經網絡以及基于Apache Spark集群計算框架的查詢加速等實際任務。

為了建立起這樣的差異化優勢，服務供應商開始自主構建與眾不同的硬件與軟件堆棧。例如，AWS Advanced Query Accelerator就是一套包含定制化軟件與可編程硬件堆棧的數據分析平臺。SK電信最近也立足自家定制化軟件與可編程硬件堆棧，開發出支持AI技術的語音與視頻分析方案。

下一輪計算還需要具備自適應性，將軟件與硬件合并在一處，且硬件與軟件都要擁有可編程性以滿足業務用例對于實時性能、最高吞吐量以及低延遲/低功耗的要求。隨著實時解決方案的增長與人工智能技術的發展，工作負載的日益提升以及非結構化數據的爆炸式增長，數據中心的發展方向正朝著加速計算、存儲與網絡適應性前進。

實時預測

學術研究人員目前正利用高性能計算（HPC）解決真實世界中存在的各類高復雜度問題。為了加快洞察處理過程與大規模HPC部署工作，原始計算能力、能源效率與適應性已經成為決定項目最終命運的先決條件。

為了回答世界上最具挑戰性的科學問題之一，歐洲粒子物理實驗室（CERN）約2萬名科學家組成的聯盟正試圖重現宇宙的起源。為此，研究人員必須不斷突破技術極限。

大型強子對撞機是世界上最大的粒子加速器。總長27公里的環形隧道由超導磁體組成，可將粒子加速到前所未有的能量水平。每個質子每秒繞隧道運行11000圈，速度接近于光速。環形隧道上還部署有四個定位點（質子每25納秒經過一次），質子將在這里發生碰撞。對撞的條件將由粒子探測器捕捉并記錄。

整個觸發系統分兩層實現——第一層觸發要求AI技術在約3微秒周期內完成事件處理，這對其推理延遲提出了極高的要求。至于第二層，自然是大量的數據傳輸帶寬。

CPU與GPU根本無法滿足這樣的要求。因此，研究人員在地下100米深、且不受輻射區影響的位置構建起一套用于運行分析算法的FPGA網絡。該算法旨在即時過濾生成的數據并識別新型亞粒子結構，借此證明暗物質的存在乃至其他重要物理現象。這些FPGA將同時運行經典與卷積神經網絡，負責接收并校準傳感器數據、執行跟蹤與聚類、運行機器學習對象識別并觸發功能——所有操作都需要在事件數據的格式化與交付之前完成。結果就是，這套網絡帶來了極低的推理延遲（約100納秒）。

為實時分析提供存儲支持

高速存儲方案的采用，以及現實用例對于數據密集型應用程序的更高性能要求，已經令現有CPU、內存與存儲淪為瓶頸。為此，研究人員的探索重點由計算能力轉向通過計算存儲完成數據處理。這樣的轉變，也給應用程序性能與基礎設施整體效率帶來了深遠影響。

最可行的解決方案，自然是盡可能縮小計算與數據間的距離。將數據分析與存儲集成在一起，能夠極大減少系統層面的數據瓶頸、提高并行度，同時降低總體功耗水平。這種方法也得到IBM及美光科技等廠商的支持，他們據此開發出加速存儲與計算存儲產品，保證一切處理方案緊緊圍繞在數據周邊。三星電子還推出SmartSSD，將閃存作為主干建立高性能加速計算體系，借此克服CPU與內存帶來的限制。通過將智能元素推送至數據所在的位置，三星SmartSSD成功提高了速度與效率，同時降低了運營成本。

復雜網絡

隨著虛擬化計算與容器化工作負載的出現，網絡也變得越來越復雜。在將這些環境擴展到單一服務器之外時，我們必須與其匹配復雜的覆蓋網絡。覆蓋網絡的本質，屬于通過分組封裝概念動態創建并維護的虛擬化系統。對這種封裝進行監管，必然會增強操作系統或虛擬化內核的處理負擔。在與傳統網絡任務配合使用時，這類方案會直接消耗掉近30%的服務器原始CPU周期。

目前比較常見的覆蓋網絡管理方法當屬vSwitch（OvS）協議。基于FPGA的SmartNIC（網卡）能夠把這近30%的計算負擔從主機CPU轉移到自身之上。簡而言之，三臺配備OvS協議SmartNIC的服務器，足以提供等同于四臺配備標準網卡的服務器的計算能力。

基于FPGA的SmartNIC還能顯著降低服務器CPU在執行安全與加密任務時面臨的計算負擔。目前的安全保障方案通常采取深度數據包檢查的形式;一旦發現數據包中存在威脅，則將該數據包丟棄。這種方法能夠增強甚至徹底取代企業在服務器上運行的傳統防火墻軟件。另外，SmartNIC也可以輕松承擔起各類加密與解密任務。

新的世界，新的秩序

在實時服務新時代之下，考慮到成本、功耗以及純CPU的擴展能力等各類限制性條件，單純使用CPU或者多核心CPU來滿足業務需求早已不具備可行性。對于大多數復合型工作負載而言，單純投入更多服務器CPU已經永遠無法帶來必要的性能表現。

隨著摩爾定律的逐步終結，下一代CPU恐怕也無法解決這些實際問題。因此，自適應計算加速器將成為一種可行的解決方案，有望在滿足廣泛計算需求的同時，極大提高擴展能力以幫助企業控制運營成本。