微軟團隊推出了一個新的深度學習加速平臺，其代號為腦波計劃（Project Brainwave），機器之心將簡要介紹該計劃。腦波計劃在深度學習模型云服務方面實現了性能與靈活性的巨大提升。微軟專為實時人工智能設計了該系統，它可以超低延遲地處理接收到的請求。云基礎架構也可以處理實時數據流，如搜索查詢、視頻、傳感器流，或者與用戶的交互，因此實時 AI 變的越發重要。

近來，FPGA 對深度學習的訓練和應用變得越來越重要，因為 FPGA：低批量大小上的優秀推理性能、在現代 DNN 上服務的超低延遲、>10X 且比 CPU 和 GPU 更低、在單一 DNN 服務中擴展到很多 FPGA。FPGA 十分適合適應快速發展的 ML、CNN、LSTM、MLP、強化學習、特征提取、決策樹等、推理優化的數值精度、利用稀疏性、更大更快模型的深度壓縮。

微軟在 FPGA 上擁有全球最大的云計算投資、AI 總體能力的多實例操作、腦波計劃運行在微軟的規?；A設施上。所以我們發布了腦波計劃（Project BrainWave），一個可擴展的、支持 FPGA 的 DNN 服務平臺，它有三個特性：小批量 DNN 模型有超低延遲、高吞吐量服務，適應性數值精度與自定義運算符，CNTK/Caffe/TF/等的交鑰匙（turnkey）部署。

腦波計劃系統的主要內容包括以下三個層面：一個高性能的分布式系統架構；一個集成在 FPGA 的硬件 DNN 引擎；一個用于已訓練模型的低摩擦（low-friction）部署的編譯器和運行時間。

首先，腦波計劃利用了微軟這些年一直部署的大量 FPGA 基礎架構。通過把高性能 FPGA 直接連接到我們的數據中心網絡，我們可以把 DNN 作為硬件微服務，其中 DNN 可以映射到一個遠程 FPGA 池，并被循環中沒有軟件的服務器調用。這個系統架構不僅可以降低延遲（因為 CPU 并不需要處理傳入的請求），還可以允許非常高的吞吐量，并且 FPGA 處理請求可以如網絡的流式傳輸一樣快。

第二，腦波計劃使用了一個強大的在商業化可用的 FPGA 上合成的「軟」DNN 處理單元（DPU）。大量的公司，包括大型公司和一大批初創公司，正在構造硬化的 DPU。盡管其中一些芯片具有高峰值性能，但它們必須在設計時選擇運算符和數據類型，這限制了其靈活性。腦波計劃采取了另一種方法，提供了一個可在一系列數據類型上縮放的設計。

這個設計結合了 FPGA 上的 ASIC 數字信號處理模塊和可合成的邏輯，以提供一個更大更優化數量的功能單元。這一方法以兩種方式利用了 FPGA 的靈活性。首先，我們已經定義了高度自定義、窄精度（narrow-precision）的數據類型，無需損失模型精度即可提升性能。第二，我們可以把研究創新快速整合進硬件平臺（通常是數周時間），這在快速移動的空間中至關重要。因此，我們取得了可媲美于甚至超過很多硬編碼（hard-coded）DPU 芯片的性能，并在今天兌現了性能方面的承諾。

單線程 C 編程模型（沒有 RTL），具有專門指令的 ISA：密集矩陣乘法、卷積、非線性激勵值、向量操作、嵌入，獨有的可參數化的窄精度格式，包含在 float16 接口中，可參數化的微架構，并且擴展到大型 FPGA（~1M ALMs），硬件微服務完全整合（附設網絡），用于 CPU 主機和 FPGA 的 P2P 協議，易于擴展帶有自定義運算符的 ISA。

優化以適用于批量為 1 的矩陣向量乘法，矩陣逐行分布在 BRAM 的 1K-10K 個內存塊上，最高 20 TB/s，可擴展以使用芯片上所有可用的 BRAM、DSP 和軟邏輯（soft logic），將 float 16 權重和激活值原位轉換成內部格式，將密集的點積單元高效映射到軟邏輯和 DSP。

第三，腦波計劃納入了一款支持多個流行深度學習框架的軟件棧（software stack）。我們已經支持微軟 Cognitive Toolkit 和谷歌的 Tensorflow，并且計劃支持其他框架。我們已經定義了一個基于圖的中間表示（intermediate representation），我們將在流行框架中訓練的模型轉換成中間表示，然后再將其編譯成我們的高性能基礎架構。