隨著人工智能和物聯網技術的融合，AIoT（人工智能物聯網）的概念應運而生，即AI（人工智能）+IoT（物聯網）。目前，邊緣AI正廣泛應用于工業領域，這種技術可以為工業物聯網邊緣的多傳感器分析和機器學習應用提供最低的時延、功耗和成本。在工業領域，當前熱門的邊緣AI應用包括工業機器人、智慧路燈、智能監控等。

目前，在AI計算平臺使用最廣泛的兩種加速部件是GPU和FPGA。GPU已經在深度學習訓練模型領域開創性地創建了包含CNN、DNN、RNN、LSTM以及強化學習網絡等算法在內的應用加速平臺和完整的生態系統。深度學習包含兩個計算環節，即線下訓練和線上推理環節。GPU在深度學習算法模型訓練上非常高效，但在推理時，一次性只能對于一個輸入項進行處理，并行計算的優勢不能發揮出來.

相比較而言，運行深度學習算法實現同樣的性能，GPU所需功耗遠大于FPGA，通常情況下，GPU只能達到FPGA能效比的一半或更低。目前來看，深度學習算法還未完全成熟，算法還在迭代衍化過程中，若深度學習算法發生大的變化，GPU無法像FPGA一樣可以靈活的配置硬件結構，快速切入市場。

01、FPGA有啥優勢?什么樣的場景更適合FPGA?

CPU是一種非常通用的架構，它的工作方式基于一系列的計算機指令，也稱為“指令集”。簡單來說，CPU從內存中提取一小部分數據，放在寄存器或者緩存中，然后使用一系列指令對這些數據進行操作。操作完畢后，將數據寫回內存，提取另一小部分數據，再用指令進行操作，并周而復始。我把這種計算方式稱為“時域計算”。

不過，如果這些需要用指令進行處理的數據集太大，或者這些數據值太大，那么CPU就不能很高效的應對這種情況。這就是為什么在處理高速網絡流量的時候，我們往往需要使用定制芯片，比如網卡芯片等，而不是CPU。這是因為在CPU中，即使處理一個字節的數據也必須使用一堆指令才能完成，而當數據流以每秒125億字節進入系統時，這種處理方式哪怕使用再多的線程也忙不過來。

對于GPU來說，它所擅長的是被稱作“單指令多數據流（SIMD）”的并行處理。這種處理方式的本質是，在GPU中有著一堆相同的計算核心，可以處理類似但并不是完全相同的數據集。因此，可以使用一條指令，就讓這些計算核心執行相同的操作，并且平行的處理所有數據。

首先，深度學習包含兩個計算環節，即訓練和推理環節。GPU強在訓練，而FPGA強在推斷，FPGA 同時擁有流水線并行和數據并行，因此處理任務時候延遲更低。例如處理一個數據包有10 個步驟，FPGA 可以搭建一個10 級流水線，流水線的不同級在處理不同的數據包，每個數據包流經10 級之后處理完成。每處理完成一個數據包，就能馬上輸出。通常來說，FPGA 加速只需要微秒級的PCIe 延遲。當Intel 推出通過QPI快速通道互聯的Xeon + FPGA 之后，CPU 和FPGA 之間的延遲甚至可以降到100 納秒以下。

其次，FPGA是可編程芯片，算法燒錄更加靈活。目前來看，深度學習算法還未完全成熟，算法還在迭代衍化過程中，若深度學習算法發生大的變化，FPGA是軟件定義硬件，可以靈活切換算法，快速切入市場。

02、FPGA的計算性能在其他領域的應用

除了在AI的線上推理方向，FPGA在其他很多方面也能發揮價值。在面向計算密集型任務，比如矩陣運算、圖像處理、機器學習、壓縮、非對稱加密、搜索的排序等的時候，擁有流水線并行和數據并行的FPGA效率會高很多

03、FPGA的獨特優勢有哪些?

傳統的FPGA的開發類似于芯片的開發，采用硬件描述語言（HDL）開發，HDL開發帶來的問題就會像芯片設計一樣周期會比較長，從架構設計、到仿真驗證、再到最終完成，需要一年左右的開發時間。

但是互聯網的業務迭代速度極快，在幾個月時間內就可能完成龐大用戶群的積累，因此業務對于數據中心的要求是“快”—計算力平臺的升級要盡量快地滿足業務的發展，因此FPGA的傳統開發模式動輒以半年或年為單位的開發周期難以滿足需求。

為此嘗試通過OpenCL高級語言開發方式，它把底層的硬件如總線、IO接口、訪存控制器等和底層軟件如驅動、函數調用等全部封裝，變成標準單元提供上層支持，用戶只需要關注算法本身，OpenCL開發的邏輯通過編譯工具直接映射到FPGA中，開發周期從至少1年縮短至4個月以內。

04、FPGA可以應用在哪些領域?

在機器學習領域、金融領域、大數據領域、基因檢測領域都存在比較大的數據量需要分析計算，這些是FPGA可以發揮高吞吐優勢的領域。

網絡安全領域有更安全、更低延時的需求，這些場景也可以發揮FPGA低延時的優勢。

超大規模圖像處理，這些圖片的處理都使用FPGA來進行處理加速，都可以得到滿意的效果。

現在比較熱門的自然語言處理和語音識別這些也都是FPGA可以發揮優勢的場景。

當FPGA成為一種計算力服務，有著高效的硬件、成熟的IP和云化管理，你還在顧慮什么?

未來，CPU+FPGA或許將作為新的異構加速模式，被越來越多的應用領域采用。

編輯：hfy