在過去的三四年里，人工智能推理市場發生了巨大變化。以前，甚至不存在邊緣人工智能，大多數推理能力都發生在數據中心、超級計算機或政府應用程序中，這些應用程序通常也是大型計算項目。在所有這些情況下，性能都是至關重要的，并且始終是重中之重。快進到今天，邊緣人工智能市場與此截然不同，尤其是當它進入更多商業應用時。對于這些用例，主要關注點更多的是低成本、功耗和小尺寸；而更少關于原始性能。

通過硬件-軟件協同設計平衡更好的性能

在查看推理芯片時，很明顯一種芯片與另一種不同。設計師總是在他們的設計中做出選擇，而好的選擇會考慮他們的最終應用以及他們在這些應用中的限制。例如，當 Flex Logix 設計其第一個推理芯片時，它最初的大小是現在的 4 倍。我們很快意識到，芯片需要更小才能在成本更低、功耗更低、外形尺寸更小的邊緣 AI 市場中占據一席之地。

有趣的是，大多數人最初認為大多數推理總是在數據中心完成。這種觀點最終發生了變化，因為行業意識到它有太多的數據需要移動，因此，這些數據開始向邊緣移動。隨著 5G 開始出現，更清楚的是，不可能始終將原始數據發送到云端進行處理。顯然，邊緣必須有一定的智能才能解決 99.9% 的場景，而數據中心實際上只需要用于極端情況。一個完美的例子是安全攝像頭。邊緣 AI 需要能夠確定是否發生了任何可疑活動以及周圍是否有人。然后，如果發現任何有趣的東西，這些部分可以發送到數據中心進行進一步處理。然而，發送到數據中心的數據實際上只是整體推理的一小部分。邊緣推理 AI 通常意味著要滿足很多約束，有時如果你想運行非常大的復雜模型，你實際上只需要在很小一部分數據上運行這些模型。

早期邊緣 AI 推理設計的另一個誤解是，一刀切的方法就足夠了。這也被證明是錯誤的，因為出現了展示其優勢和力量的專用芯片。關鍵是圍繞算法構建芯片，因為如果它真的能在算法上磨練，你可以獲得更好的性能。正確的平衡實際上是像專用硬件一樣獲得最有效的計算，但在編譯時具有可編程性。

可編程性是關鍵

該行業確實處于人工智能發展的風口浪尖。在接下來的幾十年里，我們將在這個領域看到的創新將是驚人的。就像任何長壽的市場一樣，您可以期待變化。這就是為什么不為某些客戶模型設計超級專業的芯片變得至關重要的原因。如果我們今天這樣做，那么當芯片在兩年后到達客戶手中時，模型可能會發生重大變化——客戶的要求也會發生變化。這就是我們不斷聽到有關公司最終獲得他們的人工智能推理芯片的故事的主要原因——然后發現它們的表現并沒有像他們需要的那樣。如果將可編程性內置到芯片架構中，則可以輕松解決該問題。

如今，在任何邊緣 AI 處理器中，AI 的靈活性和可編程性都至關重要。客戶的算法會定期發生變化，系統設計也會發生變化。隨著 Edge AI 功能在主流中的推廣，越來越清楚的是，芯片設計人員需要能夠適應和改變客戶模型，而不是根據他們“認為”的模型來選擇它。我們一次又一次地看到這一點，這就是編譯器如此重要的原因。編譯器中有很多對最終用戶隱藏的技術，這些技術是圍繞分配資源以確保一切都以最少的功率高效完成的。

另一個被密切關注的關鍵特性是吞吐量。現在正在構建好的推理芯片，以便它們可以非常快速地通過它們移動數據，這意味著它們必須非常快速地處理這些數據，并且非常快速地將其移入和移出內存。通常，芯片供應商會拋出各種各樣的性能數據，例如 TOPS 或 ResNet-50，但研究這些數據的系統/芯片設計人員很快就會意識到這些數據通常毫無意義。真正重要的是推理引擎可以為模型、圖像大小、批量大小和過程以及 PVT（過程/電壓/溫度）條件提供多少吞吐量。這是衡量其性能表現的第一個衡量標準，但令人驚訝的是，很少有供應商提供它。

邊緣人工智能向前發展

今天的許多客戶都渴望吞吐量，并正在尋找能夠以與他們現在使用的相同功率/價格為他們提供更高吞吐量和更大圖像尺寸的解決方案。當他們得到它時，他們的解決方案將比競爭解決方案更準確和可靠，然后他們的市場采用和擴展將加速。因此，盡管今天的應用程序有數千或數萬個單位，但我們預計隨著推理的可用性，這種情況會迅速增長，從而提供越來越多的吞吐量/美元和吞吐量/瓦特。

邊緣人工智能市場正在迅速增長，芯片供應商也在這個市場上爭奪一席之地。事實上，到 2020 年代中期，人工智能銷售額迅速增長至數百億美元，其中大部分增長來自邊緣人工智能推理。沒有人可以預測未來的模型，這就是為什么在設計時考慮到靈活性和可編程性更為重要

審核編輯：郭婷