每個人都喜歡談論邊緣AI，但卻不提AI與嵌入式世界之間長期存在的鴻溝。邊緣AI設計人員陷入了無休止的“優化”循環中，他們不得不在硬件上調整神經網絡模型并達到可接受的精度。他們急需工具來減負。這關系到邊緣AI部署的規模。

Eta Compute的CEO Evan Petridis最近表示：“如今，邊緣AI正處于‘這個令人不安的路口’。邊緣AI橫跨兩個領域，機器學習（ML）和嵌入式。這兩個截然不同的領域既沒有相同的語言，也沒有相同的設計理念。”

最明顯的差距在于技術和產品開發的速度。ML的發展速度是普通硬件設計人員從未見過的。另一方面，嵌入式領域的芯片會隨著時間的推移而不斷演進，其產品開發速度要穩定得多、保守得多。

最令嵌入式社區感到不安的是，兩個領域的專家對其設計和工程嚴謹性的看法大相徑庭。

數據科學家開發的神經網絡模型都是統計性的。Petridis說：“因此，當他們能讓一個模型正確工作時，例如92%，他們就認為自己贏了。然而，在傳統的嵌入式世界中，如果你犯了一個錯誤，你交付的東西在100%不能正常工作，你會遇到巨大的經濟問題……運營問題是巨大的。”

Petridis說，結果就是“文化沖突、領域知識沖突和開發周期沖突”。他認為這種沖突可能會“極大地阻礙邊緣AI產品的部署”。

Aptos

Eta Compute剛剛推出了一款名為Aptos的云端軟件平臺，這標志著該公司業務模式的又一次轉折。Eta Compute于2015年作為一家AI芯片初創公司起步，然后在2020年底成為一家軟件IP供應商。現在，它是一家SaaS平臺公司。

Eta Compute的轉型反映了仍處于萌芽期的邊緣AI市場的磨合期陣痛，也反映了許多AI硬件初創公司在尋找最終創收點時的掙扎。

Eta Compute解釋說：“Aptos是一個新的基于網絡的平臺，它帶來了對嵌入式系統領域的理解，包括所選芯片的軟件和芯片的AI能力和局限性。”該公司聲稱，其基于網絡的工具鏈“可以簡化邊緣ML的模型開發、部署和管理的整個流程周期”。

Petridis總結道，“我們希望打造一款處于嵌入式和ML領域交匯點的工具。”

不過，Eta Compute并不是第一個開發旨在連接嵌入式和AI領域的工具的公司。Edge Impulse成立于2019年，聲稱其工具集“讓嵌入式ML應用的構建、部署和擴展過程變得更簡單、更快速”。

Edge Impulse更專注于“漏斗的頂部”，讓硬件公司“輕松上手”，而Petridis則認為，Eta Compute的Aptos將滿足系統設計人員深入挖掘和開發“值得生產的edge AI模型”的需求。

邊緣AI市場的格局

這兩家公司的工具的潛在市場似乎都很大，因為邊緣AI是人人都在拼命搶奪和快速增長的細分市場。當然，AI加速器初創公司和AI推理SoC設計公司都寄希望于邊緣技術，以便在嵌入式市場中占據有意義的份額，因為Nvidia還沒有像在數據中心那樣占據主導地位。

包括ST、Renesas和NXP在內的傳統MCU公司也在努力將AI納入其產品組合。

例如，Silicon Labs周二發布了一款名為Series 3的嵌入式IoT平臺，內置AI/ML引擎。Silicon Labs的CTO Daniel Cooley說：“有了更多的內存和算力，我們的ML能力或矢量計算能力將比現在提高100倍。”

Silicon Labs在過去15年中對經典MCU已經進行了全面的“重新思考”，Cooley說，“這些MCU從一開始就連接在一起，它們將為ML帶來更多的算力。”他預測，ML將“在嵌入式領域變得更加有趣……就像在數據中心、移動和汽車領域一樣”。

盡管如此，邊緣AI項目的實際投產率卻低得令人沮喪。

Eta Compute自身在邊緣AI市場的經驗告訴該公司，盡管進行了大量實驗、原型和PoC，但邊緣AI產品根本沒有得到批量部署。早在Petridis加入之前，這就是Eta Compute的大問題，盡管它擁有專為超低功耗AIoT應用而優化的異構多核SoC。

部署延遲不僅困擾著Eta Compute，也困擾著所有AI芯片公司。

拓展問題的根源

IDC將擴展問題歸咎于“成本（即硬件加速器和計算資源）、缺乏熟練人員、缺乏ML操作工具和技術、缺乏足夠的數據量和數據質量，以及信任和治理問題”等。

對于邊緣AI開發人員來說，基本的擴展問題可歸結為三個因素：需要手工制作AI模型以實現準確性、數據科學家和硬件設計人員之間的不斷來回循環，以及邊緣AI應用的碎片化性質。

雖然AI芯片公司通常都配備了自己的編譯器，但在ML優化方面卻面臨著困難。為了保留功能，編譯器通常會降低表示法，例如從C語言到匯編語言，或從行為RTL到結構RTL。

ML推理IP公司Quadric的CMO Steve Roddy解釋說，但對于ML優化而言，編譯器并不能完成這項工作，因為“你實際上是在刪除東西”。“工具鏈實際上是在告訴數據科學家，嘿，你的行李中有很多多余的東西，你真的不需要了。”Roddy將這種窘境比作帶著超重行李出現在機場，雖然預訂的是廉價航空的機票。

Roddy說：“因為所有東西都必須裝進隨身行李，所以我打開你的行李，開始把你所有的衣服都扔出來。”

這實際上就是數據科學家建立一個極其復雜的神經網絡模型時發生的情況。ML中的剪枝、稀疏性或量化任務“與標準編譯器的工作截然不同”。

但是，從我的行李中取出衣服是誰的工作呢？

Roddy解釋說，通常是嵌入式人員和數據科學家。有些公司有“數據工程師”或“ML工程師”，專門負責填補空白。

Petridis喜歡行李箱的比喻。

但他補充說，ML優化涉及的參數超出了體積縮小的范圍，可能會重塑模型。“ML的多維性可能會把你的包變成一個極其奇怪的形狀，甚至會像一個星形包。”

Petridis說，考慮一下特定的神經網絡操作。“你可以在Arm內核上運行它，或者如果你有加速器和 NPU，這可能有助于將運行速度提高20倍或50倍。但這不如通用CPU靈活。”

Petridis說，鑒于硬件和軟件性能存在諸多變數，優化變得“星羅棋布”。他指出，人們通常很難跟蹤工藝優化中的所有變量。有“一小撮人，通常是芯片公司的人，他們通過研究特定的架構成長起來，并開發出了一套特定的啟發式方法，讓你知道如何繪制出東西”。這種優化方式可能對某個項目有效，但如果讓AI芯片公司只追求特定的邊緣AI項目，而不去擴展，那就會釀成大禍。

有了Aptos，Eta Compute就可以省去數據科學、神經網絡模型和復雜映射方面的人工雕琢。Petrides解釋說，它應用ML來發現芯片性能、剖析芯片并抽象硬件。

當他在2021年加入Eta Compute時，“我們圍繞著構建正確的軟件基礎設施這一主張重塑了公司”，以支持邊緣AI。Petrides解釋說，Eta Compute不再是一家芯片公司，而是加強了ML工程，將60%的專家投入ML，三分之一的專家投入嵌入式系統。

贏得嵌入式工程師的信任

Eta Compute設計的Aptos將來回優化過程簡化為一個步驟。

Petridis說：“我們通過對硬件進行抽象來實現這一點。我們讓它足夠準確，這樣嵌入式工程師就可以相信它了。最后，Aptos提供了一個模型，例如，在一個特定的芯片上實現了90%的準確率，運行時間為17毫秒，耗電量為1.1毫焦。”Petridis強調說：“這不是估計、猜測或近似值。這是測量值。因此，如果你把這個模型集成到你的軟件模型中，并在你的系統上運行，你將得到完全相同的結果。”

從本質上講，Eta Compute聲稱Aptos可以從嵌入式AI系統目前使用的任何架構中提取最大容量。Petridis說：“這并不神奇，因為我們的方法是使用供應商的工具，深入到他們的編譯器內部，因為編譯器希望以某種方式分配任務。”

據Petridis稱，剛推出的Aptos仍處于測試階段，只有少數人參加了其早期訪問計劃。

ML和嵌入式社區之間的鴻溝既廣又深。包括Eta Compute和Edge Impulse在內的越來越多的供應商認為，軟件基礎設施的不足阻礙了商業邊緣AI產品潛在的爆炸性增長。






審核編輯：劉清