先進(jìn)計(jì)算技術(shù)如今已成為提升生產(chǎn)力和改變?nèi)粘ｓw驗(yàn)的普遍工具。以汽車領(lǐng)域?yàn)槔呒?jí)駕駛輔助系統(tǒng)（ADAS）具備處理大量計(jì)算密集型任務(wù)的能力，從攝像頭數(shù)據(jù)預(yù)處理直到傳感器融合和路徑規(guī)劃，而且這些均不影響車輛的正常行駛里程。

邊緣計(jì)算方面的最新創(chuàng)新包括Wayve的LINGO-2，這是一個(gè)基礎(chǔ)模型，將視覺(jué)、語(yǔ)言和行動(dòng)聯(lián)系起來(lái)，用以解釋和確定駕駛行為。這類解決方案正推動(dòng)汽車行業(yè)走向新的方向，其中車輛中的AI能夠提供諸如直覺(jué)、語(yǔ)言響應(yīng)界面、個(gè)性化駕駛風(fēng)格以及協(xié)同駕駛等功能，從而增強(qiáng)自動(dòng)駕駛體驗(yàn)。

在邊緣計(jì)算的其他領(lǐng)域，AI筆記本電腦提供了諸多優(yōu)勢(shì)，從借助AI賦能的內(nèi)容創(chuàng)作工具以提高生產(chǎn)效率，到能夠在本地運(yùn)行而無(wú)需與云共享用戶數(shù)據(jù)的協(xié)同駕駛。這些筆記本電腦將需要比以往任何移動(dòng)PC更強(qiáng)的AI性能；微軟新推出的Copilot+PC就采用了GPT-4模型和40+TOPS的配置，同時(shí)具備輕薄設(shè)計(jì)和全天候續(xù)航能力。

邊緣基礎(chǔ)模型

AI達(dá)到這一能力水平并非因?yàn)?a target="_blank">程序員最終成功地將人腦轉(zhuǎn)化為代碼，而是研究人員成功地將云中可用的大量加速計(jì)算應(yīng)用于通用模型，正如Rich Sutton在其《苦澀的教訓(xùn)》（The Bitter Lesson）論文中所討論的那樣。基于上述提到的GPT-4等通用基礎(chǔ)模型進(jìn)行微調(diào)的解決方案，正成為普及AI的首選方法。與其創(chuàng)建特定領(lǐng)域的算法，不如使用功能強(qiáng)大、可跨多個(gè)領(lǐng)域應(yīng)用的模型，這些模型利用云資源與大量多模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練，然后針對(duì)特定應(yīng)用和設(shè)備進(jìn)行微調(diào)。

為了適應(yīng)邊緣環(huán)境，這些經(jīng)過(guò)調(diào)整的模型需要在更小、功能極具受限的設(shè)備上運(yùn)行，這些設(shè)備具有嚴(yán)格的安全標(biāo)準(zhǔn)、有限的電源供應(yīng)和不穩(wěn)定的互聯(lián)網(wǎng)連接。它們不僅要提供基本的推理能力，還要支持設(shè)備上的微調(diào)和終身持續(xù)學(xué)習(xí)。此外，它們還需要與維護(hù)最佳用戶體驗(yàn)的關(guān)鍵日常功能共享系統(tǒng)級(jí)芯片（SoC），如用戶界面、圖像處理和音頻處理。

然而，盡管在可用性能、熱管理技術(shù)甚至是商業(yè)模式方面存在差異，邊緣AI仍可借鑒AI在云計(jì)算中成功的理念：即從加速器硬件到AI框架的所有方面都使用通用方法。隨著晶體管縮放和新封裝技術(shù)的進(jìn)步，計(jì)算量即便大幅增加也可輕松擴(kuò)展。是以，為支持客戶在邊緣AI取得成功，Imagination同時(shí)采用了以下兩種方案策略：

基于開放標(biāo)準(zhǔn)開發(fā)軟件

• 提升通用計(jì)算加速器的硬件能力

基于開放標(biāo)準(zhǔn)開發(fā)軟件

Imagination在邊緣AI的交付中采取軟件優(yōu)先的方法，以最大化硬件的可編程性和靈活性。啟用優(yōu)化庫(kù)等軟件和工具包提供了一種機(jī)制，以實(shí)現(xiàn)最高效率和對(duì)調(diào)度及內(nèi)存管理的嚴(yán)格控制。目前已經(jīng)有一個(gè)不斷增長(zhǎng)的框架和庫(kù)生態(tài)系統(tǒng)，它們以O(shè)penCL后端為基礎(chǔ)，加速上市時(shí)間，并提供了作為異構(gòu)計(jì)算系統(tǒng)子集進(jìn)行更高級(jí)優(yōu)化和集成的機(jī)會(huì)。它涵蓋了AI部署環(huán)境以及計(jì)算機(jī)視覺(jué)和其他通用計(jì)算庫(kù)。

合作是成功的關(guān)鍵。去年，Imagination與其他領(lǐng)先科技公司一起，作為創(chuàng)始成員加入了UXL基金會(huì)，這是一個(gè)被稱為與NVIDIA封閉CUDA語(yǔ)言相抗衡的開放、跨平臺(tái)、供應(yīng)商中立組織。該基金會(huì)正在開發(fā)oneAPI編程模型和DPC++ SYCL實(shí)現(xiàn)。通過(guò)使這一計(jì)劃成為Linux基金會(huì)下真正的開源項(xiàng)目，UXL基金會(huì)為像Imagination 這樣的公司提供了催化劑，將已經(jīng)在高性能計(jì)算領(lǐng)域廣泛應(yīng)用的oneAPI標(biāo)準(zhǔn)的優(yōu)勢(shì)，擴(kuò)展到邊緣計(jì)算領(lǐng)域。這將在應(yīng)對(duì)計(jì)算應(yīng)用的程序快速開發(fā)和跨平臺(tái)復(fù)用的挑戰(zhàn)中發(fā)揮重要作用。

Imagination正通過(guò)UXL基金會(huì)積極參與并影響oneAPI標(biāo)準(zhǔn)的制定，同時(shí)我們也在為邊緣平臺(tái)開發(fā)和推出下一代計(jì)算工具和軟件堆棧。我們與合作伙伴和客戶緊密合作，鼓勵(lì)更廣泛地參與并采用這一標(biāo)準(zhǔn)。我們旨在為開發(fā)過(guò)程中的所有利益相關(guān)者，提供易于訪問(wèn)的適用于Imagination平臺(tái)的工具包，這些工具包將提供符合當(dāng)前邊緣計(jì)算應(yīng)用開發(fā)周期典型需求的“功能性到高性能再到最優(yōu)”的工作流程，同時(shí)也利用構(gòu)建和運(yùn)行時(shí)目標(biāo)獨(dú)立性的優(yōu)勢(shì)。

提升通用計(jì)算加速器的能力

Imagination幫助客戶在邊緣AI領(lǐng)域取得成功第二個(gè)策略，主要通過(guò)保持硬件靈活性和可編程性的同時(shí)，向邊緣設(shè)備注入更強(qiáng)的計(jì)算性能。目前，邊緣計(jì)算加速通常在以下處理器類型中進(jìn)行：

中央處理器（CPUs）：SoC的傳統(tǒng)控制中心和主要工作組件；CPU越來(lái)越具備AI能力，擁有一定程度的并行性（例如多核）并支持相關(guān)數(shù)據(jù)格式；它們可以根據(jù)需要卸載更專業(yè)的計(jì)算處理器。

數(shù)字信號(hào)處理器（DSPs）：廣泛應(yīng)用于汽車、電信等多個(gè)市場(chǎng)，用于音頻、視頻、攝像頭和連接性處理，最近還通過(guò)矢量處理支持AI應(yīng)用。

圖形處理器（GPUs）：GPU本質(zhì)上是可編程和通用的。雖然它們傳統(tǒng)上僅用于圖形加速，但近年來(lái)其并行性已應(yīng)用于諸如超分辨率、點(diǎn)云處理和非機(jī)器學(xué)習(xí)算法等計(jì)算應(yīng)用中，并且越來(lái)越多地采用低精度算術(shù)功能。

神經(jīng)處理單元（NPUs）：高度優(yōu)化的領(lǐng)域特定加速器，專注于低精度算術(shù)，以有效處理深度學(xué)習(xí)算法訓(xùn)練中常見的密集矩陣乘法代碼。

未來(lái)的問(wèn)題是：這些處理器類型中哪一種為下一代邊緣AI加速器提供了最佳基礎(chǔ)？

這是Imagination擅長(zhǎng)解決的問(wèn)題。我們的工程師通過(guò)創(chuàng)造創(chuàng)新解決方案來(lái)解決技術(shù)難題，使客戶能夠成功。我們?cè)谒膫€(gè)市場(chǎng)中出貨超過(guò)130億顆芯片，產(chǎn)品范圍涵蓋GPU、CPU、AI IP以及軟件。我們的工程團(tuán)隊(duì)在設(shè)計(jì)用于計(jì)算和AI的半導(dǎo)體技術(shù)方面擁有豐富的經(jīng)驗(yàn)，從針對(duì)CNN風(fēng)格工作負(fù)載優(yōu)化的NNA產(chǎn)品線開始，目前該產(chǎn)品線已運(yùn)用于多個(gè)汽車和消費(fèi)市場(chǎng)的SoC中，例如玄鐵TH1520 SoC。

盡管客戶在NNA上取得了許多成功，但I(xiàn)magination認(rèn)識(shí)到邊緣AI將需要開發(fā)新一代更靈活和可編程的NPU，或是新一代GPU加速器，這些加速器在保持能效的同時(shí)提供更強(qiáng)的計(jì)算性能。這與依賴通用而非過(guò)度定制化方法的原則相一致，正是這一原則使得AI在云端取得了成功，而這一目標(biāo)的實(shí)現(xiàn)將得益于半導(dǎo)體市場(chǎng)上幾個(gè)關(guān)鍵趨勢(shì)的推動(dòng)。

打破定制加速器(ASIC)的桎梏

首先，值得更詳細(xì)地探討為什么通用加速器比高度定制化的硬件更受歡迎。當(dāng)前邊緣AI的處理方式，特別是在注重性能的設(shè)備如汽車和筆記本電腦中，聚焦于NPU：這是一種高度優(yōu)化的處理器，能在較小的面積或功耗預(yù)算內(nèi)實(shí)現(xiàn)高效率。與傳統(tǒng)的GPU張量核心相比，NPU具有更大的矩陣片規(guī)模，具有專門為神經(jīng)網(wǎng)絡(luò)加速設(shè)計(jì)的固定功能硬件，關(guān)注低精度數(shù)值格式，進(jìn)行g(shù)raph編譯和優(yōu)化以減少數(shù)據(jù)的搬運(yùn)和增強(qiáng)數(shù)據(jù)的本地性。

低精度數(shù)字格式

半導(dǎo)體計(jì)算中關(guān)鍵趨勢(shì)之一是，提升通用加速器（如GPU）計(jì)算性能的是低精度數(shù)字格式的激增。這些格式歷來(lái)是NPU領(lǐng)域的專屬，但現(xiàn)在在GPU等其他加速器中也越來(lái)越常見。像開放計(jì)算項(xiàng)目（Open ComputeProject，簡(jiǎn)稱OCP， 這樣的組織正開始推動(dòng)從FP32到FP4及微縮比例（MX）兼容格式的標(biāo)準(zhǔn)化工作，這些格式適用于CPU、GPU、NPU等多種處理器。預(yù)期這些數(shù)字格式將從數(shù)據(jù)中心領(lǐng)域擴(kuò)展到整個(gè)軟件生態(tài)系統(tǒng)中。

先進(jìn)工藝節(jié)點(diǎn)帶來(lái)的機(jī)遇與挑戰(zhàn)

此外，多年以來(lái)，半導(dǎo)體行業(yè)一直受益于摩爾定律：在相同硅片面積上每代性能的提升。英特爾、三星和臺(tái)積電等晶圓廠，對(duì)于挖掘這種邏輯電路尺寸縮小帶來(lái)的好處起到了根本性作用。先進(jìn)工藝節(jié)點(diǎn)是通用加速器提升計(jì)算性能至邊緣AI所需水平的關(guān)鍵之一。

然而，SRAM（靜態(tài)隨機(jī)存取存儲(chǔ)器）被證明很難縮小。隨著AI模型對(duì)性能、數(shù)據(jù)本地性和低延遲要求的提高，實(shí)際上任何給定處理器，特別是如NPU這樣的領(lǐng)域特定加速器，對(duì)SRAM的需求反而增加了。未來(lái)的疑問(wèn)是，我們是否真的能承受將如此昂貴的資源專門分配給僅在其功能需要時(shí)才激活的單一處理器？

與此同時(shí)，隨著晶體管密度的增加，熱管理問(wèn)題比現(xiàn)在變得更加嚴(yán)峻。高度優(yōu)化且能耗大的加速器加劇了這一挑戰(zhàn)，在SoC內(nèi)部形成了工作負(fù)載特定的熱點(diǎn)，難以緩解。

然而，如果像CPU和GPU這樣的通用加速器在保持能效的同時(shí)增加其計(jì)算能力，那么基于少量高效、通用、可擴(kuò)展加速器的邊緣SoC，將是解決先進(jìn)工藝節(jié)點(diǎn)熱管理挑戰(zhàn)的一個(gè)有前景的方案。這種方法最小化了暗硅現(xiàn)象，為系統(tǒng)設(shè)計(jì)師提供了在整個(gè)核心中分布處理而非創(chuàng)建特定應(yīng)用熱點(diǎn)的機(jī)會(huì)，并保證了集成、系統(tǒng)和編程復(fù)雜度的可控性。

邊緣AI的下一代技術(shù)

考慮到這些發(fā)展，基于GPU和RISC-V架構(gòu)的下一代處理器正逐步成為提供高性能、低功耗且適用于通用目的的加速器，這是邊緣AI所必需的。Imagination在邊緣圖形和計(jì)算技術(shù)領(lǐng)域處于世界領(lǐng)先地位。我們的GPU徹底改變了智能手機(jī)市場(chǎng)，并且從未停止開拓創(chuàng)新，比如生產(chǎn)出了首款能夠在移動(dòng)設(shè)備上實(shí)現(xiàn)的實(shí)時(shí)光線追蹤的高效架構(gòu)。隨著GPU和RISC-V CPU成為實(shí)現(xiàn)邊緣AI的首選處理器，我們的工程師正在開發(fā)客戶及更廣泛技術(shù)生態(tài)系統(tǒng)取得成功所需的技術(shù)解決方案。未來(lái)幾個(gè)月將有確切內(nèi)容發(fā)布。在此期間，如果：

您是一家開發(fā)具備AI能力SoC的半導(dǎo)體公司

您是對(duì)即將改變用戶體驗(yàn)的技術(shù)感興趣的原始設(shè)備制造商（OEM）

您是一家開發(fā)基于AI應(yīng)用的軟件公司

都可以通過(guò)與我們銷售團(tuán)隊(duì)預(yù)約會(huì)議來(lái)提前了解Imagination的計(jì)算產(chǎn)品路線圖。