過去十年里，人工智能 (AI) 和機器學(xué)習(xí) (ML) 經(jīng)歷了重大變革——卷積神經(jīng)網(wǎng)絡(luò) (CNN) 和循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 正在向Transformer和生成式人工智能 (GenAI) 過渡。這一變革背后，是產(chǎn)業(yè)對高效、準確、具有上下文能力、能夠處理復(fù)雜任務(wù)的模型的迫切需求。

最初，AI和ML模型嚴重依賴數(shù)字信號處理器 (DSP) 來執(zhí)行音頻、文本、語音和視覺處理等任務(wù)。這些模型雖然有效，但在準確性和可擴展性方面存在局限性。神經(jīng)網(wǎng)絡(luò)的引入，尤其是CNN，顯著提高了模型準確率。例如，作為開創(chuàng)性的CNN，AlexNet在圖像識別方面實現(xiàn)了65%準確率，超過了DSP的50%準確率。

下一個行業(yè)里程碑是Transformer的發(fā)展。2017 年，谷歌在其論文《Attention is All You Need》中提出了Transformer概念，帶來一種更高效的順序數(shù)據(jù)處理方式，徹底改變了AI模型的發(fā)展。不同于CNN以局部方式處理數(shù)據(jù)，Transformer使用注意力機制來評估輸入數(shù)據(jù)中不同部分的權(quán)重。這使得Transformer能夠捕捉數(shù)據(jù)中的復(fù)雜關(guān)系和依賴關(guān)系，從而在自然語言處理 (NLP) 和圖像識別等任務(wù)中表現(xiàn)出色。

Transformer推動了GenAI的興起。GenAI利用Transformer模型根據(jù)學(xué)習(xí)到的模式生成新數(shù)據(jù)，例如文本、圖像甚至音樂。Transformer理解和生成復(fù)雜數(shù)據(jù)的能力使其成為ChatGPT和DALL-E等熱門AI應(yīng)用的基礎(chǔ)，這些模型已展示出非凡的能力，如生成連貫的文本和根據(jù)文本描述創(chuàng)建圖像，彰顯了GenAI的潛力。

圖 1：Transformer正在取代機器視覺和RNN/CNN，使GenAI實現(xiàn)更高的準確性

邊緣設(shè)備部署GenAI的優(yōu)勢

在邊緣設(shè)備上部署GenAI具有諸多優(yōu)勢，特別是在實時處理、隱私和安全至關(guān)重要的應(yīng)用中。比如，智能手機、物聯(lián)網(wǎng)設(shè)備和自動駕駛汽車等邊緣設(shè)備都可以受益于GenAI。

在邊緣設(shè)備上部署GenAI可滿足對低延遲處理的需求。自動駕駛、實時翻譯和語音助手等應(yīng)用需要即時響應(yīng)，而云端處理帶來的延遲可能會阻礙這一點。通過在邊緣設(shè)備上直接運行GenAI模型，可以最大限度地減少延遲，從而確保更快、更可靠的性能。

隱私和安全也是重要的考慮因素。將敏感數(shù)據(jù)發(fā)送到云端進行處理會帶來數(shù)據(jù)泄露和未經(jīng)授權(quán)訪問的風(fēng)險。通過在設(shè)備上本地處理數(shù)據(jù)，邊緣GenAI可以增強隱私并減少潛在的安全漏洞。這在醫(yī)療保健等應(yīng)用中尤為重要，比如患者數(shù)據(jù)必須得到極其謹慎的處理。

連接受限也在推動邊緣GenAI的發(fā)展。在互聯(lián)網(wǎng)接入不可靠的偏遠地區(qū)或無服務(wù)地區(qū)，配備GenAI的邊緣設(shè)備可以在沒有云連接的情況下獨立運行，以確保持續(xù)的功能。這對于災(zāi)難響應(yīng)等應(yīng)用至關(guān)重要，因為在這些場景中，通信基礎(chǔ)設(shè)施可能無法使用。

邊緣設(shè)備部署GenAI的挑戰(zhàn)

在邊緣設(shè)備上部署GenAI有諸多益處，但也帶來了一系列挑戰(zhàn)，包括計算復(fù)雜性、數(shù)據(jù)要求、帶寬限制、功耗和硬件限制等，需要加以解決以確保模型有效實施和運行。

先來看GenAI模型的計算復(fù)雜性。作為GenAI模型的基礎(chǔ)，Transformer由于注意力機制和廣泛的矩陣乘法而需要進行密集計算，也就需要大量的計算資源和內(nèi)存，可能會給邊緣設(shè)備上有限的資源造成壓力。此外，邊緣設(shè)備通常需要執(zhí)行實時處理，尤其是在自動駕駛或?qū)崟r翻譯等應(yīng)用中，GenAI模型的高計算需求，使得在邊緣設(shè)備上實現(xiàn)必要的速度和響應(yīng)頗具挑戰(zhàn)。

表1：GenAI模型（包括大型語言模型 (LLM) 和圖像生成器）參數(shù)明顯大于CNN

?

數(shù)據(jù)需求也是一個重大挑戰(zhàn)。訓(xùn)練GenAI模型需要大量數(shù)據(jù)，例如GPT-4模型是在數(shù)TB的數(shù)據(jù)上進行訓(xùn)練的，對于存儲和內(nèi)存容量有限的邊緣設(shè)備來說，處理和存儲這些數(shù)據(jù)是不切實際的。即使在推理過程中，GenAI模型也可能需要大量數(shù)據(jù)才能生成準確且相關(guān)的輸出。由于存儲限制，在邊緣設(shè)備上管理和處理這些數(shù)據(jù)有很大的挑戰(zhàn)。

帶寬限制進一步增加了在邊緣設(shè)備上部署GenAI的難度。邊緣設(shè)備通常使用低功耗內(nèi)存接口，如低功耗雙倍數(shù)據(jù)速率 (LPDDR) ，與數(shù)據(jù)中心使用的高帶寬內(nèi)存（HBM）相比，其提供的帶寬較低，可能會限制邊緣設(shè)備的數(shù)據(jù)處理能力，從而影響GenAI模型的性能。在內(nèi)存和處理單元之間高效地傳輸數(shù)據(jù)對于發(fā)揮GenAI模型性能至關(guān)重要，有限的帶寬可能會導(dǎo)致處理速度變慢和效率降低。

功耗是另一個關(guān)鍵問題。由于計算需求高，GenAI模型可能會產(chǎn)生較大的功耗，對于邊緣設(shè)備來說這是一個關(guān)鍵問題，特別是那些依賴電池供電的設(shè)備，如智能手機、物聯(lián)網(wǎng)設(shè)備和自動駕駛汽車。高功耗還會增加散熱，需要有效的熱管理解決方案。在緊湊的邊緣設(shè)備中管理散熱也具有挑戰(zhàn)性，并可能影響其使用壽命和性能。

硬件限制也是挑戰(zhàn)之一。與數(shù)據(jù)中心服務(wù)器相比，邊緣設(shè)備的處理能力通常有限。選擇能夠在保持能效和性能的同時，滿足GenAI需求的合適處理器至關(guān)重要。邊緣設(shè)備的內(nèi)存和存儲容量有限，可能會限制可部署的GenAI模型的大小和復(fù)雜性。這就需要開發(fā)優(yōu)化的模型，使其能夠在這些限制內(nèi)運行而不會影響性能。

模型優(yōu)化可以幫助解決這些挑戰(zhàn)。模型量化（降低模型參數(shù)的精度）和剪枝（去除冗余參數(shù)）等技術(shù)可以幫助降低GenAI模型的計算和內(nèi)存需求。但是，這些技術(shù)需要謹慎應(yīng)用，以保持模型的準確性和功能。開發(fā)專門針對邊緣部署優(yōu)化的模型有助于解決其中一些挑戰(zhàn)，涉及創(chuàng)建輕量級的GenAI模型，這些模型可以在邊緣設(shè)備上高效運行而不會犧牲性能。

軟件和工具鏈支持也很關(guān)鍵。在邊緣設(shè)備上有效地部署GenAI需要強大的軟件工具和框架來支持模型優(yōu)化、部署和管理，還需確保軟件資源與邊緣硬件的兼容性，并提供高效的開發(fā)流程。對于實時應(yīng)用來說，優(yōu)化推理過程需減少延遲并提高效率，涉及對模型進行微調(diào)，并利用硬件加速器來實現(xiàn)最佳性能。

還必須解決安全和隱私問題——確保在邊緣設(shè)備上處理的數(shù)據(jù)的安全性至關(guān)重要，強大的加密和安全的數(shù)據(jù)處理實踐有助于保護敏感信息。在邊緣設(shè)備本地處理數(shù)據(jù)，可以盡量減少將敏感數(shù)據(jù)傳輸?shù)皆贫?，來幫助解決隱私問題。但是，也要確保GenAI模型本身不會意外泄露敏感信息。

通過仔細選擇硬件、優(yōu)化模型以及利用先進的軟件工具來應(yīng)對這些挑戰(zhàn)，在邊緣設(shè)備上部署GenAI變得更加可行和有效，使廣泛的應(yīng)用能夠從GenAI的能力中受益，同時保持邊緣計算的優(yōu)勢。

邊緣設(shè)備部署GenAI的處理器選擇

如上所述，選擇合適的嵌入式處理器有助于克服邊緣部署GenAI的挑戰(zhàn)，必須在計算能力、能源效率和負載靈活性之間取得平衡。

GPU和CPU具有靈活性和可編程性，因此適用于各種AI應(yīng)用。但是，它們可能不是最節(jié)能的選擇。特別是會消耗大量電力的GPU，對電池供電的設(shè)備來說并不理想。ASIC 提供了針對特定任務(wù)優(yōu)化的解決方案，具有高效率和高性能。然而，其缺乏靈活性，使其很難適配不斷發(fā)展的AI模型和工作負載。

神經(jīng)處理單元 (NPU) 在靈活性和效率之間取得了平衡。包括新思科技ARC NPX NPU IP在內(nèi)的NPU專為AI工作負載而設(shè)計，為矩陣乘法和張量運算等任務(wù)提供優(yōu)化的性能，以及可編程且低功耗的解決方案，使其適用于邊緣設(shè)備。

圖 2：邊緣AI/ML的 CPU、GPU、NPU和ASIC比較，NPU提供最高效的處理能力以及可編程性和易用性。

例如，在NPU上運行Stable Diffusion這樣的GenAI模型，功耗僅為2瓦，而在GPU上運行則需要200瓦，功耗顯著降低。NPU還支持混合精度算法和內(nèi)存帶寬優(yōu)化等高級功能，能夠更好地滿足GenAI模型的計算需求。

結(jié)論

向Transformer和GenAI的轉(zhuǎn)變代表了AI和ML領(lǐng)域的重大進步。這些模型提供了卓越的性能和多功能性，支持從自然語言處理到圖像生成等廣泛的應(yīng)用。在邊緣設(shè)備上部署GenAI可以釋放無限可能，提供低延遲、安全且可靠的AI能力。

然而，要充分發(fā)揮邊緣GenAI的潛力，必須解決計算復(fù)雜性、數(shù)據(jù)需求、帶寬限制和功耗等挑戰(zhàn)。選擇合適的處理器（如NPU）可以提供一個平衡的解決方案，為邊緣應(yīng)用提供必要的性能和效率。

隨著AI技術(shù)的不斷發(fā)展，邊緣設(shè)備集成GenAI將在推動創(chuàng)新和擴大智能技術(shù)覆蓋范圍方面發(fā)揮關(guān)鍵作用。通過應(yīng)對這些挑戰(zhàn)并利用先進處理器的優(yōu)勢，我們可以讓AI無縫融入日常生活。