近日，高通技術公司正式發布白皮書《混合 AI 是 AI 的未來》。高通在白皮書中提到，隨著生成式 AI 正以前所未有的速度發展以及計算需求的日益增長，AI 處理必須分布在云端和終端進行，才能實現 AI 的規模化擴展并發揮其最大潛能——正如傳統計算從大型主機和瘦客戶端演變為當前云端和邊緣終端相結合的模式。與僅在云端進行處理不同，混合 AI 架構在云端和邊緣終端之間分配并協調 AI 工作負載。云端和邊緣終端如智能手機、 汽車、個人電腦和物聯網終端協同工作，能夠實現更強大、更高效且高度優化的 AI。

高通產品管理高級副總裁兼 AI 負責人 Ziad Asghar 在媒體溝通會上進一步分享了高通對于混合 AI 的愿景，以及如何結合自身的產品技術優勢，讓混合 AI 的愿景成為現實。

Ziad Asghar 表示，“我們正在引領混合 AI 愿景的實現。對隱私和安全要求比較高的終端側工作負載，可以繼續通過邊緣云，完全在終端側完成。對于其它的模型工作，我們也可以和云服務供應商合作完成。通過在云端和邊緣側終端分布工作負載，我們能夠大幅度減少云端的處理量。混合 AI 的優勢在于，即使不同終端處理能力不盡相同，但仍然能夠提供相近的體驗，同時帶來包括成本、能耗、隱私與安全、個性化等優勢；還能通過出色的 5G 連接技術確保信息在端到端之間進行高效傳輸?！?/p>

混合 AI 對生成式 AI 規模化擴展至關重要

ChatGPT 的爆火掀起生成式 AI 熱潮。自 2022 年 11 月推出后，ChatGPT 僅用了短短兩個月時間月活用戶便達到 1 億，成為有史以來增長速度最快的消費類應用和第一個殺手級的生成式 AI 應用。

作為一項變革性的技術，生成式 AI 顛覆了原有的工作、娛樂方式，并擁有非常豐富的應用領域，應用數量也在不斷激增。具體而言，生成式 AI 的應用主要包括搜索、內容生成、生產力、代碼編寫等等，能夠在數秒之內通過大型基礎模型創作內容。數據顯示，AI 正迎來大爆發時期，目前已有超過 3000 個可用的生成式 AI 應用和特性。

據初步估計顯示，生成式 AI 市場規模將達到 1 萬億美元，廣泛覆蓋生態鏈的各個參與方。為把 握這一巨大機遇，并推動 AI 成為主流，計算架構需要不斷演進并滿足大規模生成式 AI 日益增長的處理和性能需求。

擁有數十億參數的眾多生成式 AI 模型對計算基礎設施提出了極高的需求。因此，無論是為 AI 模型優化參數的 AI 訓練，還是執行該模型的 AI 推理，至今都一直受限于大型復雜模型而在云端部署。

AI 推理的規模遠高于 AI 訓練。盡管訓練單個模型會消耗大量資源，但大型生成式 AI 模型預計每年僅需訓練幾次。然而，這些模型的推理成本將隨著日活用戶數量及其使用頻率的增加而增加。在云端進行推理的成本極高，這將導致規?；瘮U展難以持續。

高通認為，混合 AI 能夠解決上述問題，正如傳統計算從大型主機和瘦客戶端演變為當前云端和 PC、智能手機等邊緣終端相結合的模式。

具體來說，混合 AI 指終端和云端協同工作，在適當的場景和時間下分配 AI 計算的工作負載，以提供更好的體驗，并高效利用資源。在一些場景下，計算將主要以終端為中心，在必要時向云端分流任務。而在以云為中心的場景下，終端將根據自身能力，在可能的情況下從云端分擔一些 AI 工作負載?；旌?AI 架構 (或僅在終端側運行 AI)，能夠在全球范圍帶來成本、能耗、性能、隱私、安全和個性化優勢。

利用邊緣側終端規模化 擴展生成式 AI

Ziad Asghar 表示，當前很多人將生成式 AI 和云端聯系在一起，通過高通的技術，能夠讓這些出色的用例在邊緣側實現。“生成式 AI 對眾多領域產生了廣泛影響，目前有大量的新興應用需要生成式 AI 能力，且已經擁有了龐大的用戶規模，市場上也出現了眾多非常龐大的模型。我們認為，要真正釋放生成式 AI 的全部潛能，AI 需要在邊緣側運行，這也是高通一直努力的方向，我們相信憑借我們的技術，我們能夠帶來遙遙領先的終端側生成式 AI 體驗?！?/p>

在以終端為中心的混合AI架構中，云端僅用于處理終端側無法充分運行的AI任務。

據了解，目前生成式 AI 的應用能夠在高通所推出的幾乎所有主要產品線中使用。舉例來說，手機作為高度個性化的設備，能夠通過生成式 AI 成為消費者真正意義上的數字助手，它可以接受用戶的所有需求，且甚至無需聯網就能夠完成任務，并完全通過大型基礎模型（例如文本生成文本模型 LLaMA）與用戶交流。此外，生成式 AI 能夠基于視頻會議的語音轉錄內容，制定任務清單，并自動生成完整的演示文稿直接供用戶使用，使生產力能夠成倍增長。驍龍計算平臺擁有專用的硬件單元，能夠原生支持生成式 AI 在本地使用。

在 XR 方面，生成式 AI 能夠根據終端側所提供的用戶信息進行定制和優化，為用戶帶來完全不同的獨特虛擬世界體驗。Ziad Asghar 表示，如果只在云端運行，則不具備終端側的情境信息，因此利用終端能夠帶來更好的用戶體驗。

汽車領域的用例也非常豐富。在座艙中使用對話式 AI，能夠幫助用戶規劃路線，在去餐廳的路上推薦用餐選項，或者在上班途中列出今日的工作事項。生成式 AI 還可以根據出發點和目的地信息，結合汽車的豐富傳感器數據制定不同的路線規劃，找到最佳路線。

物聯網領域，生成式 AI 能夠助力打造面向專業領域的 GPT 類型模型，以及幫助用戶完成不同任務的 IoT 助手。如果來到一個新的城市，生成式 AI 能夠幫助提供旅行目的地推薦。此外它還適用于其他的垂直領域，如醫療、零售、酒店管理等等。

隨著強大的生成式 AI 模型不斷縮小，以及終端側處理能力的持續提升，混合 AI 的潛力將會進一步增長。參數超過 10 億的 AI 模型已經能夠在手機上運行，且性能和精度達到與云端相似的水平。不久的將來，擁有 100 億或更高參數的模型將能夠在終端上運行。

全棧 AI 優化

Ziad Asghar 表示，目前高通已經實現了全球首個 Android 手機上的 Stable Diffusion 終端側演示。Stable Diffusion 是一個參數超過 10 億的超大神經網絡基礎模型，能夠基于輸入的文本提示生成圖片。高通的這一終端側演示是在飛行模式下進行的，通過高通的全棧 AI 優化，這一模型能夠完全在終端側運行，實現在 15 秒內完成 20 步推理，生成飽含細節的圖像。

高通面向 Stable Diffusion 進行了全棧 AI 優化。2022 年 6 月，高通推出了專門面向邊緣側 AI 的領先軟件棧產品——高通 AI 軟件棧，能夠從軟件層面進行模型優化。

Ziad Asghar 表示，在云端服務器上訓練的模型一般采用 32 位浮點運算（FP32），這意味著完成模型推理需要大量的處理工作。“我們希望通過整數運算模式和量化技術進行 AI 推理，即時獲取模型推理結果。針對 Stable Diffusion，我們所采用的是 8 位整數運算（INT8）。去年年底在第二代驍龍 8 移動平臺上，我們已經進一步支持了 4 位整數運算（INT4）能力。我們的硬件、軟件以及工具設計也都考慮了如何充分利用這一關鍵優勢?！?/p>

目前高通能夠支持 Stable Diffusion 這一超過 10 億參數的模型在終端側運行，但許多關鍵的生成式 AI 模型，比如文本生成圖像、自然語言處理、編程、圖像理解、圖像創作等，模型規模一般在 10 億到 100 億參數之間。Ziad Asghar 表示未來幾個月內，高通將有望支持參數超過 100 億的模型在終端側運行。

對話 Ziad Asghar： AI 大模型會在 C 端和 B 端同步落地

在媒體溝通會上，Ziad Asghar 接受了 InfoQ 在內的部分媒體采訪。以下為采訪實錄，經編輯。

問：剛才說到，高通在幾個月之后就可以實現在終端側處理參數規模達 100 億的模型，你們會用什么樣的大語言模型？

Ziad Asghar：我們看到目前大語言模型的模態非常豐富，并且已經出現了多模態模型，包括文本生成圖片、文本生成文本、文本生成視頻，甚至還有圖片生成文本、圖片生成視頻等方式。這將揭開新的序幕，開啟許多人們未曾想象過的全新用例。我們已經開始面向不同場景和用例需求的模型展開工作。

問：對于文本生成文本模型，會不會考慮使用來自于 Meta 的開源 LLaMA 模型？

Ziad Asghar：我們對模型的應用持有非常開放的態度。針對中國市場的模型，我們會專注于面向本地語言和使用場景的模型調優和訓練，以讓用戶能夠根據不同的需求，隨時隨地地使用模型。我們當前在關注不同的開源模型，同時我們也將與眾多的中國合作伙伴攜手，實現這些模型在本土市場的終端側部署。

問：智能手機端側運行生成式 AI 會成為未來的大趨勢嗎？

Ziad Asghar：我們認為這將是一個非常值得期待的重要趨勢。所有不同的終端在生成式 AI 的助力之下，將為消費者帶來更強大的吸引力。終端的可用性、娛樂性和生產力價值將遠遠超越當前的水平。

問：您剛剛提到的 Stable Diffusion 成功在安卓手機上運行，不到 15 秒生成圖片，這個是完全在終端側上就能運行嗎？我們大約什么時候能用上？以什么樣的方式用上？

Ziad Asghar：目前我們已經能夠完全在終端側運行 Stable Diffusion，無需連接云端，即使是將手機調到飛行模式也可以。但是目前只有采用高通技術的終端能夠實現。對于具體的用例，舉例來說，我們可以將 Stable Diffusion 的能力集成到相機應用中，用戶在任何一個地點拍攝照片，再提出需求，例如將照片背景改為夕陽之下的萬里長城，Stable Diffusion 就能夠完成這一任務。此外還有其他的用例，比如數字助手、生產力應用等。我們相信通過與合作伙伴的共同努力，用戶將能在今年體驗到這些終端側用例。

問：高通實現終端側運行 AI 大模型，在硬件、軟件層面的核心技術優勢是什么？未來基于其他移動芯片平臺的產品是否也會跟進這一能力？

Ziad Asghar：長期以來，高通致力于持續基于我們所打造的硬件、軟件和工具資源，驅動生成式 AI 在終端側的規?；瘮U展。首先在硬件方面，我們在既定功耗下的處理能力領先于市場上的其他競爭對手，這讓我們能夠在運行生成式 AI 用例時實現非常出色的表現。憑借我們的研究投入，我們能夠在終端側利用量化技術，在處理相同用例時大幅節省功耗和算力，同時完全不影響準確性，這是我們的競爭對手做不到的。另外一個優勢在軟件方面，我們提供高通 AI 引擎 Direct 以及 Qualcomm AI Studio 等軟件工具，讓這些模型能夠完全在終端側運行。

問：以聊天機器人對代表的生成式 AI 應用要有好的使用體驗，一個比較大的挑戰是時延，每個指令（token）的時延需要在毫秒級別，如何才能將這類應用部署在終端側，并且擁有不錯的體驗？

Ziad Asghar：我們能夠提供非常高效的 token 生成速率，完全不會因為時延影響到用戶的體驗。時延對于用戶體驗的確至關重要，而得益于我們的技術，我們的每秒 token 生成速率能夠為用戶提供流暢的體驗。

問：高通的 AI 硬件在處理 AI 應用時比 CPU 有明顯優勢，接下來是否會增加 transformer 核心讓端側生成式 AI 的體驗更好？

Ziad Asghar：高通 AI 引擎涵蓋了 CPU、GPU 以及 Hexagon 處理器，從而能夠在最合適的位置進行 AI 處理。談到在高通 AI 硬件上進行 AI 處理的優勢，除了我們的硬件引擎有著非常強大的處理能力外，我們也在去年推出了專門面向 transformer 處理的領先技術，能夠大幅提升 transformer 處理效率。所以在硬件層面我們的技術已經完備，能夠支持在終端側獲得大幅提升的 transformer 處理表現。

問：我們注意到高通今天正式將自研 AI 技術的起步時間點定在了“十年前”，也就是曾經的 Zeroth 處理器。我們想知道，當年 Zeroth 的 SNN 網絡架構在如今的驍龍移動平臺上得到了多大程度的繼承？

Ziad Asghar：高通長期專注于脈沖神經網絡（SNN）研究，驍龍 820 平臺是我們最先應用這一技術的產品。我們的大量工作也得益于這一技術研究，我們在這一技術基礎之上不斷積累，覆蓋了各個領域，包括技術、硬件增強和軟件等等。我認為這也是我們今天能夠在終端側取得如此領先和豐富的 AI 能力的原因之一。

問：您認為目前的 AI 大模型在 C 端和 B 端，哪側會更快落地？

Ziad Asghar：我認為應該會在 C 端和 B 端同步落地，同時高通也有能力來支持這些模型落地。無論是智能手機、VR、AR 還是汽車等面向消費者的智能設備，亦或是企業級的搭載驍龍計算平臺的 PC、智能手機等設備。我們的產品和技術能夠支持面向專業領域的 GPT 模型以及豐富的模型模態（比如文本生成圖片等），這能夠為 C 端和 B 端都帶來巨大可能性，為所有人帶來出色體驗，無論是在家中還是在工作場所。甚至只要人們用手機，就可以感受到 AI 帶來的優勢。

問：生成式 AI 在汽車座艙、智能駕駛上的應用進展如何？需要調用數據量和模型形式和手機端有哪些本質不同？邊緣側的低功耗、低時延，是結合 5G 座艙芯片或大算力芯片共同實現的嗎？

Ziad Asghar：第一個問題，關于生成式 AI 賦能的數字座艙體驗，大家可以想象一下，用戶可以體驗到真正意義上的“和自己的車對話”。你可以告訴你的車：導航帶我去機場，但是在去機場的路上，我要找個地方吃個漢堡，再找個地方喝某種口味的咖啡，順便把我之前干洗的衣服取了。在數字座艙里，我們可以為用戶提供真正意義上的虛擬助手。對于汽車應用的不同模態，其要求會更加嚴格，并且需要更高的準確性。因為與其他商用終端不同，在汽車里出現任何一個小錯誤都可能帶來非常嚴重的后果。所以我們在確保提供最佳體驗的同時，也要確保極高的準確性。

第二個問題，在汽車領域我們需要將多模態相結合，同時結合雷達、激光雷達、以及攝像頭等傳感器數據，從而讓我們在使用生成式 AI 規劃路線時，獲得最佳的效果。

第三個問題，汽車需要非常強大的處理能力。一方面，汽車領域的生成式 AI 用例需要非常豐富的終端側處理能力，同時，它還需要通過高速低時延的 5G 連接，在需要的情況下利用云端資源進行處理。與我們其他產品線的產品相比，我們的汽車產品通常能夠提供更多的生成式 AI 處理能力。

問：目前在 PC 以及其他平臺上，NPU 通常是一個獨立于 CPU、GPU 的計算單元。但是在驍龍移動平臺上，CPU、GPU、DSP、ISP、甚至調制解調器都具備一定的 AI 計算能力，這就意味著驍龍平臺的 AI 計算架構實際上是一種分布式的設計。那么這是否會加大軟件開發的難度？或者是否會出現某些應用不能完整調用全部 AI 計算單元的情況？

Ziad Asghar：我們的平臺采用的是異構計算架構，高通 AI 引擎包括 Hexagon 處理器、CPU、GPU 以及 ISP。我們相信 AI 是能夠賦能整個平臺的通用技術，無論是攝像頭還是圖像、調制解調器、視頻、音頻、語音等等都可以利用 AI 技術。同時，基于我們在軟件方面進行的大量投入，無論要在終端側運行何種應用，高通 AI 引擎都能提供充沛、強大的算力。

問：終端設備上的 AI 模型是否對用戶的個人數據進行處理？

Ziad Asghar：針對用戶所擔心的個人隱私數據保護，終端側處理恰恰能夠解決這一問題。正如我剛剛所講，無論是 10 億參數的模型，還是 100 億參數的模型，如果我們能夠完全在終端側來運行，比如用戶發出一個查詢，終端接收之后能夠獨立完成推理，那么所有相關的查詢信息和數據都會留在終端上，不會離開終端，這也是邊緣處理相對于云端處理的獨特優勢所在，因為如果要在云端進行查詢，那么數據就要先發送到云端，處理完再從云端回到終端。