此前,北京時間6月11-14日,計算機視覺頂會CVPR 2025在美國田納西州納什維爾舉行,小鵬汽車受邀參與自動駕駛研討會CVPR WAD(Workshop on Autonomous Driving),與Waymo、英偉達、加利福尼亞大學洛杉磯分校(UCLA)、圖賓根大學(University of Tuebingen)等來自工業界和學術界的自動駕駛同行共同探討業界最新AI技術。
CVPR是AI與計算機視覺領域的頂級學術會議,與 ICCV、ECCV 并稱計算機視覺三大頂級會議,每年都被自動駕駛業界和學界視為前沿技術交流的窗口。
CVPR舉辦的自動駕駛研討會(CVPR WAD)歷時已有八屆,是全球最具權威性的自動駕駛技術會議之一。小鵬汽車是由大會邀請,到場分享自動駕駛基座模型研發進展的唯一中國車企。
AI大模型浪潮以來,自動駕駛領域發生了技術范式的切換,已經從過去人類手寫規則的模型,升級為基于海量數據訓練出的AI模型,相關技術進展也成了這幾年CVPR的大熱議題。
在本屆的CVPR WAD上,小鵬世界基座模型負責人劉先明博士發表了題為《通過大規模基礎模型實現自動駕駛的規模化》(Scaling up Autonomous Driving via Large Foudation Models)的演講,系統地介紹了小鵬汽車自研的業界首個超大規模自動駕駛基座模型的歷程和方法,披露了其在模型預訓練、強化學習、模型車端部署、AI和數據基礎設施搭建方面的前沿探索,為同行帶去工業領域的實踐經驗。
同一天,在大洋此岸的中國廣州,小鵬汽車宣布推出全球首款搭載L3級算力平臺的AI汽車——小鵬G7,并且在行業內首次提出了「L3級算力平臺」的兩大標準:
第一,“有效算力”大于2000TOPS;
第二,搭載本地部署的「VLA+VLM模型」。小鵬汽車認為,「大算力+物理世界大模型+大數據」將共同定義未來“AI汽車”的能力上限。
今年4月,小鵬汽車已對外宣布正在研發參數規模達到720億的云端大模型,即“小鵬世界基座模型”。
該基座模型是以大語言模型為骨干網絡,使用海量優質駕駛數據訓練的VLA大模型(視覺-語言的-行為大模型),具備視覺理解能力、鏈式推理能力(CoT)和動作生成能力。目前,小鵬汽車已經在后裝算力的車端上用小尺寸的基座模型實現了控車。在沒有任何規則代碼托底的情況下,新的“AI大腦”展現出令人驚喜的基礎駕車技能,能夠絲滑地加減速、變道繞行、轉彎掉頭、等待紅綠燈等等。
劉博士表示,小鵬汽車已經在云上訓練了10億、30億、70億、720億等多個參數的模型,并且持續向模型“投喂”更大規模的訓練數據。目前,小鵬世界基座模型累計“吃下”2000多萬條視頻片段(每條時長30秒)。
在這一過程中,研發團隊清晰地看到了規模法則(Scaling Law)的顯現。也就是說,模型的參數量越大、模型學習的數據越多,模型的性能越強。這是AI大模型浪潮以來,行業內首次明確驗證規模法則在自動駕駛VLA模型上持續生效。
目前,業界主流的車端模型參數一般在幾百萬到十億級別。在車端直接訓練小模型,規模法則沒有發揮空間,模型的性能上限也很難提升,更無從實現強大的鏈式推理等能力。
基于這一判斷,小鵬汽車早在去年就確定了云端基模技術路線,也即在云端“不計成本”地訓練超大規模世界基座模型,再通過蒸餾的方式生產出適配車端算力的小模型。蒸餾能夠最大限度地保留云端基模的核心能力,幫助車端模型跳出車端算力的“一畝三分地”。
在規則時代,自動駕駛能否從L2輔助駕駛進化到L4自動駕駛是一個頗具爭議的議題。在規則時代,自動駕駛模型其實屬于“模仿學習”模型,這意味它只能處理訓練數據中見過的場景。而自動駕駛核心難點在于處理更罕見的、復雜的、事關安全的長尾問題,但通常這些問題發生概率極低,因此往往沒有足夠的數據供模型學習。
到了AI時代,全新的解法已然出現,“強化學習”成為了提升模型思考能力、幫助模型處理長尾場景的重要手段。小鵬汽車證實了“云端基座模型+強化學習”的組合,是讓模型性能突破上限的最佳方法。
值得注意的是,小鵬世界基座模型并不是靜態的,它在持續學習、循環進化(Continued Online Learning)。可以 將模型的迭代過程分成內、外兩個循環,內循環是指包含預訓練、后訓練(包括監督精調SFT和強化學習RL)和蒸餾部署的模型訓練過程;外循環,是指模型在車端部署之后,持續獲取新的駕駛數據和用戶反饋,繼續用于云端基模的訓練。
自成立至今十多年,小鵬現有幾十萬量輔助駕駛車輛跑在全國各地,源源不斷地創造著新的訓練數據,包括大量的長尾場景數據,劉博士指出:“強化學習非常講究數據采樣,非常依賴來自真實世界的數據。”
在此次CVPR WAD上,劉博士所提出的“軟件3.0時代,打造云端工廠,開啟AI時代模型生產新范式”同樣讓現場參會者留下了深刻的印象。事實上,為了研發世界基座模型,小鵬汽車從去年便開始布局AI基礎設施,建成了國內汽車行業首個萬卡智算集群,用以支持基座模型的預訓練、后訓練、模型蒸餾、車端模型訓練等任務。小鵬汽車將這套從云到端的生產流程稱為“云端模型工廠”。
目前,這個“云端工廠”擁有10 EFLOPS的算力,集群運行效率常年保持在90%以上,全鏈路迭代周期可達平均5天一次。如此算力規模和運營效率,對標的是頭部AI企業。
在大模型時代,想成為一流的自動駕駛公司,首先必須成為一流的AI公司。
在大會現場,小鵬汽車首次展示了兩個核心數據:小鵬云上基模訓練過程中,處理了超過 40萬小時的視頻數據;流式多處理器的利用率(streaming multiprocessor utilization,即SM utilization)達到 85%。前者代表云端數據處理能力,后者所提及的“流式多處理器”是 GPU 的核心計算單元。SM利用率是評判GPU計算資源使用效率的重要指標。
此外,劉博士還從云端模型訓練和車端模型部署兩個層面,拆解了小鵬汽車自動駕駛團隊提升世界基座模型訓練效率的方法。
在模型訓練層面,小鵬的研發團隊在CPU、GPU等方面做了聯合優化,“VLM、VLA等多模態模型不同于LLM,訓練過程不只受限于計算瓶頸,還受到數據加載瓶頸、通信瓶頸的限制,大規模并行訓練首先要解決這些問題。”
在車端模型部署層面,小鵬汽車有一個與眾不同的優勢:自研的圖靈AI芯片專為AI大模型而定制,模型、編譯器、芯片團隊針對下一代模型開展了充分的聯合研發工作,比如定制 AI 編譯器以最大化執行效率,協同設計硬件友好、量化友好的模型架構,確保軟硬件充分耦合,最終“榨干”車端算力。
“車端計算量的重要來源是輸入的 Token (詞元)數量。以配備了 7 個攝像頭的 VLA 模型為例,每輸入約 2 秒視頻內容,會產生超過 5000 個Token。我們一方面要壓縮輸入中的冗余信息,降低計算延遲。另一方面還要確保輸入視頻的長度,以獲得更豐富的上下文信息。”
劉博士稱,小鵬團隊創新設計了針對VLA模型的 Token 壓縮方法,可在不影響上下文長度的情況下,將車端芯片的Token處理量壓縮70%,比如將5000Token壓縮到1500Token。”
回到小鵬汽車此次在CVPR WAD分享本身,作為唯一受邀演講的中國車企,以技術創新為源動力的小鵬汽車將經過幾十萬用戶驗證的自動駕駛實踐成果反哺學術界,以“商業-科研”的良性循環,為全球自動駕駛研究注入了寶貴的動力。
-
AI
+關注
關注
88文章
34623瀏覽量
276443 -
自動駕駛
+關注
關注
788文章
14252瀏覽量
170041 -
小鵬汽車
+關注
關注
4文章
575瀏覽量
15367
原文標題:唯一受邀演講的中國車企!小鵬汽車在AI頂會CVPR分享自動駕駛基座模型研發進展
文章出處:【微信號:XPENGMOTORS,微信公眾號:小鵬汽車】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
NVIDIA Halos自動駕駛汽車安全系統發布
理想汽車推出全新自動駕駛架構
豐田、Aurora及大陸集團攜手NVIDIA,共推高度自動駕駛車型
黃仁勛宣布:豐田與英偉達攜手打造下一代自動駕駛汽車
MEMS技術在自動駕駛汽車中的應用
小鵬汽車圖靈芯片及L4自動駕駛新進展
Apollo自動駕駛開放平臺10.0版即將全球發布
NVIDIA Research端到端自動駕駛模型引領國際挑戰賽
極氪與Mobileye攜手加速自動駕駛技術中國本地化
小鵬汽車CEO稱其自動駕駛掉頭成功率最高
FPGA在自動駕駛領域有哪些優勢?
FPGA在自動駕駛領域有哪些應用?
國科微AI首席科學家邢國良:打造全系邊端AI芯片,賦能下一代自動駕駛

評論