在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

華為、理想、特斯拉、商湯的世界模型是做什么用的

佐思汽車研究 ? 來源:佐思汽車研究 ? 2025-01-14 09:27 ? 次閱讀

最近世界模型(World Model)很火,甚至有人說世界模型是終極自動駕駛解決方案,實際上它只是端到端大模型的一種,和VLM沒有本質區別。目前的研究基本都集中在用世界模型生成視頻或其他連續時間序列上的可視化數據,再用這些視頻訓練傳統或端到端的自動駕駛模型,幾乎沒有人研究直接用世界模型做自動駕駛的。即便是視頻生成,也還是處于實驗室的學術研究階段。

47a33876-cfc8-11ef-9310-92fbcf53809c.jpg

圖片來源:網絡

為什么要做世界模型,它實際上是端到端自動駕駛的閉環仿真,世界模型可以看做VLM的逆向工程,用prompt這些文字提示輸出視頻。世界模型和端到端模型是一個互相幫助的過程,世界模型生成的視頻交給車端大模型,車端大模型通過它的規劃執行接下來的動作,接下來的動作產生新的場景、新的視角,再通過世界模型繼續生成新的數據,進行閉環仿真的測試。

47b92f28-cfc8-11ef-9310-92fbcf53809c.png

圖片來源:網絡

不同于CARLA這些測試型仿真,世界模型是訓練型仿真,它要達到海量規模才有價值。

47d6bf70-cfc8-11ef-9310-92fbcf53809c.jpg

圖片來源:網絡

世界模型生成視頻可以是自監督的,無需3D標簽,可以使用海量網絡汽車駕駛視頻。最重要的是它可以生成現實世界中極難采集到的長尾視頻,這是其核心價值。換句話說它生成的視頻價值是現實世界采集到的視頻數據的價值百倍以上,但成本是其1%不到。

47f20140-cfc8-11ef-9310-92fbcf53809c.png

圖片來源:網絡

所謂世界模型就是視頻生成加prompt控制。視頻生成有四大類型,包括基于對抗網絡GAN的,基于擴散模型的,基于自回歸模型(基本上就是transformer)和基于掩碼的。其中,擴散模型再分為Stable Video Diffusion (SVD)和Stable Diffusion (SD)兩種,它們還有一種共同的稱呼即隱擴散模型(Latent Diffusion Model, LDM)。目前也有結合diffusion和transformer的模型即DiT,但它本質上還是擴散模型,只不過用transformer替換了擴散模型中的Unet。大名鼎鼎的SORA則是復合型,Sora模型的核心組成包括Diffusion Transformer(DiT)、Variational Autoencoder(VAE)和Vision Transformer(ViT)。DiT負責從噪聲數據中恢復出原始的視頻數據,VAE用于將視頻數據壓縮為潛在表示,而ViT則用于將視頻幀轉換為特征向量以供DiT處理。據說特斯拉就是用的SVD。

基于世界模型的端到端訓練

4811fe96-cfc8-11ef-9310-92fbcf53809c.png

圖片來源:網絡

生成視頻的質量分為兩部分,一是視頻本身的準確度,主要指標有三個,一個是FID/FVD,另一個是CLIP得分。FID(Fréchet Inception Distance)是一種用于評估生成模型,尤其是在圖像生成任務中,生成圖像的質量和多樣性的指標。它通過比較生成圖像與真實圖像在特定空間內的分布來工作。這個特定的空間通常是通過預訓練的Inception網絡的某一層來定義的。對于生成圖像集和真實圖像集,分別通過Inception網絡(通常是Inception V3模型)計算它們的特征表示。這一步驟會得到每個圖像集的特征向量,計算每個集合的特征向量的均值和協方差矩陣,并做對比,都是高等數學的課程,這里就不展開說了。FVD和FID接近,相當于把FID的圖像特征提取網絡換成視頻特征提取網絡,其他都差不多。最后一個是北大提出來的,就是Trajectory Agent IoU (NTA-IoU),與設定軌跡的交并比,Novel Trajectory Lane IoU (NTL-IoU),與設定車道的交并比。

二是視頻本身的長度、幀率和分辨率,要盡可能與傳統自動駕駛訓練視頻達到一致的幀率和分辨率。

目前世界模型生成視頻的方向有兩個,一個是追求更長、更多視角、更高分辨率,代表作有商湯的《InfinityDrive: Breaking Time Limits in Driving World Models》,華為的《MagicDriveDiT: High-Resolution Long Video Generation》,Wayve的GAIA-1,地平線的DrivingWorld。另一個是追求近乎真實的3D場景渲染,理想在這方面情有獨鐘,理想的Street Gaussians、ReconDreamer、DriveDreamer4D都是這個方向,也是這個領域的主要代表作。

4829e9ca-cfc8-11ef-9310-92fbcf53809c.jpg

圖片來源:網絡

特斯拉用的什么世界模型,自然是未知,也許它根本就沒用世界模型。

483836ec-cfc8-11ef-9310-92fbcf53809c.png

注:“Ours”指的就是InfinityDrive

圖片來源:商湯論文《InfinityDrive: Breaking Time Limits in Driving World Models》

4855bcf8-cfc8-11ef-9310-92fbcf53809c.png

圖片來源:華為的MagicDriveDiT

華為不僅能生成超高分辨率,還能生成多個角度的視頻。

4890c258-cfc8-11ef-9310-92fbcf53809c.png

數據來源:地平線的DrivingWorld,數據尺度比較大,分辨率也很高

我們再來看另一條3D渲染線,它的核心應該說有點偏離世界模型的本來意義了,它是追求接近真實的3D渲染,基本上是理想汽車的獨角戲。三個比較有價值的模型基本都有理想汽車的身影,第一個是Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting,浙江大學和理想汽車合作,九位作者,其中來自理想汽車的作者占四位。第二個是DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation,由極佳科技聯合中國科學院自動化研究所、理想汽車、北京大學、慕尼黑工業大學等單位提出,十二位作者兩位來自理想汽車。第三個是ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration,總共十六位作者,其中來自理想汽車的多達八位,來自極佳科技的有六位。

48a50434-cfc8-11ef-9310-92fbcf53809c.png

圖片來源:論文《ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration》

上圖可以看到,理想汽車與極佳科技合作的最新成果就是ReconDremaer,純粹StreetGaussians的話,一旦偏離中心視角,容易出現空洞或鬼影,車道線也出現扭曲。

ReconDreamer整體框架

48caa7b6-cfc8-11ef-9310-92fbcf53809c.png

圖片來源:論文《ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration》

除了生成視頻,還有生成激光雷達點云視頻,如理想與澳門大學合作的《OLiDM: Object-aware LiDAR Diffusion Models for Autonomous Driving》,還有生成語義分割圖的《SynDiff-AD: Improving Semantic Segmentation and End-to-End Autonomous Driving with Synthetic Data from Latent Diffusion Models》。

OLiDM的整體框架

48d1378e-cfc8-11ef-9310-92fbcf53809c.png

圖片來源:論文《OLiDM: Object-aware LiDAR Diffusion Models for Autonomous Driving》

上圖中,世界模型生成激光雷達點云視頻,再拿這個去訓練激光雷達的識別能力。

48ebf6a0-cfc8-11ef-9310-92fbcf53809c.png

數據來源:論文《OLiDM: Object-aware LiDAR Diffusion Models for Autonomous Driving》。

OLiDM的效果,能有兩三個點的提升,已經是非常難得了,現在在nuScenes上0.001的提升都需要一年半以上的時間。

世界模型一點也不神秘,不僅是端到端自動駕駛,它對傳統自動駕駛也有明顯的提升,自動駕駛的數據成本也大幅度下降至少95%以上,那些所謂影子模式變得毫無價值,實際上沒有世界模型生成視頻,影子模式本身也毫無價值,這也是馬斯克說他用擴散模式生成視頻的原因,如果影子模式真有價值,何必多此一舉?

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 華為
    +關注

    關注

    216

    文章

    34887

    瀏覽量

    254535
  • 特斯拉
    +關注

    關注

    66

    文章

    6362

    瀏覽量

    128098
  • 商湯
    +關注

    關注

    0

    文章

    60

    瀏覽量

    4054

原文標題:華為、理想、特斯拉、商湯的世界模型是做什么用的?

文章出處:【微信號:zuosiqiche,微信公眾號:佐思汽車研究】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    商湯科技日日新大模型SenseNova上線聲網云市場

    日前,商湯科技日日新大模型SenseNova即將正式上線聲網云市場,開發者和企業用戶可通過聲網的實時互動云服務進行調用,將商湯領先的模型能力集成到各類應用場景中,快速構建基于日日新大
    的頭像 發表于 04-08 17:24 ?563次閱讀

    在Deepseek AI眼中,配電室是做什么用的?

    DEEPSEEK眼中的配電室什么樣?嗯,用戶問配電室是做什么用的,我需要先理解配電室的基本功能。配電室聽起來像是和電力分配有關的地方,對吧?可能和電力系統有關,比如建筑物或者工廠里的電力分配。首先,我應該明確配電室的主要作用是什么。
    的頭像 發表于 03-05 09:38 ?197次閱讀

    AI開源模型庫有什么用

    AI開源模型庫作為推動AI技術發展的重要力量,正深刻改變著我們的生產生活方式。接下來,AI部落小編帶您了解AI開源模型庫有什么用
    的頭像 發表于 02-24 11:50 ?254次閱讀

    請問ADS1282中SYNC是做什么用的,和讀寫程序有關系嗎?

    請問ADS1282中SYNC是做什么用的,和讀寫程序有關系嗎?我現在只是給接到了上拉3.3V電阻,不知道這是否和我的程序不一直讀0有關系?
    發表于 02-08 09:16

    dac7624 data output timing是做什么用的?

    1:請問左側的 data output timing 是做什么用的?右側的是寫數字輸入的時序吧。2:這款dac可以單純的IO模擬時序通信吧3:這個t CSD 要求最大不能超過160ns 很多單片機都達不到吧。單純的翻轉下IO,實際
    發表于 01-01 07:52

    TAS5611a的13腳14腳的晶振是做什么用的?

    最近要做一個項目,D類功放立體聲輸出,接8歐負載時要求功率要50W以上,查看TI芯片資料TAS5611A比較適合,但是我看到資料上面第13腳,14腳有個晶振的接口,請問這個晶振是做什么用的,需要多少MHZ比較合適?
    發表于 10-29 07:18

    請問TLV320AIC3204中Processing Block是做什么用的啊?

    TLV320AIC3204中Processing Block 是做什么用的啊?
    發表于 10-24 08:24

    TAP3118和TPA3116開發板所處位置的電路是做什么用的?

    如圖的TAP3118和TPA3116開發板所處位置的電路是做什么用的,為什么在芯片PDF里面這里這個電路卻沒有,而是在電感輸出那里加了一個1nF對地,這兩種方式有什么不一樣
    發表于 10-12 08:23

    BOOSTXL_BUCKCONV評估板上的高邊電流采樣電路,請問C10-C14都是做什么用的呢?

    這是ti的BOOSTXL_BUCKCONV評估板上的高邊電流采樣電路,請問C10-C14都是做什么用的呢?是用來補償相位嗎?如果不是的話是做什么用的呢?這些電容值怎么計算呢
    發表于 09-06 06:29

    什么是理想元件?什么是電路模型

    理想元件 理想元件是指在電路分析中,為了簡化問題,將實際元件抽象為具有理想特性的元件。理想元件的特點是它們的行為可以簡單的數學
    的頭像 發表于 08-22 15:27 ?3834次閱讀

    opa593的pspice模型里面為什么有很多別的器件呢?

    如圖所示,利用cadence pspice打開的opa593的pspice模型里面為什么有很多別的器件,這些器件是做什么用
    發表于 07-30 07:24

    商湯科技與泰國DTGO集團聯合發布泰語大模型

    「日日新」出海了! 7月10日,商湯聯合泰國DTGO集 團及旗下Quinnnova共同發布「東風」泰語大模型?(DTLM),成為 全球首個能在泰文、中文、英文三種語言環境下高效工作的AI大語言模型
    的頭像 發表于 07-11 19:57 ?1368次閱讀
    <b class='flag-5'>商湯</b>科技與泰國DTGO集團聯合發布泰語大<b class='flag-5'>模型</b>

    商湯科技發布日日新5.5大模型體系

    商湯科技近日震撼發布其最新的日日新5.5大模型體系,標志著人工智能領域又邁出了堅實的一步。該體系以6000億參數的超大規模基礎模型——日日新5.5為核心,性能較上一代實現了顯著提升,高達30%的性能飛躍,展現了
    的頭像 發表于 07-08 15:05 ?774次閱讀

    商湯科技發布“日日新SenseNova 5.0”大模型

    商湯科技近日隆重推出全新升級的“日日新SenseNova 5.0”大模型,其卓越性能贏得了業界的廣泛贊譽。憑借這一行業領先的技術實力,商湯絕影成功打造了一系列車端大模型產品,并在202
    的頭像 發表于 05-07 14:13 ?712次閱讀

    Linux是做什么用的?

    Linux是做什么用的?Linux是一種開源的操作系統,廣泛用于服務器、嵌入式設備和個人電腦等領域。它具有以下特點和用途: Linux是做什么用的? 1、服務器操作系統:Linux在服務器領域非常
    發表于 04-28 15:40
    主站蜘蛛池模板: 日本一道dvd在线中文字幕 | 亚洲国产成人久久一区久久 | 国产呦在线观看视频 | 狠狠躁天天躁 | 在线视频91| 四虎影视色费永久在线观看 | 黄色爽视频 | 婷婷99精品国产97久久综合 | 玖玖在线 | 午夜100| 欧美日本一道免费一区三区 | 天堂网www天堂在线资源链接 | 波多野结衣50连精喷在线 | 亚洲免费一区二区 | 网址色| 伊人久久大香线蕉综合爱婷婷 | 啪啪小视频网站 | 天天伊人 | 午夜嘿咻 | 日本特黄特色aaa大片免费欧 | 免费人成网555www | 午夜私人影院 | 在线观看亚洲专3333 | 亚洲人成影院在线高清 | 色噜噜人体337p人体 | 午夜久久影院 | 激情五月五月婷婷 | www婷婷| 亚洲福利一区福利三区 | 二区中文字幕 | 久久成人国产 | 日本三级11k影院在线 | 亚洲精品一区二区中文 | 国产传媒在线观看视频免费观看 | 国产成人精品亚洲日本在线观看 | 呦交小u女国产秘密入口 | 五月丁香| 日本成人免费观看 | 嘿嘿嘿视频在线观看 | 亚洲黄色影片 | 在线成人看片 |