圖生世界

  自動駕駛新機涌現  

“AI教母”、華裔科學家李飛飛籌資2.3億美元所構建的大世界模型（Large World Model，LWM）可以通過一張圖片便生成一個3D游戲世界。李飛飛等人聯合創辦的空間智能公司World Labs的內部人士表示，一旦生成，該3D世界就會進行實時渲染，且用戶可通過模擬景深效果、模擬滑動變焦的方式精準控制。此外，用戶還可改變其中物體顏色，動態調整背景光影，在場景中插入其他對象等。

值得一提的是，與此前大多數生成模型不同，LWM可直接預測3D場景而非像素。因此，場景在人移開視線再回來時不會發生變化，并遵循基本的3D幾何物理規則。李飛飛表示，LWM僅僅是World Lab的第一步，后續公司還將把場景設計融入AR、機器人、自動駕駛等場景中。

無獨有偶，谷歌旗下人工智能研究機構DeepMind不久前同樣發布了能夠“圖生世界”的新型模型Genie 2。據悉，Genie 2可根據用戶輸入的文本描述和圖像，實時生成交互式的三維場景。DeepMind表示，Genie 2可以生成具有不同視角的連貫世界，如第一人稱視角和等距視角，持續時間可達1分鐘。在生成過程中，Genie 2還可模擬物體交互、動畫、光照、物理反射以及非玩家角色（NPC）的行為。

李飛飛曾表示，實現通用人工智能（AGI）的關鍵一環是空間智能，盡管Sora模型可以實現文生視頻，但就本質而言，它仍屬于平面二維模型，沒有三維立體理解能力。只有通過空間智能，才能看到世界、感知世界、理解世界并讓機器人做事，從而形成良性閉環。聚焦汽車產業，空間智能究竟能給帶來何種影響？

對此，商湯絕影高級總監武偉告訴記者，李飛飛空間智能模型主要有兩大亮點。第一，該模型將世界模型的范式從文生視頻拓展到文生4D空間，即3D+時序可交互；第二，時序上的空間一致性得到了很好的保持，具備一定的空間記憶能力。在該負責人看來，該技術能夠應用于自動駕駛的閉環仿真測試。利用空間智能范式能夠在線生成多樣化的3D空間且實時交互，在端到端仿真Worldsim（人為預設場景）上是一條有希望的新路徑。

多方涉足

  世界模型潛力無窮  

作為構建空間智能的核心，世界模型自然備受關注。早在2018年，世界模型的概念便開始被廣泛提及。南京大學人工智能學院教授俞揚曾指出，世界模型的核心作用是進行反事實推理，即在模型中模擬和推理出在現實世界中未見過的決策結果。能在模型中推理和預測并由此迅速做出決策，這無疑對自動駕駛領域有著極強吸引力，不少車企、自動駕駛企業因此開始涉足世界模型。

2023年，特斯拉在CVPR 2023上便介紹了通用世界模型，該模型可通過過往的視頻片段和行動提示，生成“可能的未來”全新視頻。同年，蔚來汽車在NIO Day上表示其正在自研世界模型。一年之后，2024年7月，蔚來汽車發布中國首個智能駕駛世界模型NWM（NIO World Model）。據介紹，NWM能夠在0.1秒內推演出216種車輛可能發生的軌跡，并尋找出最佳決策。作為生成式模型，NWM還具有強大的生成能力，只需將3秒鐘的駕駛視頻作為Prompt（提示），就能生成長達120秒的視頻。

隨后，2024年8月，地平線推出全場景智能駕駛解決方案HSD，其核心突破便在于創新的端到端世界模型。據地平線介紹，該模型不僅讓車輛具備了全面的環境感知能力，更使車輛能夠像經驗豐富的駕駛員一樣，理解并預測周圍世界的動態變化，從而做出更為合理和高效的駕駛決策。

2024年11月，在2024“絕影實力AI DAY”上，商湯絕影“開悟”世界模型正式亮相。據介紹，開悟世界模型可生成仿真數據，與量產實車采集的真實數據結合，共同重建物理世界。依托多模態大模型技術和大裝置算力集群的基建，該世界模型是業內首個同時滿足11V空間一致、2.5分鐘長時序、1080P高分辨率和多模態可控的世界模型。

進入2025年，世界模型的熱度依然不減。1月7日，英偉達在CES 2025上推出Cosmos世界模型，專為理解物理世界打造，可預測和生成“物理感知”的視頻。英偉達表示，Cosmos的數據來自2000萬小時的真實世界人類互動、環境、工業、機器人和駕駛數據。目前，已有Wayve、Uber等多家企業承諾在各種用例中使用Cosmos，從視頻搜索和策劃到為自動駕駛汽車構建AI大模型。

“現階段看到的多是基于視覺的世界模型，通過圖像來生成、預測世界三維場景。”中國科學院雄安創新研究院研究員、認知智能重點實驗室副主任黃武陵表示，在基于視覺方式（端到端）實現的自動駕駛方案中，世界模型主要有三大潛在價值。

前路未明

  “終極方案”尚待時日  

“世界模型是在下一階段用來超越人類的，但是它對于當下的核心意義究竟是什么，目前并不能看得明晰。”智駕領域專家蘇輝認為，自動駕駛實現的前提是要超越人，而真實世界的數據只能無限接近于人。從這一角度出發，世界模型確實具有重大意義。不過，就當下來看，世界模型仍然存在較大難點，發展世界模型到底要解決自動駕駛哪些問題，仍然沒有準確答案。

蘇輝表示，目前看來，世界模型似乎只能作為輔助，不能單純依靠它進行自動駕駛訓練。在自動駕駛的早期階段，應主要依賴真實數據。后期可能會出現世界模型中訓練的情況或者大模型教稍小一些模型的情況。“感知的基礎模型應該需要在真實數據下訓練完成，如量產的BEV、OCC算法大多采用這種模式。”蘇輝告訴記者，隨著技術不斷發展，大模型未來會像人類一樣，對感知環境的真實度并不敏感，可以在不太逼真但3D結構正確的環境中學習駕駛策略，正如人類在駕駛模擬器里面練習開車。然而，世界模型的思路恰恰與之相反，其3D結構無法保障，但逼真程度很高，當下意義并不大。

另外，黃武陵指出，現有已發布的世界模型前提是基于視覺（端到端）實現自動駕駛方案，仍存在以下幾點問題：第一，基于2D圖像生成的三維空間缺乏自動駕駛特定場景下所需的3D空間的精準度要求；第二，現有世界模型缺乏長時序的預測，預測是否適用于極端場景也需要進一步進行驗證。除長時序預測之外，世界模型高分辨高精度、模型多視一致、模型可控等特性同樣需要進一步實現及驗證；第三，現有世界模型對環境空間的建模缺乏各類交通參與者的隨機性學習，而現實世界的交通復雜度恰恰更來自于各類交通參與者隨機、多樣的行動。“基于交通場景分層理論，未來生成式的世界模型要能夠覆蓋世界多樣性，能夠基于知識驅動的方式實現更多層面的交通場景覆蓋，其所生成和預測的場景才有價值。”他說道。

目前，世界模型在自動駕駛領域的應用仍處于早期階段。武偉表示，依托于海量的數據采集或數據回流，自動駕駛端到端大模型在模型泛化性上獲得了長足進步。

不過，在模仿學習的框架下，也遇到了數據質量要求高、長尾數據比例低等發展制約因素。而世界模型可成為一條新的數據供給范式，提供大量平衡的困難樣本數據，為端到端模型突破現有能力上限提供更多可能。以開悟世界模型為例，通過多模態大模型，開悟世界模型可支持多樣化的自動駕駛場景及Corner case的可控生成。目前商湯絕影基于1024類場景，能夠泛化出更多的平行世界，打造了千萬級的生成場景庫，預計2025年對行業開放。

面向未來，世界模型帶領自動駕駛駛向終點的路依然漫長。“就像之前的元宇宙，世界模型是用于未來的技術，持續發展是必然的，但世界模型更可能率先用于機器人等領域。自動駕駛最大的難點是它工作在世界范圍，就像預期功能安全中所提到的一樣，未知場景需要通過在實際道路上長期運行來發現。”蘇輝稱。

本文來源于中國汽車報 作者：張奕雯 編輯：黃蓓 版式：李沛洋