Google DeepMind integrates Street View into Project Genie

•Project Genie 是一個「基礎世界模型」，它能根據使用者輸入預測世界的行為方式並進行即時互動，而非僅生成像OpenAI Sora那樣的被動影片片段。
•此整合利用了Google Street View在110個國家收集的超過2,800億張影像，讓使用者能夠在模擬的真實地點中調整天氣等環境條件。
•Google的自動駕駛子公司Waymo已採用Genie 3的專門版本「Waymo世界模型」，用於訓練自動駕駛車輛應對龍捲風或意外動物遭遇等罕見且關鍵安全的場景。
•Project Genie能以720p解析度、每秒24幀的速度生成世界，並在數分鐘的連續導航中保持環境的一致性。
•目前，具備Street View整合功能的Project Genie正向美國的Google AI Ultra訂閱者推出，並計劃在未來幾週內擴展至全球。

模型架構： Genie 3採用類似大型語言模型（LLM）的自迴歸架構，但專為視覺世界生成而調整，它預測世界狀態序列中的下一個視覺幀。
參數數量： Genie 3是一個擁有110億參數的自迴歸Transformer模型。
訓練數據： 最初透過數千小時的電玩遊戲影像進行訓練，現已大幅擴充，整合了超過2,800億張Street View影像。
生成能力： 能夠以720p解析度、每秒24幀的速度生成3D環境，並在長時間互動中保持世界的一致性和穩定性。
核心組件： 由時空影片分詞器（spatiotemporal video tokenizer）、自迴歸動態模型（autoregressive dynamics model）和潛在動作模型（latent action model）組成。潛在動作模型允許從純影片數據中進行無監督的代理學習，無需明確的動作標籤。
互動性： 支援即時互動，系統根據使用者輸入（例如，WASD鍵移動、方向鍵環顧、空白鍵跳躍）生成幀。
限制： 目前每次會話的探索時間限制為60秒，這是由於計算資源的限制。模型可能出現「狀態漂移」（state drift）導致在非常大的環繞路徑中失去一致性，以及潛在的延遲問題。此外，模型有時會產生不切實際的未來情境。

AI代理將實現更強大的真實世界能力。

在基於真實世界數據的高度逼真、互動式模擬環境中訓練AI代理和機器人，將顯著提高它們在物理世界中處理多樣化和罕見場景的能力。

遊戲開發和虛擬內容創作將大幅加速並普及化。

設計師可以快速原型化遊戲環境和關卡，使用者也能透過簡單的提示輕鬆生成和探索多樣的互動世界，從而繞過傳統耗時的建模過程。

將出現更先進的城市規劃和基礎設施管理工具。

模擬真實地點並調整條件（例如天氣）的能力，為基礎設施項目和城市發展提供了先進的場景測試和分析工具。

2007

Google Street View首次推出，開始收集影像數據。

2024-03

Google DeepMind推出Genie 1，這是其首個能生成2D互動環境的世界模型。

2025-08

Genie 3作為研究預覽版推出，具備更高解析度的世界生成和增強的記憶能力。

2026-01-29

Project Genie（由Genie 3驅動）向美國的Google AI Ultra訂閱者開放。

2026-02

Waymo採用Genie 3開發專門的Waymo世界模型，用於自動駕駛模擬訓練。

2026-05-19

Google DeepMind在Google I/O 2026大會上宣布將20年的Street View影像整合至Project Genie。

Google DeepMind 將 Street View 整合至 Project Genie