📲較早收集於 17h

Google Project Genie 現可根據 Street View 生成虛擬世界

Google Project Genie 現可根據 Street View 生成虛擬世界
PostLinkedIn
📲閱讀原文: Digital Trends

💡了解 Google 如何結合真實的 Street View 數據與生成式 AI,以構建互動式的虛擬環境。

⚡ 30-Second TL;DR

有什麼變化

Project Genie 現已利用 Google Street View 數據作為世界生成的基礎。

為什麼重要

此發展顯示 AI 世界構建正朝向更紮實、更逼真的方向發展。這可能會對遊戲、城市規劃和虛擬旅遊等產業產生重大影響。

下一步行動

研究 Project Genie 的相關論文,了解如何將空間數據編碼以用於生成式世界構建。

誰應關注:Researchers & Academics

關鍵要點

  • Project Genie 現已利用 Google Street View 數據作為世界生成的基礎。
  • 此更新縮小了純想像 AI 環境與現實地理之間的差距。
  • 這標誌著在創建沉浸式、互動式 AI 生成模擬方面邁出了重要一步。

🧠 深度解析

Web-grounded analysis with 18 cited sources.

🔑 增強重點摘要

  • Project Genie 由 Google DeepMind 開發,並於 2026 年 1 月 29 日向美國的 Google AI Ultra 訂閱者發布,標誌著世界模型技術的重大進展。
  • 該平台整合了三個主要的 Google AI 系統:Genie 3 用於世界生成,Nano Banana Pro 用於圖像創建,以及 Gemini 用於自然語言處理,實現了世界素描、世界探索和世界混音等核心功能。
  • Project Genie 生成的虛擬世界是互動式且可探索的,解析度為 720p,幀率為每秒 24 幀,每次探索限制為 60 秒,這是由於計算資源的限制。
  • 除了創意探索,Project Genie 的主要應用之一是為具身 AI 代理和機器人提供多樣化的訓練環境,例如 Waymo 已採用 Genie 3 來訓練自動駕駛汽車。
  • Street View 整合功能允許使用者選擇美國的真實地點,並應用「海洋世界」、「沙漠沙灘」或「石器時代」等風格,將現實世界場景轉化為富有想像力的互動式環境。
📊 競品分析▸ Show

Project Genie 在 AI 世界模型領域面臨多個競爭者和相關技術,這些技術在生成虛擬世界和模擬方面各有側重:

特點/產品Google Project Genie (Genie 3)OpenAI SoraNVIDIA Omniverse/CosmosFei Fei Li's World Labs (Marble)Decart's Oasis
主要功能實時互動式世界生成、探索、混音,基於文本/圖像/Street View高品質非互動式影片生成混合式數位孿生、3D 協作與模擬從文本/圖像生成 3D 世界,含深度、光照、幾何數據實時世界生成,Minecraft 風格環境
互動性高度互動,用戶可控制角色和攝像機非互動式,生成預渲染影片支援互動式模擬和協作生成 3D 世界,強調物理互動實時互動式世界生成
解析度/幀率720p / 24 fps (60秒限制)高解析度影片 (具體幀率未詳述)高保真度,依硬體而異未詳述20 fps
基礎模型Genie 3 (110億參數自回歸轉換器)未詳述 (影片生成模型)遊戲引擎與 3D 模擬技術結合未詳述 (生成式 AI 方法)未詳述
數據來源大量網路影片、Google Street View 數據大量影片數據遊戲引擎、3D 資產、數位孿生數據文本/圖像提示未詳述
主要應用AI 代理訓練、虛擬探索、遊戲原型設計影片內容創作工業模擬、機器人訓練、數位孿生機器人學習、感知、規劃算法測試企業客戶,快速原型設計
可用性/定價Google AI Ultra 訂閱者 (美國及全球逐步推出)未公開企業級解決方案未公開企業客戶,聲稱已盈利
技術差異像素和機率的影片預測模型,非傳統遊戲引擎預渲染影片,非實時互動混合方法,結合遊戲引擎和 AI專注於生成帶有物理數據的 3D 世界專注於實時生成效率

🛠️ 技術深入

  • Project Genie 的核心是 Genie 3 模型,這是一個擁有 110 億參數的自回歸轉換器 (autoregressive transformer)。
  • 其架構類似於大型語言模型,但專為視覺世界生成而調整,透過預測視覺序列中的下一幀來確保跨擴展序列的一致性和連貫性。
  • 該系統整合了 Genie 3 用於互動式世界生成、Nano Banana Pro 用於從文本提示創建初始圖像,以及 Gemini 用於自然語言理解和處理。
  • Project Genie 能夠以 720p (1280x720 像素) 的解析度、每秒 24 幀的速度生成環境。
  • 它採用「世界記憶」技術,能夠在數分鐘的連續導航中保持環境一致性,即使重新訪問先前生成的區域也能保持完整。
  • 生成世界的時間限制為 60 秒,這是由於實時生成所需的龐大計算資源所致。
  • 與傳統遊戲引擎不同,Project Genie 是一個影片預測模型,它透過預測像素和機率來生成環境,而非使用多邊形、紋理和邏輯腳本。
  • Street View 整合功能利用了 Google Maps 的 2800 億張 Street View 圖像數據集,並透過「Maps Imagery Grounding」技術將 AI 模型錨定在現實世界中。

🔮 前景展望AI analysis grounded in cited sources

Project Genie 將大幅加速 AI 代理和機器人訓練的進程。
它能夠生成多樣化、互動式且基於現實世界的模擬環境,為 AI 代理和機器人學習複雜的導航和互動提供了無與倫比的訓練場景。
這項技術將降低虛擬世界創作的門檻,使遊戲開發者和內容創作者能夠更快速地進行原型設計和創意發想。
Project Genie 能夠從簡單的文本或圖像提示生成互動式 3D 環境,無需傳統的 3D 資產,從而加速了概念驗證和迭代過程。
Project Genie 的能力將推動通用人工智慧 (AGI) 的研究進展。
透過讓 AI 生成並理解一致的 3D 環境以及因果關係、物體永恆性和空間導航等基本定律,它成為通往 AGI 的關鍵墊腳石。

時間線

2024-02
Genie 1 推出,能夠從未標記的網路影片生成 2D 平台遊戲風格的環境。
2024-12
Genie 2 推出,將功能擴展到生成具有改進一致性的 3D 環境。
2025-08
Genie 3 預覽,展示了實時互動和維持環境一致性的能力。
2026-01-29
Project Genie (由 Genie 3 提供支援) 透過 Google Labs 向美國的 Google AI Ultra 訂閱者發布。
2026-02
Waymo 採用 Genie 3 並創建了 Waymo 世界模型,用於自動駕駛模擬訓練。
2026-05-19
Project Genie 整合 Street View 功能,並開始向全球 Google AI Ultra 訂閱者推出,首先支援美國地點。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: Digital Trends