最新收集於 2h

Being-H0.8 將觸覺帶入隱空間機器人模型

Being-H0.8 將觸覺帶入隱空間機器人模型
PostLinkedIn
閱讀原文: 雷峰网

💡觸覺隱空間世界動作模型可能降低具身 AI 訓練成本,同時改善機器人的即時控制。

⚡ 30-Second TL;DR

有什麼變化

BeingBeyond 已累積超過 50 萬小時的第一視角人類影片資料,用於具身 AI 研究。

為什麼重要

這項工作挑戰了有用的世界模型必須生成具視覺吸引力的未來畫面的假設。若隱空間動作—狀態預測能泛化到真實機器人,便可能降低訓練與推理成本,讓多模態物理控制更具實用性。

下一步行動

建立融合 RGB 與觸覺 embedding 的隱空間策略基線,並將其控制延遲與任務成功率同像素預測模型比較。

誰應關注:Researchers & Academics

關鍵要點

  • BeingBeyond 已累積超過 50 萬小時的第一視角人類影片資料,用於具身 AI 研究。
  • 其 Latent World-Action Model 不生成影片畫格,而是在隱空間中直接預測動作與環境反應。
  • Being-H0.8 將觸覺輸入引入大規模預訓練,並在同一隱空間統一視覺、觸覺、動作與未來狀態變化。
  • 公司估計,在資料量與參數量相同的情況下,隱空間訓練成本約為像素空間影片生成的 1%,推理速度也更適合即時控制。
  • 盧宗青認為具身 AI 基礎模型尚未出現確定性技術範式,目前仍處於探索階段。

🧠 深度解析

AI-generated analysis for this event.

🔑 增強重點摘要

  • BeingBeyond 的技術路徑強調『世界模型』的輕量化,透過將高維度的視覺輸入壓縮至隱空間(Latent Space),大幅降低了對算力的依賴,這與 OpenAI 或 Google DeepMind 傾向於生成式影片模型的路徑形成鮮明對比。
  • Being-H0.8 模型採用了多模態對齊技術,特別是在觸覺感測器(如 GelSight 或類似觸覺皮膚)的數據處理上,實現了與視覺特徵在同一隱空間內的時序預測。
  • 盧宗青團隊在具身智能領域的研究,不僅限於模型架構,還涉及了針對機器人操作任務的自動化數據標註系統,以解決大規模第一視角影片數據中缺乏動作標籤的問題。
  • 該公司目前正與多家工業機器人製造商進行概念驗證(PoC),旨在將隱空間模型部署於邊緣運算設備,以實現毫秒級的反應延遲。
  • BeingBeyond 的研究團隊成員多來自北京大學與國際頂尖 AI 實驗室,其核心競爭力在於將學術界的強化學習算法轉化為工業級的具身控制策略。
📊 競品分析▸ Show
特性BeingBeyond (Being-H0.8)Google DeepMind (RT-2/RT-X)Figure AI (Figure 02)
核心路徑隱空間世界模型 (Latent World Model)視覺-語言-動作 (VLA) 模型端到端神經網絡控制
觸覺整合原生隱空間融合較少強調觸覺輸入透過硬體感測器整合
推理成本極低 (像素生成的 1%)高 (需大規模 GPU 推理)中高 (依賴雲端與邊緣協作)
應用場景複雜物理互動與精細操作通用任務規劃與操作人形機器人通用作業

🛠️ 技術深入

  • 隱空間架構:利用變分自編碼器(VAE)或類似的壓縮機制,將高解析度視覺輸入映射至低維度隱空間,減少冗餘資訊。
  • 觸覺編碼:將觸覺感測器數據轉換為與視覺特徵維度一致的向量,並透過交叉注意力機制(Cross-Attention)與視覺特徵進行融合。
  • 動作預測:模型直接輸出機器人關節的控制指令(如位置、速度或力矩),而非生成下一步的影像畫面。
  • 訓練目標:採用預測未來隱空間狀態(Predictive Coding)作為自監督學習目標,提升模型對物理規律的理解。

🔮 前景展望AI analysis grounded in cited sources

隱空間模型將成為工業機器人邊緣運算的主流架構。
由於其推理成本僅為像素生成模型的 1%,這使得在算力受限的機器人本體上實現即時控制成為可能。
觸覺感知將成為具身 AI 基礎模型的標準配置。
Being-H0.8 的成功驗證了觸覺數據能顯著提升機器人在複雜物理環境中的推理準確度,將推動行業對觸覺感測器的需求。

時間線

2024-05
盧宗青教授團隊正式成立 BeingBeyond,專注於具身智能與世界模型研究。
2025-02
BeingBeyond 完成種子輪融資,並開始大規模收集第一視角人類操作影片數據。
2026-03
發布 Being-H0.8 預研版本,首次展示在隱空間內結合觸覺與視覺的動作預測能力。
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源: 雷峰网