🤗Hugging Face Blog•較早收集於 4m
MolmoMotion：語言引導的 3D 動作預測
💡了解語言引導模型如何徹底改變 3D 動作預測與角色動畫控制技術。
⚡ 30-Second TL;DR
有什麼變化
將自然語言處理與 3D 動作生成模型相結合。
為什麼重要
這項研究允許創作者透過簡單的文字提示生成複雜動作，有望顯著簡化動畫工作流程，並縮小語義意圖與物理 3D 執行之間的差距。
下一步行動
查閱 MolmoMotion 的論文或儲存庫，了解如何將語言條件預測整合到您的動畫流程中。
誰應關注：Researchers & Academics
關鍵要點
- •將自然語言處理與 3D 動作生成模型相結合。
- •提升預測動作序列的時間一致性。
- •實現對生成角色動畫更直觀的控制。
🧠 深度解析
背景與延伸：來自公開資料，非原文內容。引用 2 個來源。
🔑 增強重點摘要
- •MolmoMotion 將複雜的 3D 動作預測問題分解為兩個更易於管理的子問題：目標物件的語言基礎（language grounding）和以物件為中心的動作生成（object-centric motion generation）。
- •該方法利用大型語言模型（LLMs），例如 ChatGPT，根據文字描述和場景圖來定位和推斷目標物件，從而實現精確的語言基礎。
- •在動作生成階段，MolmoMotion 設計了一種以物件為中心的場景表示，將目標物件周圍的點雲轉換為體積感測器，並結合擴散模型來合成人類動作。
- •此研究特別關注人與場景的互動，這對於視覺和物理真實感至關重要，並且證明了其方法即使在 HUMANISE 資料集上訓練，也能泛化到未見過的場景，例如 PROX 資料集。
🛠️ 技術深入
- 兩階段管線：
- 第一階段：目標物件的語言基礎。 給定輸入場景和文字描述，使用大型語言模型（LLM），如 ChatGPT，來定位目標物件。這包括建構提示詞，讓 ChatGPT 識別目標物件類別、錨點物件，簡化場景圖，並推斷目標物件的邊界框。
- 第二階段：以物件為中心的動作生成。 首先生成人類軌跡，然後生成局部姿勢來合成人類動作。
- 以物件為中心的場景表示： 將目標物件周圍的點雲轉換為體積感測器，以幫助生成模型專注於目標物件，從而降低場景複雜性。
- 生成模型： 採用擴散模型（diffusion models）來合成人類動作，並以物件為中心的表示和文字作為條件。
- 資料集： 在 HUMANISE 資料集上進行訓練和測試，並在 PROX 資料集上展示了泛化能力。
- 作者與隸屬機構： 該研究的作者來自浙江大學，隸屬於電腦輔助設計與圖形學國家重點實驗室（State Key Lab of CAD&CG）。
🔮 前景展望AI analysis grounded in cited sources
加速虛擬內容創作流程
透過自然語言描述直接生成複雜的 3D 動作，將大幅減少傳統動畫製作中手動關鍵影格和動作捕捉的需求，提高效率。
提升人機互動的自然度
語言引導的動作預測能讓虛擬角色更精確地響應文字指令，從而創造出更直觀、更具沉浸感的人機互動體驗，尤其是在虛擬實境和遊戲領域。
擴展 AI 在機器人學中的應用
能夠根據語言指令生成精確且與環境互動的 3D 動作，這項技術有望用於訓練機器人執行複雜任務，特別是涉及人機協作的場景。
📎 來源 (2)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Hugging Face Blog ↗
每週 AI 簡報
每週一封，可隨時退訂。