🐼Pandaily•最新收集於 66m
Alibaba 開源即時角色動畫框架
💡這套開源動畫框架宣稱可達到每秒 24 幀，效能媲美商用領導產品。
⚡ 30-Second TL;DR
有什麼變化
Tongyi Wan-Animate-2 現已作為端到端角色動畫框架開源。
為什麼重要
開源一套據稱達到商用等級效能的系統，可能降低開發互動式虛擬人、虛擬角色與動畫工具的門檻。即時效能也可能讓該框架適用於直播內容與互動式應用。
下一步行動
下載 Tongyi Wan-Animate-2，並在具代表性的角色動畫片段上進行基準測試，以確認目標硬體上的每秒 24 幀效能與畫面品質。
誰應關注：Creators & Designers
關鍵要點
- •Tongyi Wan-Animate-2 現已作為端到端角色動畫框架開源。
- •系統支援每秒 24 幀的即時串流。
- •系統不需要骨骼姿態擷取，據稱效能可媲美封閉式商用領導產品。
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Tongyi Wan-Animate-2 採用了基於擴散模型（Diffusion Model）的架構，特別針對低延遲推理進行了模型蒸餾與優化。
- •該框架整合了先進的運動控制模組，能夠在保持角色外觀一致性的同時，實現高精度的動作遷移。
- •阿里巴巴此次開源旨在降低開發者進入即時虛擬人（Digital Human）領域的門檻，並推動 AI 驅動的直播與互動娛樂生態發展。
- •系統支援多種輸入源，包括單張圖片或短影片，並能自動處理複雜的背景與遮擋問題。
- •該技術已在阿里巴巴內部的電商直播場景中進行了初步驗證，展現了在商業化應用中的穩定性。
📊 競品分析▸ Show
| 特性 | Tongyi Wan-Animate-2 | LivePortrait | Animate Anyone |
|---|---|---|---|
| 即時性 | 24 FPS (端到端) | 中等 (需優化) | 低 (離線為主) |
| 骨骼擷取 | 不需要 | 不需要 | 需要/依賴參考 |
| 開源狀態 | 完全開源 | 開源 | 部分開源 |
| 商業化成熟度 | 高 (電商驗證) | 中 | 中 |
🛠️ 技術深入
- 核心架構：基於潛空間擴散模型（Latent Diffusion Model），並引入了輕量級的運動編碼器（Motion Encoder）。
- 推理優化：利用 TensorRT 加速與模型量化技術，將推理延遲降低至毫秒級。
- 動作遷移：採用無骨骼的特徵對齊技術，透過光流估計與特徵重映射實現動作驅動。
- 訓練數據：基於大規模高品質人像影片數據集進行預訓練，並針對即時串流場景進行了微調。
- 兼容性：支援主流深度學習框架，並提供標準化的 API 接口以利於第三方應用整合。
🔮 前景展望AI analysis grounded in cited sources
虛擬直播與電商互動成本將顯著下降
由於該框架無需昂貴的動捕設備與專業人員，中小型商家將能以極低成本部署高品質的 AI 虛擬主播。
AI 角色動畫技術將加速向邊緣設備遷移
隨著端到端框架的效能優化，未來該類技術有望在消費級顯卡甚至行動裝置上實現即時運行。
⏳ 時間線
2023-09
阿里巴巴發布通義萬相（Tongyi Wanxiang）模型，正式切入生成式 AI 領域。
2024-03
阿里巴巴推出 Animate Anyone，展示了基於靜態圖片生成高品質角色動畫的能力。
2026-08
阿里巴巴正式開源 Tongyi Wan-Animate-2，實現即時端到端角色動畫技術。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Pandaily ↗