SetupAI
EN
來源較早收集於 10m

京東開源即時影片編輯模型

閱讀原文： 36氪
#real-time-editing#generative-video#open-source-model

這款開源模型可能讓你的 AI 產品具備邊看邊編輯的互動式影片工作流程。

30 秒速覽

有什麼變化

JoyAI-Video-Edit 現已由京東開源。

為什麼重要

模型開源可能降低建立即時互動影片創作工具的門檻，讓開發者能探索新的編輯介面。其實際價值將取決於延遲、硬體需求、編輯保真度與授權條款。

下一步行動

下載 JoyAI-Video-Edit，使用五段代表性影片測試人物與場景編輯，同時測量延遲與 GPU 記憶體使用量。

誰應關注：Developers & AI Engineers

關鍵要點

  • •JoyAI-Video-Edit 現已由京東開源。
  • •使用者可在影片播放期間編輯人物與場景。
  • •該工作流程將先生成、後修改的線性流程轉變為即時互動創作。

深度解析

本篇為 AI 生成分析，非原文內容。

增強重點摘要

  • •JoyAI-Video-Edit 採用了輕量化神經渲染架構，旨在降低終端設備的運算負載，使其能在消費級硬體上實現低延遲推理。
  • •該模型整合了京東自研的時序一致性控制模組，確保在即時編輯過程中，影片幀與幀之間的視覺過渡平滑，避免常見的閃爍問題。
  • •京東將此模型開源的策略，旨在建立以電商直播與虛擬試穿為核心的生態系統，吸引開發者參與優化即時互動場景。
  • •模型支援多模態輸入，使用者不僅能透過文字指令進行編輯，還能即時上傳參考圖像來引導場景風格的變更。
  • •JoyAI-Video-Edit 的底層架構針對直播串流進行了優化，支援與主流直播推流軟體（如 OBS）的 API 介面整合。

競品分析

即時編輯能力
JoyAI-Video-Edit
高（專注於串流互動）
Adobe Firefly Video
中（偏向離線後製）
Runway Gen-3 Alpha
中（偏向生成與編輯）
開源狀態
JoyAI-Video-Edit
是
Adobe Firefly Video
否
Runway Gen-3 Alpha
否
主要應用場景
JoyAI-Video-Edit
電商直播、互動娛樂
Adobe Firefly Video
專業影視製作
Runway Gen-3 Alpha
創意內容生成
硬體需求
JoyAI-Video-Edit
優化消費級硬體
Adobe Firefly Video
高階工作站
Runway Gen-3 Alpha
雲端運算為主

技術深入

  • 採用基於潛空間（Latent Space）的即時編輯技術，減少對全幀像素渲染的依賴。
  • 引入了自適應時序注意力機制（Adaptive Temporal Attention），在保持編輯靈活性的同時維持影片連貫性。
  • 支援 ONNX 與 TensorRT 格式導出，大幅提升在 NVIDIA GPU 上的推理效能。
  • 內建針對人臉與服飾的專用遮罩生成器，實現精準的局部區域編輯。

前景展望基於引用來源的 AI 分析

直播電商將全面轉向互動式虛擬場景。
即時編輯技術的普及將使直播主能隨時更換背景與商品展示風格，顯著提升觀眾的參與度與轉化率。
個人創作者將具備與專業工作室同等的即時視覺特效能力。
開源模型降低了高階視覺特效的技術門檻，使得中小型創作者能以極低成本實現複雜的影片即時後製。

時間線

2025-03
京東發布 JoyAI 基礎模型系列，初步探索多模態內容生成。
2025-11
京東內部測試即時影片處理技術，應用於電商直播間的虛擬背景替換。
2026-07
京東正式對外開源 JoyAI-Video-Edit 模型，並提供開發者文件。
閱讀原文： 36氪

AI 週報

閱讀本週精選 AI 大事摘要 →

PostLinkedIn

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： 36氪 ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週電子報

每週一封，可隨時退訂。