楊立昆：拋棄LLM，JEPA世界模型通往AGI

🔑 增強重點摘要

• •楊立昆（Yann LeCun）強調 JEPA 架構的核心在於『能量模型』（Energy-Based Models, EBM），旨在解決自迴歸模型在處理連續變數時的機率密度估計困難。
• •JEPA 透過『聯合嵌入預測架構』（Joint-Embedding Predictive Architecture）實現了對世界狀態的抽象化，這使得模型能夠在不依賴精確像素重建的情況下，進行長期的規劃與推理。
• •該研究方向已從最初的 I-JEPA（影像）擴展至 V-JEPA（影片），證明了該架構在處理時序數據時，能有效捕捉物理世界的因果規律，而非僅僅是統計相關性。

🛠️ 技術深入

• •架構核心：採用編碼器（Encoder）將輸入映射至潛在空間（Latent Space），並利用預測器（Predictor）在該空間內進行狀態轉移預測。
• •目標函數：使用非對比性學習（Non-contrastive learning）方法，如 Barlow Twins 或 VICReg，以防止表徵崩潰（Representation Collapse）。
• •推理機制：不同於 LLM 的 Token 預測，JEPA 預測的是抽象表徵的變化，這允許模型在規劃階段進行多種假設情境的模擬。
• •物理一致性：透過在潛在空間中加入物理約束，模型能學習到物體恆存性（Object Permanence）與重力等基礎物理法則。

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線