Meta and Tesla Use Human Data to Train AI Agents

🔑 增強重點摘要

•Meta的「模型能力倡議」（MCI）軟體追蹤美國員工的滑鼠移動、點擊、鍵盤輸入，並定期截取工作相關應用程式和網站的螢幕截圖，旨在訓練AI智能體模仿人類的電腦使用行為。
•Meta的數據採集行為引發了員工的強烈反彈，他們對隱私、裁員背景下的工作保障以及「反烏托邦」工作環境表示擔憂，並發起了抗議和請願。
•Tesla的Optimus機器人訓練涉及「數據採集操作員」，他們佩戴配備五個攝影機的頭盔和背包，在八小時輪班期間重複執行日常任務數百次，以採集第一人稱視角的影片數據用於模仿學習。
•人形機器人公司Figure AI透過其Helix模型，利用超過1,000小時的關節級人類動作數據和模擬中的強化學習進行訓練，旨在實現類人全身控制。
•「技能蒸餾」的概念是將人類專業知識（如決策框架、模式識別、問題解決方法）轉化為結構化、可重複使用的AI能力，以創建一個「數位學徒」。

📊 競品分析▸ Show

特性/公司	Meta (AI智能體)	Tesla Optimus (人形機器人)	Figure AI Helix (人形機器人)
主要目標	訓練AI智能體模仿人類電腦操作，執行日常任務。	開發通用型人形機器人，執行工廠、家庭任務。	開發通用型人形機器人，實現全身自主控制。
數據採集方式	MCI軟體追蹤員工滑鼠、鍵盤、螢幕截圖。	「數據採集操作員」佩戴攝影機裝備，執行任務錄製第一人稱影片。	遠端操作機器人行為數據、以自我為中心的人類影片數據、關節級人類動作數據。
訓練方法	模仿學習，從人類電腦互動中學習。	單一端到端神經網路，模仿學習，合成數據，神經世界模擬器，強化學習。	視覺-語言-動作（VLA）模型，強化學習，高擬真物理模擬，Sim-to-Real遷移。
模型架構	旨在複製人類電腦使用行為的AI智能體。	單一端到端神經網路，與FSD v12共享架構，包含48個網路。	單一統一的視覺運動神經網路，控制全身。
硬體/平台	員工工作電腦上的軟體。	Optimus人形機器人，配備觸覺感測器和掌心攝影機（Gen 3手部）。	Figure 01/02/03人形機器人，配備嵌入式觸覺感測器和掌心攝影機。
倫理/爭議	員工隱私、工作保障、監控疑慮。	數據採集工作的體力要求、監控感。	尚無重大公開爭議，但通用型機器人數據採集普遍存在倫理考量。
預期成本	不適用（內部軟體）	長期目標約20,000美元/台。	不適用（未公開）
性能基準	旨在更直觀、有效地模仿人類電腦使用。	執行工廠任務、家庭雜務（如倒垃圾、攪拌食物）。	Helix 02能自主完成4分鐘的洗碗機裝卸任務，具備精巧操作能力。

🛠️ 技術深入

Meta MCI軟體：
- 追蹤員工的滑鼠移動、點擊、鍵盤輸入，並定期截取螢幕截圖。
- 數據用於訓練AI智能體，使其能更直觀、有效地模仿人類在電腦上的操作，例如使用下拉選單或鍵盤快捷鍵。
Tesla Optimus機器人：
- 採用單一端到端神經網路處理所有行為，與其全自動駕駛（FSD）系統共享核心架構。
- 主要數據來源是人類執行任務的第一人稱影片，透過配備5個攝影機的頭盔和背包進行採集。
- 訓練基礎設施包括Cortex超級叢集（超過67,000個H100等效GPU）和Dojo超級電腦。
- 利用合成數據（「數位夢境」）和神經世界模擬器（與FSD使用相同的模擬器，由車隊數據訓練）進行訓練。
- Optimus的視覺模型採用Tesla的視覺轉換器架構，透過數百萬英里的駕駛數據訓練，以理解物理世界。
- 運動規劃演算法與FSD相同，但針對機器人運動進行了調整。
- Gen 3手部配備觸覺感測器，為操作任務提供更豐富的訓練訊號。
Figure AI Helix模型：
- 採用視覺-語言-動作（VLA）模型，Helix 02版本是一個單一統一的視覺運動神經網路，直接從像素控制整個機器人身體。
- 訓練數據包括超過1,000小時的關節級人類動作數據、以自我為中心的人類影片以及遠端操作的機器人行為數據。
- 訓練方法是透過強化學習（RL）在高擬真物理模擬中進行，模擬數千個虛擬人形機器人，並結合領域隨機化實現零樣本（zero-shot）從模擬到真實硬體的遷移。
- System 0是一個學習型全身控制器，取代了109,504行手動編寫的C++程式碼，實現穩定自然的運動。
- 機器人內部嵌入GPU，實現即時操作。
- Figure 03機器人平台配備嵌入式觸覺感測和掌心攝影機，以實現更精巧的操作。

🔮 前景展望AI analysis grounded in cited sources

企業數據採集行為將面臨更嚴格的倫理和法律審查。

Meta內部員工對其監控軟體的強烈反彈以及過去的數據隱私爭議（如GDPR和劍橋分析事件），預示著未來對AI訓練數據採集將有更嚴格的法規和潛在的法律挑戰。

AI智能體在複製複雜人類任務方面的能力將加速提升。

Tesla和Figure AI等公司透過直接人類示範和大規模行為數據採集，有效地訓練機器人學習細微的動作和決策，這將推動AI朝向更自主和通用化的方向發展。

人類勞動力將轉向AI監督、數據策劃以及需要獨特人類技能的角色。

隨著AI透過「蒸餾」人類技能來自動化重複性任務，人類員工將越來越需要從事批判性思維、倫理判斷、創造性問題解決以及提供AI無法自主生成的「真實數據」等工作。

⏳ 時間線

2023-01

Meta同意在歐盟對用戶數據採集實施選擇加入（opt-in）機制，以符合GDPR法規。

2025-02

Figure AI推出Helix模型，利用遠端操作機器人行為數據進行訓練。

2025-05

Tesla Optimus展示透過單一神經網路執行任務，並從人類第一人稱影片中學習。

2025-09

Figure AI宣布「Project Go-Big」計畫，旨在進行網際網路規模的人形機器人預訓練和零樣本人類影片到機器人遷移。

2025-11

Tesla透露Optimus在神經世界模擬器中進行訓練，同時Tesla員工在實驗室中訓練Optimus機器人。

2026-01

Figure AI推出Helix 02，實現全身自主控制，並在Austin工廠開始Tesla Optimus的工廠訓練。

2026-04

Meta的MCI軟體追蹤員工活動以訓練AI的報導廣泛傳播，引發內部強烈反彈。

Meta與Tesla透過採集人類行為數據訓練AI智能體

⚡ 30-Second TL;DR

關鍵要點

🧠 深度解析

🔑 增強重點摘要

🛠️ 技術深入

🔮 前景展望AI analysis grounded in cited sources

⏳ 時間線

📎 來源 (33)

👉相關動態

Google 發表 Gemini Robotics 2，實現人形機器人全身控制

強制性同儕審查的品質與專業標準

eBay 因針對記者的騷擾行動支付 4600 萬美元

FIFA 商業子公司計畫引發全球強烈抵制