⚛️Ars Technica AI•最新收集於 21m
Google 更新 Android Bench 並加入新 LLM 支援
💡了解 Gemini 在最新的 Android Bench 更新中，與其他模型相比的效能表現。
⚡ 30-Second TL;DR
有什麼變化
Android Bench 平台新增對更多 LLM 的支援
為什麼重要
此更新為開發者提供了更多元的基準測試集，以評估裝置端 AI 的效能。這也凸顯了 Gemini 在行動裝置優化環境中維持競爭力的挑戰。
下一步行動
使用更新後的 Android Bench 執行您目前的行動 AI 模型，並與新加入的 LLM 進行效能比較。
誰應關注：Developers & AI Engineers
關鍵要點
- •Android Bench 平台新增對更多 LLM 的支援
- •Gemini 模型目前的效能表現仍落後於產業基準
- •鼓勵開發者參與並引導基準測試流程的演進
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •Android Bench 此次更新特別強化了對邊緣裝置（On-device）推論能力的評估，旨在反映行動裝置在離線狀態下的實際運作效率。
- •基準測試集新增了針對多模態輸入（Multimodal Input）的壓力測試，以評估模型在處理圖像與語音指令時的延遲表現。
- •Google 引入了新的能源效率評分指標（Energy Efficiency Score），用以衡量模型在執行特定任務時對電池壽命的影響。
- •此次更新整合了開源模型評估框架，允許開發者將自定義的量化模型（Quantized Models）納入測試環境中。
- •Android Bench 的更新旨在解決過去基準測試過於偏向雲端運算，而忽略了行動端硬體加速器（如 NPU）優化程度的問題。
📊 競品分析▸ Show
| 基準測試平台 | 支援模型類型 | 核心評估重點 | 裝置端支援 |
|---|---|---|---|
| Android Bench | 雲端與邊緣 LLM | 延遲、能耗、NPU 利用率 | 高 |
| MLPerf Mobile | 廣泛 AI 模型 | 推論速度、硬體吞吐量 | 極高 |
| Geekbench AI | 跨平台 AI 效能 | 算力基準、硬體穩定性 | 中 |
🛠️ 技術深入
- 採用了基於 Android NNAPI 的抽象層，確保測試結果能直接反映不同晶片組（SoC）的硬體加速效能。
- 引入了動態量化（Dynamic Quantization）測試模組，評估模型在 INT8 與 FP16 精度切換時的準確度損失。
- 測試流程整合了針對 Transformer 架構的 KV Cache 優化評估，以測量長文本生成時的記憶體佔用情況。
- 支援透過 Android Debug Bridge (ADB) 進行自動化效能數據採集，減少人工測試帶來的誤差。
🔮 前景展望AI analysis grounded in cited sources
Android Bench 將成為 Android 生態系中 AI 手機認證的關鍵指標。
隨著 AI 效能成為旗艦手機競爭核心，Google 可能會將此基準測試結果作為 OEM 廠商獲得 AI 功能授權的參考依據。
模型開發者將被迫優先優化邊緣端能耗。
新增的能源效率評分指標將直接影響開發者在模型壓縮與量化技術上的投入比重。
⏳ 時間線
2024-05
Google 於 I/O 大會首次預告將強化 Android 平台的 AI 基準測試工具。
2025-02
Android Bench 正式發布，初期僅支援雲端 API 呼叫的效能評估。
2025-11
Google 擴大 Android Bench 支援範圍，納入首批邊緣端小型語言模型（SLM）。
2026-07
Android Bench 進行重大更新，加入多模態測試與能源效率評分指標。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Ars Technica AI ↗