超越聊天機器人的 Direct Preference Optimization
本研究探討了 Direct Preference Optimization (DPO) 在標準對話式 AI 模型之外的應用。研究檢視了如何將偏好對齊技術調整應用於更多樣化的任務與架構中。
Search
Tag: #model-optimization39 results
Om AI 轉向專注於現實世界的邊緣 AI 部署
Om AI Technology 正將重心從大型雲端模型轉移，優先考慮實用的邊緣 AI 部署。該公司旨在透過為邊緣運算環境優化 AI，以解決現實世界的應用挑戰。
Import AI 457：AI 安全、Muon 優化器與對齊研究
本期 Import AI 探討了 AI 驅動的網路威脅潛力、Muon 優化器的運作機制，以及正向對齊研究的最新進展。內容概述了當前 AI 安全與優化技術的趨勢。
PyTorch ExecuTorch 登陸 Arm 微邊緣裝置
PyTorch 推出 ExecuTorch，用於在 Arm 架構的微邊緣裝置上部署模型。這使得 AI 推論能在掌上大小、低記憶體系統上運行，先前受資源限制無法實現。擴展 PyTorch 從雲端到微型嵌入式硬體的應用。
Unsloth Dynamic 2.0 GGUFs 更智能層級量化
Unsloth 發布 Dynamic 2.0 GGUFs，具備智能選擇性層級量化。此更新實現更廣泛且更智能的本地 LLM 推論壓縮。由 u/paranoidray 發佈於 r/LocalLLaMA。
更新的模型，同樣的優勢
Hugging Face 探討了模型效能的持續演進，同時保持了一致的整合優勢。此次更新強調了新版本如何持續在現有生態系統中提供價值。
Fable 5 回歸引發負評潮，效能下降且回應爭議
Fable 5 在回歸 24 小時內面臨大量負評。用戶回報跑分效能顯著下降，且對開發團隊拒絕回應問題及與用戶的互動態度感到不滿。
Convoy 共同創辦人 Dan Lewis 成立 AI 供應鏈隱形新創公司
曾領導貨運平台 Convoy 的 Dan Lewis 已離開 Microsoft，創立一家新的隱形新創公司。該公司旨在提升供應鏈與物流領域中 AI 模型運行的效率。
🤖
Qwen3.5 運行筆記與最佳設定
Reddit 用戶分享 Qwen3.5 模型系列的親身運行經驗，強調其一致的家族特徵、對提示的高度適應性，以及在 llama.cpp 中的設定敏感度。主要建議包括 35B 模型使用 temp 0.6、repeat-penalty 1.4 以防循環，並避免 KV 快取量化。模型透過系統提示可在表面回應外展現更深入分析。