🤖
開源大型語言模型微調指南
一個開發團隊正在尋求微調小型模型（如 Llama、Mistral 或 Gemma）的路線圖。他們正在尋找如何使用自有數據啟動微調流程的指導。
Search
Tag: #fine-tuning102 results
釐清 LoRA 論文中關於子空間相似度的圖表
研究人員尋求對 LoRA 原始論文中子空間相似度圖表的解讀說明。討論重點在於秩索引（rank indices）之間的關係以及子空間包含關係的可視化方式。
📰
開源權重模型進行安全訓練的實用性探討
本文探討了針對開源權重 LLM 進行安全訓練的有效性，質疑對抗發布後微調是否為可行的目標。文中檢視了「未經審查」模型變體的威脅模型，並討論增加攻擊者成本是否能構成實質的安全勝利。
🎵
優化 Whisper 以適應特定領域詞彙
開發者正在尋求有效的策略來針對技術或特定領域語音（特別是西班牙語）微調 Whisper。討論評估了除標準 LoRA 和 QLoRA 之外，能更好識別詞彙的方法。
🔬
在 LoRA 適配器上使用 EMA 進行自我蒸餾
本討論探討了將指數移動平均 (EMA) 應用於 LoRA 適配器以作為自我教師的可行性。目標是為可訓練的適配器生成軟標籤，類似於策略內自我蒸餾技術。
優化用於古蘭經語音識別的 Transformer 模型
本研究評估了 Wav2Vec2.0 和 XLS-R 等自監督 Transformer 模型在古蘭經語音識別（ASR）的應用，顯著降低了詞錯誤率。研究強調了在大型誦讀數據集上進行特定領域微調的有效性。
為何現有的 AI Agent 在生產環境中頻頻失敗
本文分析了企業級 AI Agent 從演示轉向生產環境時面臨的挑戰，指出微調（Fine-tuning）與 RAG 的侷限性。文中提出使用超網絡（Hypernetworks）按需構建模型，以解決 Agent 執行任務時的穩定性問題。
超越 LoRA：評估熱門微調技術的替代方案
本文探討目前的微調技術是否能超越 LoRA 的效能與效率。文章深入研究了大型語言模型參數高效微調（PEFT）的新方法。
如何針對特定領域微調 Nemotron 3.5 ASR
本教學提供針對 Nemotron 3.5 ASR 模型進行微調的完整指南。內容涵蓋如何調整模型以適應特定語言、專業領域或獨特口音，進而提升語音轉文字的準確度。
利用 Amazon SageMaker AI 的 SFT 與 DPO 提升代理工具呼叫準確度
本教學展示如何利用監督式微調 (SFT) 與直接偏好優化 (DPO) 來提升小型語言模型 (SLM) 的工具呼叫準確度。透過 Amazon SageMaker AI 基礎設施，開發者可簡化訓練與評估流程。