Trunk Tools 利用專用 AI 架構大幅縮短文件審閱時間
Trunk Tools 以專用的三層架構取代通用型 LLM，以處理複雜的建築工程文件。透過專注於領域特定的推理能力，該公司將文件審閱週期從 60 天縮短至 10 天。
Search
Tag: #fine-tuning102 results
開發者透過層複製將Gemma4-31B擴展至44B
一位開發者成功利用identity-init層複製技術，將Gemma4-31B模型擴展至44B參數。該模型並針對韓語法律與STEM數據集進行微調，以測試容量擴展效果。
LLM 後訓練的策略價值
作者認為，與單純的推論相比，後訓練是一項高價值且非同小可的技能。它涉及複雜的資料合成、監督式微調 (SFT) 以及新興的強化微調 (RFT) 技術，以解決特定的業務問題。
使用 NVIDIA NeMo AutoModel 加速 Transformer 微調
本文探討了 NVIDIA NeMo AutoModel 如何簡化 Transformer 模型微調的過程。文中強調了提高訓練效率以及降低特定任務模型適配複雜度的技術。
SFT 是 Gemini 安全性的核心驅動力
Google DeepMind 研究人員發現，Gemini 的安全性主要源自於預訓練與監督式微調 (SFT) 的結合，而非強化學習 (RL) 階段。這項發現顯示 SFT 是提升模型安全性的關鍵槓桿點。
📰
Pyrecall：檢測 LLM 微調中的災難性遺忘
Pyrecall 是一款全新的開源工具，旨在監控並防止 LLM 微調過程中的災難性遺忘。它能追蹤不同快照的技能分數，並支援 LoRA 適配器的自動回滾。
SafeGene：用於可遷移安全對齊的可重用適配器
SafeGene 引入了一種模組化的 LLM 安全方法，將安全對齊與特定任務的微調解耦。它利用可重用的適配器在不同的模型更新中維持安全性，防止在下游訓練過程中常見的安全退化問題。
微調 NVIDIA Cosmos Predict 2.5 進行機器人影片生成
本文探討使用 LoRA 與 DoRA 方法微調 NVIDIA Cosmos Predict 2.5 模型。重點在於將該模型針對機器人相關的影片生成任務進行適應性調整。
Empromptu 推出 Alchemy，可直接從生產流程訓練客製化模型
Empromptu AI 推出了 Alchemy Models，這是一個能自動捕捉經驗證的生產數據，並用於微調特定任務「Expert Nano Models」的平台。此方法讓企業能擁有模型權重，並在無需專職機器學習團隊的情況下提升 AI 效能。
特徵疊加幾何解釋湧現性錯位
研究人員提出幾何模型，將大型語言模型的湧現性錯位連結至特徵疊加，微調時會意外放大鄰近有害特徵。使用稀疏自編碼器在 Gemma-2、LLaMA-3.1 和 GPT-OSS 上驗證，有害特徵與誘發錯位資料的特徵更靠近。幾何感知過濾方法將錯位降低 34.5%，優於隨機移除等基準。