📄ArXiv AI•較早收集於 19h
背景溫度揭示LLM隱藏隨機性
💡量化LLM在T=0時為何分歧—AI評估與部署再現性的關鍵（28字元）
⚡ 30-Second TL;DR
有什麼變化
引入T_bg作為T=0非決定性的有效溫度
為什麼重要
此形式化突顯影響LLM可靠性的實作陷阱，促使標準化推論環境。它透過量化隱藏隨機性，影響評估基準與生產部署。
下一步行動
在您的LLM推論設定中執行提出的T_bg估計協議，以檢查再現性。
誰應關注：Researchers & Academics
關鍵要點
- •引入T_bg作為T=0非決定性的有效溫度
- •來源包括批次大小變化、核心不變性、浮點非結合性
- •提出使用等價溫度T_n(I)的經驗協議
- •在主要LLM提供者的試驗中展示再現性影響
🧠 深度解析
AI-generated analysis for this event.
🔑 增強重點摘要
- •研究指出，即使在設定溫度（Temperature）為 0 的情況下，LLM 的輸出仍會因底層硬體架構（如 NVIDIA GPU 的 Tensor Cores）的非確定性運算行為而產生偏差，這被定義為「硬體噪聲」。
- •背景溫度（T_bg）的量化方法涉及對模型輸出對數機率（Logits）的統計分析，透過測量不同執行環境下輸出分佈的散度，將硬體層面的不確定性映射為與軟體溫度參數等價的數值。
- •此研究強調了在科學研究與法律合規場景中，僅鎖定溫度參數為 0 並不足以保證模型輸出的完全可再現性（Reproducibility），必須同時考慮系統層級的環境變數控制。
🛠️ 技術深入
• 核心機制：利用 KL 散度（Kullback-Leibler Divergence）來量化在相同輸入下，不同硬體或批次設定產生的輸出機率分佈差異。 • 浮點數問題：歸因於 IEEE 754 浮點數運算在並行計算中的非結合性（Non-associativity），即 (a+b)+c 不一定等於 a+(b+c)，這在 GPU 大規模並行處理中尤為顯著。 • 估計協議：透過多次採樣並計算輸出序列的困惑度（Perplexity）波動，推導出對應的有效背景溫度 T_bg，從而建立一個標準化的環境噪聲指標。
🔮 前景展望AI analysis grounded in cited sources
LLM API 提供商將被迫在開發者文檔中揭露系統級的「背景溫度」指標。
隨著對再現性要求嚴格的應用場景增加，開發者需要量化指標來評估不同基礎設施對模型輸出穩定性的影響。
未來模型推理框架將引入強制性的確定性運算模式（Deterministic Mode）。
為了消除硬體層面的隨機性，框架層將需要犧牲部分計算效能，以確保在不同 GPU 叢集上獲得完全一致的輸出結果。
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： ArXiv AI ↗