透過單一指令在 HF Jobs 上執行 vLLM 伺服器
Hugging Face 推出了一項簡化流程，可直接在其 Jobs 基礎設施上部署 vLLM 推論伺服器。此更新讓開發者能透過單一指令快速啟動高效能的 LLM 服務環境。
Search
Tag: #llm-ops30 results
Anthropic 解決 Claude 模型錯誤率升高的問題
Anthropic 正在調查並修復多個 Claude 模型的錯誤率升高問題。此前，該公司剛暫停了 Claude Mythos 5 和 Fable 5 等特定模型的存取權限。
📰
Pyrecall：檢測 LLM 微調中的災難性遺忘
Pyrecall 是一款全新的開源工具，旨在監控並防止 LLM 微調過程中的災難性遺忘。它能追蹤不同快照的技能分數，並支援 LoRA 適配器的自動回滾。
當模型行為改變時：管理 AI 的影響範圍
本文詳細說明了一次生產環境故障，升級至 Claude Sonnet 4.5 後，模型輸出的 JSON 結構發生意外變更，導致下游 API 整合失效。這凸顯了假設 LLM 版本更新具備穩定性的風險。
企業 AI 成本飆升，產業呼籲成立標準化組織
企業正面臨因 Token 使用量失控而導致的巨額意外 AI 帳單。目前企業界正推動成立產業標準化組織，以解決定價透明度與使用量管理問題。
Ramp 估值達 440 億美元，瞄準 AI Token 支出管理
金融科技公司 Ramp 在 F 輪融資中籌集了 7.5 億美元，估值達到 440 億美元。該公司正定位於協助企業管理並優化快速增長的 AI Token 消耗成本。
⚙️
6,400 美元本地 LLM 伺服器總擁有成本分析
一份詳細的成本分析，比較了使用二手 MI100 GPU 組裝的 6,400 美元本地 LLM 伺服器與商業 API 的成本。作者認為，考慮到硬體折舊，對於高流量工作負載而言，本地託管在成本上更具效益。
金融AI企業優先進行Token成本優化
金融AI企業正將重心轉向精細化的Token成本管理。這已成為維持企業永續經營的必要條件。
AI Gateway 新增依成本、延遲或吞吐量排序供應商功能
Vercel AI Gateway 現在允許開發者根據成本、首字延遲 (TTFT) 或吞吐量 (TPS) 動態排序模型供應商。這使得 AI 請求能夠自動優化，且無需在供應商效能變動時修改程式碼。
使用 Databricks Unity Catalog 與 Amazon SageMaker 微調 LLM
此工作流程展示了如何整合 Databricks Unity Catalog 與 Amazon SageMaker AI 進行安全的 LLM 微調。它利用 Amazon EMR Serverless 進行資料預處理，同時維持嚴格的資料血緣與治理。