🕷️
SetupAI
EN
🦙較早收集於 61m

text-generation-webui 4.1 新增 UI 工具呼叫功能

text-generation-webui 4.1 新增 UI 工具呼叫功能
PostLinkedIn
🦙閱讀原文： Reddit r/LocalLLaMA
#tool-calling#local-llm#ui-extensiontext-generation-webuitext-generation-webui

💡最簡單本地 LLM 工具呼叫：僅 .py + 核取方塊。適合快速代理實驗。（48字元）

⚡ 30-Second TL;DR

有什麼變化

4.1 版發布，支援基於 UI 的工具呼叫

為什麼重要

此更新降低開發者在本地實驗工具增強 LLM 的門檻，有助加速無雲端依賴的代理式 AI 原型開發。

下一步行動

下載 text-generation-webui 4.1，並建立範例 .py 工具檔案測試 UI 核取方塊整合。

誰應關注：Developers & AI Engineers

關鍵要點

  • •4.1 版發布，支援基於 UI 的工具呼叫
  • •自訂工具僅需單一 .py 檔案
  • •發送提示前勾選核取方塊啟用工具
  • •簡化本地 LLM 介面中的函數建立與使用

🧠 深度解析

背景與延伸：來自公開資料，非原文內容。引用 8 個來源。

🔑 增強重點摘要

  • •text-generation-webui 在 3.6.1 版本中新增了 OpenAI 相容 API，支援 Chat 和 Completions 端點，包括工具呼叫功能[4]，為 4.1 版的 UI 工具呼叫奠定基礎。
  • •該專案支援多種後端模型格式（Transformers、ExLlamaV2、AutoGPTQ、llama.cpp），使開發者能靈活整合自訂工具而無需重新編譯核心[3]。
  • •text-generation-webui 提供 LoRA（低秩適應）微調功能，允許使用者在本地訓練自訂模型，與工具呼叫功能結合可實現完全本地化的 AI 工作流程[3][5]。

🛠️ 技術深入

• 工具呼叫實現方式：基於 OpenAI 相容 API 架構，支援標準化的工具定義和呼叫協議[4] • 後端支援：llama.cpp 為最快的模型載入器，支援 4 位元量化 GGUF 模型，可設定 n-gpu-layers 達 128 層以優化效能[6] • 擴展機制：採用模組化擴展系統，允許社群貢獻網頁搜尋、影像生成、角色扮演等功能[3] • 提示格式化：使用 Jinja2 範本自動格式化提示，無需手動調整不同模型的提示格式[4] • 量化支援：支援 4 位元和 8 位元量化，使大型模型能在消費級 GPU 上運行[3]

🔮 前景展望AI analysis grounded in cited sources

本地 AI 工具生態系統標準化
UI 工具呼叫功能結合 OpenAI 相容 API 可能推動本地 LLM 應用的標準化，降低開發者整合自訂工具的門檻。
企業級本地 AI 部署加速
簡化的工具呼叫機制和完全離線運作能力使組織更容易在隱私敏感環境中部署自訂 AI 工作流程。

⏳ 時間線

2024-07
PyImageSearch 發表 Oobabooga Text Generation Web UI 教學，涵蓋 LoRA 微調功能
2025-01
text-generation-webui 3.6.1 版發布，新增 OpenAI 相容 API 和工具呼叫支援
2026-01
Open WebUI 社群通訊報導本地 LLM 工具生態進展
2026-03
text-generation-webui 4.1 版發布，在 UI 中實現工具呼叫功能，支援單一 .py 檔案自訂工具
🦙閱讀原文： Reddit r/LocalLLaMA
📰

AI 週報

閱讀本週精選 AI 大事摘要 →

👉相關動態

同主題

探索 #tool-calling

同產品

更多關於 text-generation-webui

同來源

最新來自 Reddit r/LocalLLaMA

🦙

為 16GB VRAM 調校 Qwen3.8

Reddit r/LocalLLaMA•Aug 22

AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： Reddit r/LocalLLaMA ↗

這是摘要，不是原文。去看原站，或訂閱每週簡報。

每週 AI 簡報

每週一封，可隨時退訂。