📋TestingCatalog•較早收集於 25m
TinyFish 推出 Bigset，實現自動化網頁數據集生成
💡使用這款全新的開源多代理工具，自動化您的 RAG 數據管道，實現即時網路數據提取。
⚡ 30-Second TL;DR
有什麼變化
利用多代理架構實現網路數據提取自動化。
為什麼重要
Bigset 顯著降低了為 RAG 或微調構建自定義數據集所需的工程開銷。它能為依賴即時網路資訊的 AI 應用程式加速迭代週期。
下一步行動
複製 Bigset 儲存庫並嘗試為您的下一個 RAG 專案生成即時數據集，以評估其提取準確度。
誰應關注：Developers & AI Engineers
關鍵要點
- •利用多代理架構實現網路數據提取自動化。
- •將自然語言提示詞直接轉換為結構化的即時數據集。
- •具備自動更新功能，無需人工干預即可保持數據時效性。
🧠 深度解析
Web-grounded analysis with 13 cited sources.
🔑 增強重點摘要
- •Bigset 是一個根據 AGPL-3.0 許可證發布的開源系統，可透過 Docker 進行自我託管，並要求使用者提供 TinyFish、OpenRouter 和 Clerk 的 API 金鑰以進行操作。
- •其核心架構採用兩層多代理系統，包含一個協調器和多個平行子代理，負責資料發現、提取、去重複和來源歸因。
- •在任何網路存取之前，協調器會利用 Claude Sonnet（透過 OpenRouter 存取）來推斷資料集模式，包括欄位名稱、資料類型和主鍵。
- •Bigset 的資料集生成過程通常需要 2 到 5 分鐘，因為代理程式會執行實際的網路研究，包括搜尋、擷取頁面和驗證資料。
- •TinyFish 公司於 2024 年成立，並於 2025 年 8 月獲得由 ICONIQ Capital 領投的 4700 萬美元 A 輪融資，旨在建立能夠像人類一樣瀏覽網路的 AI 代理，但規模和可靠性更高。
📊 競品分析▸ Show
| 功能/產品 | TinyFish Bigset | Firecrawl | Browse.AI | Octoparse | Bright Data |
|---|---|---|---|---|---|
| 主要功能 | 自然語言提示詞生成即時、自動更新的結構化數據集；多代理架構；自動模式推斷；資料去重複；來源歸因；排程更新。 | 開發者優先的 API；將網頁轉換為 LLM 友好的 Markdown/JSON；爬取整個子網域；LangChain 整合。 | 無程式碼網頁抓取；點擊式介面；機器人訓練器；變更偵測與監控；與 Zapier、Airtable 等整合。 | 無程式碼與 AI 輔助網頁抓取；工作流程設計器；IP 輪換；CAPTCHA 解決方案；桌面與雲端抓取。 | 企業級解決方案；龐大的代理網路；預先抓取的資料集；大規模資料收集的可靠性與合規性。 |
| 定價模式 | 開源 (AGPL-3.0)，可自我託管；需自備 API 金鑰 (TinyFish, OpenRouter, Clerk)。 | 免費方案/付費方案。 | 免費方案/每月 48 美元起。 | 免費方案/付費方案。 | 付費方案。 |
| 基準/性能 | 資料集生成需 2-5 分鐘；自動更新頻率可設為 30 分鐘至每週。 | 針對 LLM 輸出優化，節省 token 成本。 | 913 個 Product Hunt 讚數 (無程式碼抓取工具中最高)。 | 支援大規模抓取。 | 可處理數百萬個請求。 |
🛠️ 技術深入
- 架構：Bigset 採用兩層多代理系統，包含一個協調器和多個平行子代理。
- 模式推斷：協調器使用 Claude Sonnet（透過 OpenRouter 存取，預設為 anthropic/claude-sonnet-4.6）來推斷資料集模式，包括欄位名稱、資料類型和主鍵。此步驟在任何網路存取之前完成。
- 子代理運作：協調器會平行分派子代理，每個子代理負責處理一個實體（最終表格中的一行）。每個代理的工具呼叫次數上限為 6 次，並使用 TinyFish Fetch 擷取實際頁面內容。
- 安全性：資料集 ID 位於對 LLM 不可見的 JavaScript 閉包中，以防止提示注入重定向。
- 資料輸出：目前支援 CSV 或 XLSX 格式匯出，未來規劃支援 SQL 查詢和代理原生 API。
- 自我託管：Bigset 可透過 Docker 以三個指令進行自我託管，但需要使用者提供 TinyFish、OpenRouter 和 Clerk 的 API 金鑰。
- 底層平台：TinyFish 的核心企業級網路代理基礎設施，透過語義元素尋找而非傳統的 CSS 選擇器來提高對網站變化的適應性，並在無伺服器架構下處理動態渲染、登入牆、付費牆、CAPTCHA 和速率限制。
- AgentQL：TinyFish 提供的一套工具，用於將 AI 連接到網路，具有查詢語言和 Playwright 整合，可快速、精確、大規模地與元素互動並提取資料。
🔮 前景展望AI analysis grounded in cited sources
Bigset 將顯著降低即時資料驅動應用程式的進入門檻。
其自然語言介面和自動更新功能允許非技術使用者生成複雜的資料集，從而普及了網路資料的存取。
Bigset 的開源性質將促進 AI 驅動的網路資料提取領域的快速創新和社群驅動的增強。
AGPL-3.0 許可證和 GitHub 上的可用性鼓勵了廣泛的採用、修改和貢獻，加速了其發展，超越了單一公司的努力。
Bigset 的多代理架構和語義理解將為網路資料提取的彈性設定新標準，減少維護開銷。
透過從脆弱的 CSS 選擇器轉向語義元素尋找，它能更有效地適應網站變化，這是傳統抓取的一個常見痛點。
⏳ 時間線
2024
TinyFish 公司由 Shuhao Zhang、Keith Zhai 和 Sudheesh Nair 創立。
2025-08
TinyFish 宣布完成由 ICONIQ Capital 領投的 4700 萬美元 A 輪融資。
2026-06-02
TinyFish 發布開源多代理系統 Bigset。
📎 來源 (13)
Factual claims are grounded in the sources below. Forward-looking analysis is AI-generated interpretation.
📰
AI 週報
閱讀本週精選 AI 大事摘要 →
👉相關動態
AI 策展新聞聚合。所有內容版權歸原始發布者所有。
原始來源： TestingCatalog ↗