Search

Tag: #web-scraping26 results

AI 工具自動化求職搜尋與履歷準備

一個基於 Python 的新專案利用 AI 在網路上搜尋職缺，並自動生成量身打造的履歷與求職信。此工具旨在透過自動化資料蒐集與文件撰寫，簡化繁瑣的求職過程。

The Register - AI/MLMedia•Jul 9#automation#web-scraping#productivity

用於可靠網頁爬取的全新可驗證代理框架

這項研究引入了一種框架，將 LLM 的自由格式代碼生成替換為類型化的 JSON 配置，以提高網頁爬取的可靠性。透過使用六種類型的收集器分類法和基於規則的品質檢查，實現了確定性且可驗證的數據收集。

ArXiv AIResearch•Jul 2#web-scraping#agentic-workflow#data-collection

微軟 MAI 系列模型訓練數據透明度引發爭議

報導指出微軟 MAI 系列模型使用了開放網路數據進行訓練，這與其先前宣稱僅使用乾淨、商業授權數據的說法不符。批評者認為這引發了數據來源倫理與透明度的疑慮。

IT之家Media•Jun 6#data-ethics#model-transparency#web-scraping

TinyFish 推出 Bigset，實現自動化網頁數據集生成

TinyFish 發布了開源多代理系統 Bigset，旨在將自然語言提示詞轉換為來自網路的即時、自動更新數據集。該工具透過自動化提取流程，簡化了開發者的數據收集管道。

TestingCatalogMedia•Jun 2#data-collection#multi-agent#rag

Manus 推出雲端網頁爬蟲功能

The Neuron 報導了 Manus 的一項新功能，允許用戶構建自己的雲端網頁爬蟲。此更新擴展了該平台在數據提取和自動化任務方面的實用性。

The NeuronMedia•May 18#web-scraping#automation#data-pipeline

Cloudflare 與 GoDaddy 聯手對抗 AI 機器人

Cloudflare 與 GoDaddy 合作管理 AI 網路爬取，以因應 AI 代理日益增加。重點阻擋爬蟲並制定標準，區分可信任 AI 代理與惡意機器人。此舉保護網站擁有者，適應 AI 主導的網路環境。

The Register - AI/MLMedia•Apr 7#web-scraping#ai-agents#bot-blocking

前端工程師最不想看到的開源項目出現了，一行命令克隆任意網站

一個在 GitHub 上獲得 20k Star 的開源項目因能透過一行命令克隆網站而爆紅。此工具引發了關於網頁爬蟲與前端安全的重要討論。

量子位Media•Jun 28#web-scraping#security#frontend

AI 網頁數據基礎設施的興起

本文探討了構建結構化網頁數據基礎設施對於支持 AI 擴展的關鍵需求。文章強調了當前非結構化與受限的網頁數據如何限制了現代 AI 模型的潛力。

MIT Technology ReviewResearch•Jun 24#data-engineering#web-scraping#data-pipeline