Cloudflare 也下場做爬蟲 API：從反爬巨頭變成爬站基礎設施

文章資訊

• 作者：jerry_wang_1109
• 來源：https://www.threads.com/@jerry_wang_1109/post/DVyDTZoE0pv
• 發布時間：2026-03-12
• 觀看數：31.7K
• 社群反應：624 讚、24 回覆、54 引用、328 分享

核心內容

作者用一句很有戲劇性的話開場：

科技圈最大的背叛。 做反爬蟲起家的 Cloudflare，轉頭發布了一個爬蟲 API。

根據貼文整理，這個 Cloudflare 的 crawler API 主打能力包括：

• 給一個網址，自動爬完整站
• 可回傳：
  • HTML
  • Markdown
  • JSON
• 支援 JS 渲染
  • 代表 React / Vue 這類動態網站也能爬
• 支援 增量爬取
  • 只抓更新過的頁面
  • 省時間、省成本
• 可直接返回 結構化 JSON

這篇在講什麼

這篇的真正重點不只是 Cloudflare 多了一個新 API，而是它反映一個產業方向：

• 過去 Cloudflare 的形象是 防爬、防 bot、防流量濫用
• 現在它同時開始提供 更乾淨、更標準化的爬取能力

這就形成一個很諷刺但也很現實的轉變：

• 賣盾的，開始賣矛了

為什麼這件事值得注意

1. Web crawling 正在變成 AI 基礎設施

現在越來越多 AI / agent workflow 都需要：

• 抓網站
• 擷取內容
• 清洗成可讀格式
• 丟給模型分析

所以網站爬取不再只是 SEO 工具或資料工程用途，而是直接變成：

• AI agent 的資料入口
• 自動化工作流的一環

2. Cloudflare 做這件事很有代表性

因為它原本就站在流量防護與 bot 對抗的一線，現在反過來做 crawler API，代表一件事：

• 市場需求已經大到不能只防守，還得主動產品化

3. 增量爬取很關鍵

這點其實很實用，因為很多場景不是要天天全站重抓，而是：

• 只抓更新過的頁面
• 降低重複抓取成本
• 更適合做持續監控與知識同步

多多觀察

這篇的價值不只是吐槽 Cloudflare 立場轉彎，而是它揭露了一個更大的趨勢：

• 未來 AI agent 不只要會推理，還要會穩定、低成本地取得資料
• 誰掌握「可抓、可清洗、可結構化」這層能力，誰就掌握 agent workflow 的資料入口

所以 Cloudflare 這一手，比起單純做爬蟲工具，更像是在搶：

• AI 爬取基礎設施
• agent 資料供應層
• 網站內容轉結構化資料的中介位置

社群留言的關鍵吐槽

留言區幾個反應很有代表性：

• 賣盾的開始賣矛了
• 不是不給爬，只是不給你免費爬
• 打不過就加入
• 當屠龍者變成惡龍

這些吐槽背後其實是在講同一件事：

• 當需求夠大，原本防守的一方也可能直接把對抗關係產品化、商業化

一句總結

這篇的重點不是 Cloudflare「背叛」了誰，而是它正式承認：對 AI 與 agent 世界來說，網站爬取與結構化輸出已經成為一條值得直接賣的基礎設施能力。