AI Business
Cloudflare Pay Per Crawl：HTTP 402 讓內容網站重新談判 AI 爬蟲的經濟關係
Cloudflare 的 Pay Per Crawl 嘗試用 HTTP 402 Payment Required 讓內容擁有者對 AI crawlers 設定放行、收費或封鎖。重點不是技術噱頭，而是搜尋時代「爬我內容、送我流量」的交換，在 AI answer engine 時代已經破裂。
2026年5月12日1 分鐘閱讀👁 4
AI crawlers / content economy
Cloudflare Pay Per Crawl：AI 爬蟲時代，內容網站開始對「被爬」重新定價
Threads 貼文提到 Cloudflare 的新解法：AI 公司要爬內容可以，但內容擁有者可以選擇免費放行、收費或封鎖。這個方向用到幾乎被遺忘的 HTTP 402 Payment Required，背後是搜尋流量交換模型正在被 AI answer engine 改寫。
核心問題：Google 搜尋時代的交換是「你爬我的內容，然後送流量回來」。AI 摘要與聊天回答時代，爬蟲可能拿走內容卻不送訪客，內容創作者的經濟模型因此斷裂。
Pay Per Crawl 怎麼運作
Cloudflare 官方描述：AI crawler request content 時，如果帶有 payment intent 且符合條件，就回 200；如果需要付費，回 402 Payment Required 並附 pricing。Cloudflare 作為 Merchant of Record 與技術基礎設施。
站方三種策略
站長可對 crawler 設定 allow、charge、block。也就是學術研究可以放行、特定 AI 公司收費、競爭對手封鎖。這把「robots.txt 的禮貌協議」往商業協議推進一步。
為什麼是現在
Cloudflare 另一篇文章指出，OpenAI、Anthropic 等 AI 工具帶回的流量遠低於爬取量。精確倍數會隨資料口徑而變，但方向明確：AI 對內容的消耗與回流已經嚴重不對稱。
觀察重點
- AI crawler 是否願意遵守 402 與付費流程。
- 小型內容站是否能透過 Cloudflare 聚合獲得談判能力。
- 搜尋引擎、AI answer engine、出版商之間是否形成新的標準費率。
- 技術可行之外，法律與商業合約才是長期關鍵。