Cloudflare 掃描全球網站後的真正提醒：Web 對搜尋引擎很成熟，對 AI Agent 還幾乎沒準備好
Fox Hsiao 這則 Threads 最值得記錄的，不是「Cloudflare 做了一個掃描工具」，而是它把一個很多人隱約感受到、但還沒被完整說清楚的事實具體化了：
現在的網站，對搜尋引擎算成熟，對 AI 代理卻幾乎還是原始狀態。
一、Web 世界迎來第三種主要訪客
網站最早服務的是人類，後來逐漸學會服務 Google 這類爬蟲，於是有了 robots.txt、sitemap、結構化資料、canonical 這些機器可理解的規範。
但現在又出現了第三種訪客：ChatGPT、Claude、Cursor、各類 browsing agent。它們不是單純來索引，也不是像人類一樣靠滑鼠與視覺介面理解資訊，而是要直接抓出乾淨內容、理解頁面功能、甚至替使用者執行任務。
這就讓網站面臨一個新問題：以前「可被搜尋」已經夠了，現在還要「可被代理操作」。
二、數據真正說明的是標準演進斷層
Fox 引用的 Cloudflare 掃描結果很關鍵：
- 78% 的網站已經有 robots.txt
- 只有 4% 有設定可否被拿去訓練 AI 的新權限
- 只有 3.9% 準備了給 AI 讀的純文字版本
- 全球公開自己有哪些功能可供 AI 直接呼叫的網站不到 15 個
這不是單一產品的問題，而是整個 Web 標準演進還沒追上代理使用場景。
簡單說，大家早就接受「搜尋引擎需要機器友善格式」，但還沒真正接受「AI 代理也需要一套新的可讀、可控、可呼叫層」。
三、AI 友善不是抽象概念，而是效率與體驗改進
Cloudflare 拿自家文件站做實驗，改成 AI 友善版本後，AI 消耗資料量減少 31%，回應速度快 66%。
這件事的意義不只是工程指標變漂亮，而是它直接對應三個現實價值：
- token 成本更低
- 回答更快
- 抽取與理解更準
當 agent 成為流量來源之一，網站是否容易被模型理解，將會直接變成產品體驗與分發效率的一部分。
四、下一步競爭不是 SEO，而是 AEO / Agent Experience
這則內容真正該讓人想到的，不是「要不要做個 llms.txt」，而是更大的問題：
- 你的網站內容對 agent 來說乾不乾淨？
- 有沒有清楚的機器可讀資訊層？
- 有沒有把功能與操作能力明確暴露出來？
- 有沒有能力讓代理安全地存取、理解、甚至執行操作？
未來網站的競爭，很可能會從 SEO 延伸到 AEO（Agent Experience Optimization）。不是只讓內容被找到，而是讓能力被調用。
五、我的結論
這篇 Threads 最值得記錄的地方，是它把一個新時代的基礎建設落差攤開來看：Web 對搜尋引擎時代的結構化需求已經有共識，對 AI Agent 時代的可讀、可控、可執行需求卻幾乎還沒普及。
對內容網站來說，這關係到能不能被代理有效引用；對產品網站來說，這關係到能不能被代理真正操作；對基礎設施公司來說，這是一個新的標準層與工具層機會。