__usage_ai-training 查證：跨廠商訓練偏好提案是真的，但不是四巨頭已同步生效的防爬蟲開關
截至 2026-11-02，__usage_ai-training 是 10 月 30 日提交的個人 Internet-Draft 中的跨廠商用途政策 token，不是新 robots.txt 指令或已完成的 IETF 標準。OpenAI 尚在安排導入、Google 目標為 2027 年、Microsoft 公告 2027-02-01 起隨爬取生效；不能說今天加一行就讓四家公司同時停止訓練或抓取。
查證結論（2026-11-02）：有真實草案與大廠支持，但原貼把「共同偏好訊號、未來導入」說成「正式標準、現在同時生效」，也把使用限制混成存取阻擋。對網站經營者有價值的方向，是減少重複表達訓練偏好的成本；不是把內容控制、安全防護或法律效果交給一行文字。
原貼在說什麼？
Threads 作者 it.oppa.twhk 稱 OpenAI、Google、Microsoft、Anthropic 聯手向 IETF 提交統一協議，正式推出 __usage_ai-training，網站只需一行就能讓四家同時拒絕訓練，且保留搜尋曝光。作者另把此事解讀為版權訴訟壓力下的妥協。本次保留其主張，但不把動機分析當成已證實的因果。[S0]
第一個訂正：目前是個人草案，不是正式 RFC
正式文件名稱為 Machine-Readable Training Preference Signal，精確版本 draft-kelley-aipref-training-preference-signal-00，日期 2026-10-30，標示到期日 2027-05-03。Datatracker 顯示 Active Internet-Draft（individual）、IESG state 為 I-D Exists；Intended status: Standards Track 是目標，不等於完成標準化。頁面也明載此個人草案未獲 IETF 背書。[S1–S2]
文件作者是 Kevin Kelley，所列任職單位為 Anthropic，不是四家公司共同列名的四位作者。致謝名單確有來自四家及其他機構的參與者，但文件明說 affiliation 僅供識別，IETF 參與者以個人身分貢獻。因此，致謝名單不能直接證明所有公司已上線採用；採用情形須逐家看官方公告。[S2]
第二個訂正：不是新增一個「通用指令」
__usage_ai-training 是放在既有 User-Agent: 欄位的 policy token，不是新的 directive 名稱，也不必出現在 HTTP 請求的 User-Agent header。草案沿用 RFC 9309 的群組、Allow／Disallow 及路徑比對語法。最低限度的全站拒絕範例是兩行一組，不是單獨放一行 token：[S2 §4.1–4.2；S3 §2]
User-Agent: __usage_ai-training
Disallow: /這是供理解提案的範例，並非本次對任何網站的實際設定。草案另支援路徑例外；例如下例對其他路徑表達反對訓練，對 /press-kit/ 表達贊成：[S2 §1、§4.2]
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/- 只有
User-Agent: *，不能當成這個政策 token 的用途偏好；草案明確排除 wildcard group 的這種解讀。 - 沒有這個 token，代表未經此機制表達偏好，不是標準自動授予訓練許可；個別服務的預設政策須另外查。
- 草案允許個別廠商把自家 policy token 視為更具體的表達，私下協議也可能優先；不能假設新 token 一定蓋過全部舊設定。
以上依草案 §4.2、§4.5。其訓練定義承接 draft-ietf-aipref-vocab-08（2026-09-13）：用資產修改生成式 AI 模型的已學參數，不把所有機器學習、分類、排序、評分一概算入；不能擴寫成「禁止一切 AI 使用」。[S2 §3；S4]
四家公司：支持、既有政策與生效日期必須分開
| 公司 | 可核對的官方證據 | 截至查證日應如何理解 |
|---|---|---|
| OpenAI | 2026-10-30 公告將尊重共同訊號，目標在未來數月實作，完成時再公告；既有 crawler controls 繼續適用。[S5] | 不是公告當天已生效。現有文件區分訓練的 GPTBot 與搜尋的 OAI-SearchBot，可分別控制；ChatGPT-User 是使用者觸發存取，官方提醒 robots.txt 規則可能不適用。[S6] |
| 2026-10-30 公告目標 2027 年支援；目前 crawler 文件寫 early 2027。若未明列 Google-Extended，計畫將共同拒絕訊號視同拒絕 Google-Extended；既有公司專屬設定繼續運作。[S7–S8] | 仍是導入計畫。Google-Extended 不影響 Google Search 納入與排名，但其用途涵蓋未來 Gemini 訓練與部分 Gemini／Vertex AI grounding，不能簡化為只關訓練、不影響任何 AI 回答。[S8] | |
| Microsoft | 官方公告訂 2027-02-01 起，隨重新爬取開始尊重新偏好；2027-03-01 為 NoArchive／NoCache 訓練與 grounding 舊偏好退場及遷移的重要期限。[S9] | 不是今天貼上就生效。頁面級 AI Training 設定會優先於 robots.txt；AI Grounding 是 Microsoft 另設的頁面級偏好，不是本共同 token 自動一併控制。舊站需依官方過渡流程規劃，不能現在刪掉舊設定。 |
| Anthropic | Kevin Kelley 以 Anthropic 任職資訊撰寫草案；另有官方 crawler 文件區分 ClaudeBot、Claude-SearchBot、Claude-User。[S2、S10] | 作者任職資訊不是上線證明。本次讀到的官方 crawler 文件未列共同 token 的導入日，亦未取得足以證實已啟用的 Anthropic 官方實作公告；保留未確認，不推論它沒支持。既有訓練抓取控制仍應核對 ClaudeBot 文件。 |
Microsoft 的公告同時規範多個遷移日期與暫時 grounding 偏好，本文僅摘錄與「現在是否生效」直接相關的節點，不是完整部署指南。所有日期均為公告承諾／計畫，而非本次對實際 crawler 的測試結果。[S9]
保留搜尋、不給訓練：方向成立，但不是無條件保證
應分開討論傳統搜尋收錄、生成式 AI 訓練、回答時引用／grounding，以及使用者即時要求讀頁面。OpenAI 已有搜尋與訓練 bot 的分開控制；Google-Extended 亦不直接影響 Google Search 收錄與排名，但不代表 Gemini grounding 完全不受影響。Google Search 的 AI Overviews／AI Mode 文件則說明使用 Search crawler 與 nosnippet、data-nosnippet、max-snippet、noindex 等既有控制，不能直接等同於 Google-Extended 的訓練開關。[S6、S8、S11]
所以「可保留傳統搜尋資格，同時拒絕某些訓練用途」是有官方根據的控制方向；「保證 SEO 流量不變、保留所有 AI 曝光與引用」則沒有根據。資格、實際出現、點擊與收益不是同一件事；Microsoft 也明說選擇偏好不保證收錄、流量或付款。[S9]
這不是存取控制，也不能從技術草案直接推出法律效力
草案 §4.3–4.4 把內容用途偏好與 crawler 抓取規則視為互相獨立，並明說此 token 不是指揮爬取行為的命令。它不會讓伺服器自動回 403，也不證明內容已從歷史訓練資料或模型中移除。[S2]
RFC 9309 已明說 robots.txt 規則不是存取授權，§3 提醒它不能取代內容安全措施。本文因此不把這個提案稱為防爬蟲安全防線，也不從草案推導任何司法管轄區的授權、侵權或免責結論；若需要實際限制存取，須另評估身份驗證及適合的伺服器端措施。個別措施的部署、安全與法律審查不在本次查證範圍。[S3]
網站經營者的檢核清單（編輯整理，非標準條文）
- 先定義要限制哪一層：搜尋、訓練、grounding 或使用者即時讀取，不把它們混成「AI 爬蟲」。
- 盤點既有 GPTBot、Google-Extended、ClaudeBot、Bing 設定與商業協議；不要僅因看到共同 token 就移除舊規則。
- 若未來加入共同訊號，逐家核對正式實作公告、生效日期、預設行為與公司專屬設定優先權。
- 敏感資料不要只靠 robots.txt 保護；部署變更須另行授權、測試並觀察日誌。本文沒有修改任何真實 robots.txt，沒有部署或測試網站封鎖。
來源與查證範圍
已補讀原貼可見留言及作者回覆：有留言質疑robots.txt不是硬封鎖、舊資料不會自動收回，也有人提醒品牌曝光的取捨；作者認同需整體溝通決定，但未在這些回覆補上標準狀態或實作日期。這些是意見，不是法律判斷或流量實測；不相關廣告與推薦串排除，留言覆蓋仍為 partial。OpenAI 公告直連本機擷取遇 403，公告文字是由官方頁面的搜尋回傳內容取得，不冒稱完整直連頁面閱讀；OpenAI crawler 文件已直接讀取。其餘主證據為官方 IETF／RFC Editor、Google、Microsoft 與 Anthropic 文件。這是文件查證，不是 crawler 遵循測試；截至 2026-11-02 的版本與計畫可能更新。
- [S0] Threads 原貼（社群主張來源，不是技術事實的獨立證據）。
- [S1] IETF Datatracker：文件狀態。
- [S2] Training Preference Signal -00 全文（2026-10-30）。
- [S3] RFC 9309：Robots Exclusion Protocol（2022-09）。
- [S4] AIPREF Vocabulary -08（2026-09-13；仍為草案）。
- [S5] OpenAI：Making it easier for websites to express AI training preferences（2026-10-30；官方搜尋回傳文字）。
- [S6] OpenAI：Overview of OpenAI Crawlers。
- [S7] Google：Supporting a shared AI training control for websites（2026-10-30）。
- [S8] Google：Common crawlers／Google-Extended。
- [S9] Microsoft：Your Content, Your Choice: Clearer preferences for training and grounding。
- [S10] Anthropic：crawler 與站方控制。
- [S11] Google：AI features and your website。