Google與微軟等四大AI業者支援robots.txt退出訓練共用標記，不影響爬蟲與正式標準未定

美國時間 10 月 30 日，Google、微軟、OpenAI 先後宣布支援網站在 robots.txt 使用一組共用標記來退出 AI 訓練，據《法新社》報導，Anthropic 亦表示已開始推行。過去網站需針對各家 AI 爬蟲分別設定規則，新草案允許透過單一設定表達不希望內容用於訓練，但該機制只管模型訓練、不阻止爬蟲抓取，且目前未獲網際網路工程任務組（IETF）正式背書，屬於自願性質措施。此外，草案明言私下協議可凌駕此機制，且不溯及既往訓練。各家採用時程不同：微軟預計 2027 年 2 月採用，Google 目標 2027 年初，OpenAI 預計數月內實作。針對 AI 搜尋引用（grounding），Google 規定退出共用標記將視同封鎖 Google-Extended，使內容無法在 Gemini 回答中被引用；微軟則將訓練與 grounding 拆開處理。

值得帶走的重點

• Google、微軟、OpenAI 與 Anthropic 支援在 robots.txt 透過共用標記「User-Agent: __usage_ai-training」退出 AI 訓練，無標記或通用萬用規則皆不被視為退出。
• 該設定源自 Anthropic 成員提交至 IETF 的個人草案，目前未具備正式標準地位，且僅規範未來模型訓練，不限制一般爬蟲抓取行為。
• 各家實施時程與配套不一：微軟預計 2027 年 2 月起採用並分開處理訓練與引用，Google 則預計 2027 年初支援且退出訓練將連帶失去 Gemini 引用資格。