四大AI業者將支援共通訓練偏好訊號 網站可透過robots.txt統一設定

Anthropic、OpenAI、微軟與Google宣布將支援共同的AI訓練偏好訊號，讓網站管理者可直接在robots.txt中統一規範網頁內容是否能用於生成式AI模型訓練，減少逐一設定個別業者爬蟲規則的負擔。該機制目前以IETF個人Internet-Draft草案形式推動，尚未成為正式標準，由各業者陸續排程導入。 新規範採用「__usage_ai-training」作為共同User-Agent標記，並搭配Disallow或Allow宣告。其核心在於規範內容用途而非全面封鎖爬蟲，因此拒絕AI訓練不影響搜尋引擎抓取與索引，舊有的個別業者規則亦維持相容。Anthropic已開始實作，OpenAI預計數月內支援，微軟預計2027年2月支援並調整AI Grounding與過渡偏好，Google則計畫於2027年導入。

值得帶走的重點

• Google、OpenAI、微軟與Anthropic將支援共通偏好訊號，網站可於robots.txt使用「__usage_ai-training」統一設定是否允許AI訓練。
• 新機制聚焦於內容用途控制而非阻斷爬蟲抓取，不影響一般搜尋引擎索引，現有個別業者規則仍可並行。
• Anthropic已展開實作，OpenAI預計數月內跟進，微軟與Google則分別規劃於2027年2月與2027年內導入支援。
• 該機制源自IETF相關工作小組討論，目前為個人草案形式，屬於網站偏好宣告，實際仍仰賴各家業者自律遵循。