AI 機器人 robots.txt 檢查應針對您測試的確切路徑，為 32 個 robots.txt 產品權杖中的每一個分別回傳 允許或封鎖結果。這是根據貼上的檔案計算出的路徑專屬存取判定，並非承諾 AI 營運商會抓取、索引、引用、訓練或顯示該頁面。
檢查 AI 爬蟲的 robots.txt 時，有用的預期結果是逐權杖報告，以及產生每項判定的規則。結果可能因爬蟲產品、URL 路徑及群組結構而異。因此，同一檔案可能對公開與受限區段產生不同答案，但即使報告正確，也無法說明 robots.txt 協定之外的強制執行情況。
結果表格包含哪些內容
檢查工具會針對貼上的 1 個 robots.txt 檔案，依 AI 爬蟲、AI 助理、模型訓練控制項及 AI 鄰近搜尋爬蟲所使用的 32 個現行產品權杖進行評估。每個權杖都會針對您輸入的路徑取得允許或封鎖結果，您也能檢視相符的規則。營運商、用途類別及來源狀態標籤可讓不同類型的控制項一目了然。
這 32 個項目是 robots.txt 產品權杖，並不保證每個字串都會逐字出現在 HTTP User-Agent 標頭中。有些營運商會發布專屬控制權杖，例如 Google-Extended 或 Applebot-Extended，用於表達模型訓練或資料使用偏好。在將某一列與營運商的完整標頭文件比較之前，請參閱為何這 32 個項目不一定都是字面意義上的 User-Agent 標頭。
| 回報結果 | 報告可確定的內容 | 報告無法確定的內容 |
|---|---|---|
| 允許 | 依已實作的協定邏輯，沒有任何適用的相符規則要求封鎖您輸入的路徑。 | 營運商會抓取、索引、引用、訓練或顯示該頁面。 |
| 封鎖 | 在適用群組比較中，相符的 Disallow 模式勝出。 | 爬蟲會遵守規則、內容會遭移除，或受保護資料仍無法存取。 |
來源狀態是判讀的一部分。OpenAI 與 Anthropic 產品如有可用的第一方營運商文件，便會採用該文件。Cloudflare 維護的 AI 爬蟲與機器人參考資料提供主要產品的最新交叉參照；Cloudflare Radar 目錄權杖則標示為補充資料，而非視為經第一方驗證。請依最新的營運商文件驗證任何重要政策，因為爬蟲產品與控制項會隨時間變更。
允許或封鎖的判定如何選出
對於每個產品權杖，檢查工具會找出適用的使用者代理程式群組，再將其路徑模式與您提供的 URL 路徑進行比對。
- 產品權杖比對不區分大小寫。無論字母大小寫如何，都能辨識權杖群組，但 URL 路徑本身仍區分大小寫。
- 重複的權杖群組會合併。當多個群組以同一個產品權杖為目標時，其規則會共同形成適用政策。
- 特定群組的優先順序高於萬用字元。只有在沒有特定產品權杖群組相符時，才會使用 User-agent: * 群組。
- 模式會從路徑開頭進行比對。星號可匹配任意字元序列，而結尾的美元符號會將模式錨定於路徑結尾。
- 最長的相符模式勝出。如果同等具體的 Allow 與 Disallow 模式都相符，Allow 優先。
- 空的 Disallow 不會封鎖任何內容。當沒有適用的 Allow 或 Disallow 規則相符時，存取結果會回報為允許。
解讀規則前會先移除註解。除 User-agent、Allow 與 Disallow 以外的行不會影響這份存取報告。Sitemap 與 Crawl-delay 指令可能對特定爬蟲有意義，但不在檢查工具的允許或封鎖判定範圍內。
對您打算發布的文字執行檢查
使用AI 機器人 Robots.txt 檢查工具，在部署前審查貼上的 1 個檔案。處理作業完全在瀏覽器中進行：此工具不會擷取網站、上傳檔案或聯絡爬蟲營運商。
- 貼上正式環境 robots.txt 的確切文字。讓 UTF-8 輸入維持在 500 KiB 限制內，且不得超過 5,000 個非空白存取規則。即使檔案符合這些限制，若其路徑與規則組合會超過檢查工具 20,000,000 次操作的總比對工作上限，仍可能遭整體拒絕。這項安全性拒絕與爬蟲的允許或封鎖結果無關。
- 輸入您要評估的 URL 路徑。路徑必須以斜線開頭，且比對時區分大小寫，因此 /Private 與 /private 可能產生不同結果。只有在查詢字串是您想模擬的爬蟲請求的一部分時，才請包含查詢字串。
- 執行檢查並檢視全部 32 列。檢查每條相符規則，判定適用的是特定產品權杖群組還是萬用字元群組，並確認是哪個相符模式決定了結果。
- 依現行營運商文件驗證重要的產品權杖。確認權杖仍代表您打算管治的產品與偏好。請勿以來源狀態標籤取代對您網站重要政策的檢查。
- 另外確認已發布的檔案。部署後，從確切的配置與主機擷取線上的 /robots.txt，確認回應能以純文字成功傳回，並透過可用的營運商工具或伺服器記錄驗證行為。
解讀結果時，勿將其視為強制執行
Robots.txt 是對爬蟲發出的自願性請求。爬蟲可以忽略它，而且該檔案不是身分驗證、授權、防火牆、合約式強制執行系統，也不是內容會排除於 AI 模型之外的證據。robots.txt 封鎖對 AI 爬蟲實際能阻止什麼說明為何應在這些限制內解讀協定結果。
請使用伺服器端存取控制項保護機密或付費內容，並另外監控實際流量。公開列出受限路徑也可能揭露其存在。搜尋索引、摘要控制項、訓練偏好及即時網路封鎖都是各自獨立的控制項：允許結果無法證明內容會被使用，封鎖結果也無法證明遵循情況或已從索引中移除。
發布後確認線上檔案
瀏覽器檢查工具只會分析貼上的文字與輸入的路徑。它無法偵測重新導向、CDN 覆寫、僅提供給特定用戶端的語法、不正確的主機範圍、快取延遲、無法存取的檔案，或已審查檔案目前是否已部署。因此，從貼上文字取得的可重現結果，無法證明正式環境 URL 提供相同政策。
發布後，請直接擷取線上檔案並與已審查的副本比較。當您的交付技術堆疊包含受管理的 robots 控制項時，請依Cloudflare 的受管理 robots.txt 文件審查該獨立層，再使用伺服器記錄或可用的營運商報告檢查實際行為。
瞭解同一路徑如何產生不同結果
請考慮包含 User-agent: * 與 Disallow: /private 的萬用字元群組。對於沒有特定群組的權杖，路徑 /private/report 符合封鎖規則。如果同一適用群組也包含 Allow: /private/public-note，則路徑 /private/public-note 會獲准，因為其相符模式較長。權杖專屬群組可能產生不同結果，因為其優先順序高於萬用字元群組。
這說明為何預期答案並非單一全站狀態，而是一份具有 32 列、針對特定路徑的審查，並以相符規則及來源標籤作為依據。請測試具代表性的路徑，保留每次審查使用的確切檔案與路徑，並以相同輸入重現相同結果。最終判斷應結合協定結果、現行營運商文件及已部署網站的證據，而非僅依賴單一允許或封鎖標籤。