500 KiB 的 robots.txt 上限表示解析器必須至少處理 512,000 位元組，而 AI Bot Robots.txt Checker 可接受最多相同數量的 UTF-8 輸入，並套用額外的安全上限。RFC 9309 規定的最低解析容量，並不保證每個爬蟲都會擷取這麼多內容、遵循該檔案，或採用相同的運作限制。實際而言，此上限決定檢查工具在存取報告中最多能解析多少政策文字，而非頁面大小、爬取速率、索引、訓練或安全限制。檢查工具也會將輸入限制為 5,000 條非空存取規則，並將比對工作總量限制為 20,000,000 次操作。因此，如果檔案超過規則數上限或達到比對工作總量上限，即使其大小低於 512,000 位元組，仍可能整份遭到拒絕。請將提交內容視為對所提供文字與路徑的確定性審查，而非該檔案已上線、有爬蟲擷取，或營運商會強制執行所要求政策的證據。
超過 500 KiB 界限後會發生什麼
常見的解讀是，爬蟲會遵循前 512,000 位元組，並忽略其後的所有內容。RFC 9309（Robots Exclusion Protocol）中的要求並未確立這種通用行為。它規定的最低解析容量為：符合規範的解析器必須至少處理 500 KiB。實作可能支援更多內容，各個爬蟲產品也可能具有各自的擷取、快取或運作控制。因此，您應依據最新文件確認其處理方式，而不是僅憑這一個界限加以推論。
檢查工具另有一個明確的輸入界限：接受的 UTF-8 robots.txt 文字不超過 500 KiB。超過上限的貼上內容不在接受範圍內，因此不要預期只會解讀部分內容或產生部分存取報告。在此工作流程中，大小上限適用於貼上的檔案本身。URL 路徑會另外輸入以供比對，不會在檔案中增加可用空間。由於上限以位元組為基礎，可見字元數並不是接受與否的判準；請審查您打算部署的確切文字之實際 UTF-8 位元組大小。
可能拒絕較小檔案的限制
檔案大小上限只是完成檢查的其中一項條件。通訊協定基準、產品輸入範圍及瀏覽器安全限制各有不同用途：
| 限制或涵蓋範圍 | 定義值 | 控制項目 |
|---|---|---|
| RFC 9309 解析器基準 | 至少 500 KiB | 符合規範的 robots.txt 解析器必須支援的最低容量，而非通用的截斷規則。 |
| 檢查工具的檔案輸入 | 最多 500 KiB 的 UTF-8，或 512,000 位元組 | 單一貼上 robots.txt 檔案可接受的文字上限。 |
| 存取規則輸入 | 5,000 條非空存取規則 | 檢查工具單次提交可接受的規則數上限。 |
| 比對工作 | 20,000,000 次操作 | 依輸入路徑評估規則時的安全上限。 |
| 產品代號涵蓋範圍 | 32 個固定的 robots.txt 項目 | 報告中包含的 AI 爬蟲、助理、訓練控制及 AI 相關搜尋代號。 |
比對工作數字並非另一種檔案大小單位，也不是爬蟲配額。它有助於防止攻擊者結合長路徑與大型規則集，使瀏覽器主執行緒停 frozen。若超過規則數上限或達到比對工作總量上限，檢查工具會以整份交易的方式拒絕該檔案，而不會傳回部分報告。因此，即使檔案大小遠低於 500 KiB，仍可能無法執行。
規則解讀前會移除註解，除 User-agent、Allow 或 Disallow 以外的行則不會影響這份存取報告，但它們仍可能占用貼上檔案中的位元組。Sitemap 與 Crawl-delay 行對特定爬蟲可能仍有意義，即使它們不在此檢查工具的存取決策報告範圍內，也不應只是為了讓檢查工具接受檔案而將其移除。
在上限內檢查正式環境的 robots.txt 檔案
- 準備確切的文字。貼上您要審查的確切 robots.txt 文字，並使其維持在 500 KiB 上限以內。如果預定的正式環境檔案較大，請先縮小該檔案，而不是檢查任意的開頭部分或節錄。
- 輸入要求的路徑。提供以斜線開頭且區分大小寫的 URL 路徑，然後執行檢查。如果查詢字串是您要模擬的爬蟲請求的一部分，可以一併加入。
- 審查符合的政策。檢查每條符合的規則，以及 32 個產品代號各自允許或封鎖的結果。請將特定代號群組與萬用字元群組分開檢查，並確認最具體的符合模式會產生所顯示的結果。
- 部署前驗證關鍵代號。將重要結果與營運商最新文件進行比較。來源標籤有助於區分主要產品文件、交叉參考及補充目錄項目；當爬蟲名稱、用途或政策變更時，這點十分重要。
解讀 32 個產品代號的報告
檢查工具遵循 RFC 9309 標準化的核心比對行為。審查時，請將下列規則與輸入大小限制分開考慮：
- 產品代號不區分大小寫。多個具有相同代號名稱的群組會合併其規則，但 /Private 與 /private 等路徑仍區分大小寫。
- 特定群組優先於萬用字元群組。只有沒有任何特定產品代號群組符合時，才會套用 User-agent: * 群組。
- 模式會從路徑開頭開始評估。最具體的符合模式優先。如果等效的 Allow 與 Disallow 模式以相同具體程度符合，則 Allow 優先。
- 星號會符合任何字元序列。模式結尾的美元符號會將其錨定至路徑結尾。
- 註解會被忽略。空的 Disallow 值不會封鎖任何內容。
- 沒有符合項目即表示允許。如果沒有任何適用的 Allow 或 Disallow 規則符合，存取決策就會回報為允許。
固定表格涵蓋 AI 爬蟲、AI 助理、模型訓練控制及 AI 相關搜尋爬蟲所使用的 32 個 robots.txt 產品代號。某一列的存在，並不表示其名稱會逐字出現在 HTTP User-Agent 標頭中。Google-Extended 或 Applebot-Extended 等專用控制項可代表模型訓練或資料使用偏好，其他列則代表擷取型爬蟲或助理產品。報告會透過營運商、用途類別及來源狀態標籤，讓這些差異保持清楚可見。
如有提供，OpenAI 與 Anthropic 產品會採用主要營運商文件。Cloudflare 的 AI 機器人與爬蟲流量參考資料提供主要產品的最新交叉參考，而補充性的 Cloudflare Radar 目錄代號則會標示為目錄來源，而非經營運商第一方驗證。由於這些產品類別可能變更，任何重要的部署決策都應依據營運商最新文件進行驗證。
允許的結果僅表示，依檢查工具實作的邏輯，貼上的規則並未要求封鎖所選路徑。它無法證明營運商會爬取、索引、引用、據以訓練或顯示該頁面。封鎖的結果也無法證明已執行強制措施、已遵守政策，或已從索引中移除。Robots 指令、搜尋索引、摘要控制、訓練偏好及即時網路封鎖都是各自獨立的控制項。
安全地減少檔案大小或比對工作
如果檢查工具拒絕過大的檔案，或是拒絕大小在 500 KiB 以內的提交內容，請先找出達到的界限，再變更任何內容。目標是保留預定的爬蟲政策，而不只是讓輸入符合大小限制。
- 對於位元組上限：移除已不需要的註解或過時存取規則，然後審查縮小後的確切正式環境文字。確認每個預定的產品群組與路徑都仍然存在。
- 對於重複群組：謹慎整併重複且不區分大小寫的產品代號群組。檢查工具本來就會合併重複群組，因此保留所有相關的 Allow 與 Disallow 規則，比單純為了減少行數而重要。
- 對於規則數上限：檢查重要路徑後，移除重複或過時的指令。由於最長的符合模式會控制結果，刪除看似重複的規則可能改變存取結果。
- 對於比對工作上限：使用實際且必要的路徑，並在政策允許時簡化成本過高的模式。變更後，請重新檢查所有關鍵路徑。
- 不要測試遭截斷的開頭部分。部分檔案可能缺少後續群組或規則，無法重現完整正式環境政策的決策結果。
將規則審查與即時強制執行分開
Robots.txt 是自願遵循的機制。它不是身分驗證、授權、防火牆、合約強制執行機制，也不代表內容不會被納入 AI 模型。爬蟲可能忽略它，而公開列出某個路徑反而可能揭露該路徑。機密或付費內容仍需要伺服器端存取控制、身分驗證、網路控制及流量監控。
檢查工具會在您的瀏覽器中處理貼上的文字。它不會擷取您的網站、上傳檔案或聯絡爬蟲營運商。其確定性結果有助於部署前審查，但無法偵測重新導向、CDN 覆寫、特定用戶端回應、不正確的主機範圍、快取延遲、無法存取的檔案，或目前實際部署的內容。
發布後，請另外完成即時驗證：
- 使用正式環境中的確切配置與主機，從 /robots.txt 擷取內容。
- 確認回應成功，且包含預期的純文字檔案。
- 將即時文字與已審查的副本進行比較，並查看可用的營運商工具或伺服器記錄，以確認相關行為。
這種分工可讓檔案大小審查維持可重現性，同時避免得出缺乏依據的結論：通過檢查工具只能確認已接受的貼上文字與所選路徑是如何被評估的，而無法確認每個 AI 爬蟲或下游系統將如何運作。