robots.txt 產生器是一個聚焦的工具，只需要一個網站來源和一項政策選擇，就能在瀏覽器中產生一個小型且符合標準的 robots.txt 檔案，內容為純 UTF-8 文字，且無需上傳任何設定資料。輸出內容遵循 RFC 9309 所標準化的「群組與規則」模型：一個 User-agent: * 群組後接著 Allow: /、Disallow: /，或一連串選擇性的 Disallow 行，然後是一行 Sitemap，其 URL 會被精簡為來源加上 /sitemap.xml。萬用字元星號和結尾的錢號會被保留，因為協定將其定義為相符字元；而井字號則會被拒絕，以免使用者輸入的規則意外被轉成註解。由於整個過程都在頁面上完成，產生器不會看到你實際運作中的 robots.txt、不會向搜尋引擎提交任何內容，也不會驗證伺服器回應——這些步驟仍需要存取你已部署的網站和相關的搜尋引擎工具。
robots.txt 產生器實際會產生什麼
robots.txt 檔案是一個小型純文字檔，置於網站來源的頂層。這是符合規範的爬蟲在請求任何其他資源之前最先檢查的東西，且其內容僅含自願性指令，並無強制力。Robots.txt 產生器完全在瀏覽器中建立這個檔案：你輸入網站來源的 HTTP 或 HTTPS URL、選擇一項政策，工具就會輸出一個可下載的 UTF-8 文字檔，並遵守 RFC 9309 所定義的規則。
輸出的結構刻意設計得很窄。產生器只會輸出恰好一個群組，以 User-agent: * 開頭。星號是萬用字元產品代號，當爬蟲沒有更精確的相符群組時就會套用。在這個群組之下，工具會寫入一條 Allow 或 Disallow 規則（或在選擇性模式下寫入一串 Disallow 規則），然後附加 Sitemap:，後接正規化後的來源與 /sitemap.xml。不會加入額外的標頭、針對特定爬蟲的區塊或非標準指令，因為這個工具不會假裝自己管理得了每個搜尋引擎的私有擴充。工具會將所有內容保留在目前的瀏覽器分頁中：你輸入的路徑和產生的文字不會離開你的裝置。
三種政策模式及其各自輸出的內容
產生器提供三種整體政策。每種都對應一組特定的行，而這項選擇對檔案的影響，比選擇單一路徑更大。「允許全部」模式會在使用者代理群組下寫入 Allow: /，向符合規範的爬蟲表示可以請求來源上的任何路徑。「封鎖全部」模式會寫入 Disallow: /，要求符合規範的爬蟲不要請求任何路徑；這是讓網站暫時對符合規範的爬蟲隱形最簡單的做法。
「選擇性」模式每行接受一個路徑樣式，並將每一個寫成各自的 Disallow 規則。產生器會要求每條非空白的規則都必須以斜線開頭，移除按首次出現順序排列的完全重複項目，並將清單上限設為 50 條規則。萬用字元星號和結尾的錢號會被保留，因為協定將這些字元定義為相符語法；井字號會被拒絕，以免路徑變成註解。在規則區塊之後，工具會附加 Sitemap:，後接正規化後的來源與 /sitemap.xml。含有頁面路徑、查詢或片段的 URL 會被精簡為其來源，以免預設的 sitemap 意外繼承到不相關的路由，但明確指定的連接埠會被保留。
| 政策模式 | 產生器寫入的內容 | 典型用途 |
|---|---|---|
| 允許全部 | Allow: / | 開放的網站、預備鏡像站，或任何希望每個符合規範的爬蟲都能完整檢索的來源。 |
| 封鎖全部 | Disallow: / | 開發主機、暫時下線的網站，或希望對符合規範的爬蟲隱形的網站。 |
| 選擇性 | 每個輸入的路徑對應一行 Disallow: | 需要隱藏特定區域（例如 /draft、/private 或 /internal-search）的實際運作網站。 |
會改變 Disallow 行運作方式的路徑相符規則
路徑相符從 URL 路徑的第一個位元組開始，而非從完整 URL 開始，且爬蟲會以區分大小寫的方式比較路徑。RFC 9309 規定爬蟲會使用最精確的相符規則，這代表 /Private 和 /private 是不同的路徑，如果兩者都打算封鎖，就應該分開列出。Disallow: /draft 不一定與 Disallow: /draft$ 表達相同的意圖：前者會相符 /draft、/drafts、/draft-list，以及任何以 /draft 開頭的其他路徑，而錢號會將相符結果限定為特定字串 /draft。
產生器不會驗證你的規則邏輯是否符合你的意圖。它只會強制執行每條規則必須以斜線開頭、不得包含註解字元，且不得出現完全重複的項目。在發布前檢查大小寫、前綴、萬用字元和錨點是讀者自己的責任。如果對於特定規則會相符哪些路徑有任何疑問，請將一組具代表性的 URL 透過搜尋引擎測試工具執行，而非憑空猜測。
如何使用這個工具產生 robots.txt 檔案
- 輸入網站來源的完整 HTTP 或 HTTPS URL（例如 https://www.example.com）。不要貼上頁面路徑、查詢或片段——這類輸入會被精簡為來源。
- 選擇整體爬蟲政策。若要「允許全部」，請選擇寫入 Allow: / 的選項。若要「封鎖全部」，請選擇寫入 Disallow: / 的選項。若要「選擇性」模式，請選擇 selective，並準備好每行輸入一個路徑。
- 在「選擇性」模式下，每個路徑都必須以斜線開頭。可使用萬用字元星號和結尾的錢號；井字號和沒有開頭斜線的規則會被拒絕。請將清單控制在 50 筆不重複的項目內。
- 產生檔案並檢查文字內容。確認 User-agent: * 這一行、Allow 或 Disallow 規則，以及指向來源加上 /sitemap.xml 的 Sitemap: 那一行。
- 下載結果，然後與目前正式環境的 robots.txt 進行比對。保留一份舊檔案以便復原，並在發布前保留任何刻意設定的、針對特定爬蟲的群組。
- 將結果以 /robots.txt 的形式發布在其所管轄的確切通訊協定、主機和連接埠的頂層，並以 text/plain 格式提供服務。
輸出內容必須放在哪裡才會實際生效
robots.txt 檔案只能管轄其發布所在的來源。路徑永遠是 /robots.txt，檔名為小寫，MIME 類型應為 text/plain。放在子目錄中的檔案無法管轄整個網站。放在不同子網域的檔案無法管轄另一個子網域。以 HTTP 提供的檔案無法管轄同一個主機的 HTTPS 版本，反之亦然。
明確指定的連接埠很重要：從 https://example.com:8443/robots.txt 提供的檔案不適用於 https://example.com/。如果你的 sitemap 位於與「來源加上 /sitemap.xml」不同的位置，請在發布前編輯產生的 Sitemap: 那一行。產生器只會根據你輸入的來源寫入預設的 sitemap URL；任何非標準的位置都留給你自行修正。
robots.txt 不會做的事
Robots.txt 不是身分驗證、授權、加密，也不是隱私控制。RFC 9309 明確指出，這些規則並非存取授權：符合規範的爬蟲可能會遵守這些請求，但惡意用戶端可以忽略它們，且每個列出的路徑都是公開可見的。永遠不要把敏感路由當作登入檢查或伺服器端存取控制的替代品來列出。
封鎖檢索也不保證 URL 會從搜尋結果中消失。搜尋引擎可能會透過連結發現該 URL，並在不下載被封鎖頁面的情況下保留有限的資訊。若要達成移除或隱私目的，請使用適當的頁面層級索引控制、HTTP 標頭、移除工作流程或身分驗證。Robots.txt 是一項請求，而非移除工具。產生器同樣不會寫入 Crawl-delay，因為該指令不在 RFC 9309 之內，且並非通用支援；省略它是符合標準的正確選擇。這個工具不會擷取現有的線上檔案、不會驗證伺服器回應、不會將檔案提交給搜尋引擎，也不會確認爬蟲是否已重新整理其快取。這些步驟需要存取已部署的網站和相關的搜尋引擎工具，例如 Google 的 robots.txt 說明文件中所描述的測試工具。