透過將爬蟲存取與索引控制分開、產生一組經過驗證的指令，並在部署前後稽核線上 HTML 與 HTTP 標頭，即可避免 meta robots 標籤產生器的常見錯誤。
正確的語法只是可靠實作的一部分。該規則必須附加至爬蟲能夠擷取的資源，透過網站實際使用的管道傳送，並與 CMS、SEO 外掛、反向代理或 CDN 已加入的指令進行整合。產生器可以驗證並序列化選項，但無法保證移除索引、處理時間或特定搜尋結果顯示方式。
將爬蟲存取與索引控制分開
頁面層級的 noindex 是一項搜尋指示，而不是停止爬取的指令。Google 必須先擷取資源，才能讀取任一種形式的 robots 指令。如果 robots.txt 禁止擷取該資源，Google 可能永遠不會遇到 noindex 規則。即使頁面內容未經搜尋處理，該 URL 仍可能因外部連結而保持已知狀態。
Google 的 robots meta 標籤規格說明，在搜尋引擎處理 noindex 指令之前，可存取的頁面應持續允許爬取。不要依賴 robots.txt 封鎖與 noindex 搭配使用。相同的區別也適用於私人資訊：noindex 與 nofollow 是爬蟲指令，並非身分驗證或授權機制。請使用真正的存取控制保護敏感內容，因為任何知道 URL 的人仍可能提出請求。
選擇符合資源的傳送管道
請依據資源及您的營運控制能力選擇傳送方式。HTML meta 標記適合您能控制範本或 CMS 欄位的 HTML 頁面。回應標頭適合 PDF、圖片或影片等非 HTML 資源；當回應標頭管理較為可靠時，採用此方式會更理想。
| 傳送方式 | 最適合的情況 | 設定位置 | 常見故障 |
|---|---|---|---|
| HTML robots meta 元素 | 標記受控制的 HTML 頁面 | 頁面範本、CMS 欄位或文件標頭 | 未檢查既有頁面規則就新增另一個標籤 |
| X-Robots-Tag 回應標頭 | PDF、圖片、影片，或採用標頭較可靠的 HTML | 網頁伺服器、應用程式或 CDN 回應設定 | 將標頭文字貼到頁面內容中 |
Meta Robots 產生器會依據同一組經過驗證的選項，建立 HTML meta 元素及等效的 X-Robots-Tag 標頭。它支援一般搜尋爬蟲、用於文字搜尋結果的 Googlebot，以及 Googlebot News。一般目標會產生名為 robots 的 meta 元素及未限定搜尋引擎的 X-Robots-Tag 標頭。Google 專屬目標會使用 googlebot 或 googlebot-news 作為 meta 名稱，並在 HTTP 標頭中為該使用者代理加上前綴。其他爬蟲名稱及供應商專屬行為不在這個精簡介面的支援範圍內。
例如，選擇一般目標並設定 noindex 與 nofollow 後，HTML 輸出為 <meta name="robots" content="noindex, nofollow">。選擇 Googlebot 時，等效的標頭為 X-Robots-Tag: googlebot: noindex, nofollow。此範例僅說明輸出格式，並不建議將 noindex 套用至每個 URL。
讓每項指令對應單一預期結果
請依據您想要的結果選擇每項指令，不要基於習慣新增熟悉的詞彙。這個精簡產生器支援下列控制項：
| 指令 | 文件記載的用途 | 應避免的錯誤 |
|---|---|---|
| noindex | 要求將頁面或資源排除於搜尋結果之外。 | 封鎖其爬取，導致 Google 可能永遠無法讀取該指令。 |
| nofollow | 要求不追隨頁面上的連結。 | 將其視為 noindex 的替代方案。 |
| nosnippet | 要求 Google 不顯示文字摘要或影片預覽。 | 將其與數值 max-snippet 搭配使用。 |
| max-snippet | 限制文字摘要的字元數；-1 會讓 Google 選擇有效長度，0 則表示不顯示摘要。 | 輸入非整數或低於 -1 的值。 |
| max-video-preview | 使用以秒為單位的值限制影片預覽時間；-1 表示沒有人時間限制，0 則在圖片規則下最多僅允許顯示靜態圖片。 | 將 0 視為無限制，或輸入無效的小數值。 |
| max-image-preview | 選擇無、標準或大型圖片預覽行為。 | 假設它也會阻止圖片建立索引。 |
| indexifembedded | 允許內容在嵌入時，即使有 noindex 仍可建立索引。 | 未搭配 noindex 就使用。 |
| notranslate | 要求 Google 不提供翻譯後的標題與摘要。 | 假設此要求會約束所有其他搜尋引擎。 |
| noimageindex | 要求 Google 不對頁面上的圖片建立索引。 | 將其與 max-image-preview 混淆。 |
產生器拒絕同時輸出 nosnippet 與數值 max-snippet，因為限制較嚴格的 nosnippet 會使數值選項產生誤導。它也要求 indexifembedded 必須與 noindex 搭配使用，因為 Google 表示 indexifembedded 只有在 noindex 伴隨使用時才有效。數值預覽限制只接受 -1 或非負整數；非整數及低於 -1 的值會遭到拒絕，而不會被複製到 Google 會忽略的規則中。
對於 max-image-preview，none 要求不顯示圖片預覽，standard 允許預設預覽，large 則允許最大至視窗寬度的較大預覽。透過結構化資料、AMP 關聯或授權取得的獨立許可，可能優先於這些限制，因此產生的字串並非通用的內容使用開關。
Google 也表示，nosnippet 可防止頁面內容被直接用於 AI Overviews 和 AI Mode，不過仍可能顯示靜態圖片縮圖。
產生並部署一組無衝突的規則
- 設定爬蟲目標。 選擇一般搜尋爬蟲、用於文字搜尋結果的 Googlebot，或 Googlebot News。請選擇符合政策的目標，不要新增介面不支援的爬蟲名稱。其他搜尋引擎可能以不同方式解讀 Google 專屬指令。
- 僅選擇預期的限制。 只有在每個選項都符合資源政策時，才新增 noindex、nofollow、摘要或影片限制、圖片預覽行為、notranslate、noimageindex 或 indexifembedded。將相關決策整合在同一組規則中。
- 盤點既有規則。 檢查目前的 HTML 原始碼、HTTP 回應設定、CMS 與 SEO 外掛設定、反向代理及 CDN 中的 robots 指令。新增另一項規則前，請先決定要移除或整合哪一項既有規則。
- 產生必要的語法。 使用產生器建立 HTML 元素或等效的回應標頭。產生作業完全在本機進行，不會連線至搜尋服務。請複製確切的輸出內容，不要重新輸入其中的詞彙。
- 透過實際的回應路徑部署。 在您能控制 HTML 標記的頁面標頭中放入產生的 meta 元素，或在網頁伺服器、應用程式或 CDN 回應設定中設定 X-Robots-Tag。不要將標頭語法貼入頁面內容。若目標取決於 Google 看見 noindex，請維持允許爬取。
- 驗證公開資源。 在預定爬蟲能存取的條件下擷取公開 URL，檢查傳送的原始碼或標頭，並確認沒有重複或互相矛盾的宣告。部署後持續重新檢查，直到搜尋引擎重新爬取並處理變更；此時間不由工具控制。
稽核爬蟲收到的回應
編輯器設定只能證明意圖，不能證明已傳送。相關證據是公開傳送的 HTML 與實際 HTTP 回應標頭。
- 對於移除 noindex 的工作流程，請確認 robots.txt 允許預定爬蟲擷取該 URL。
- 確認傳送的原始碼包含預期的 meta 元素，且沒有較舊且互相衝突的 meta 宣告。
- 確認實際標頭包含預期的 X-Robots-Tag，且沒有應用程式、代理或 CDN 新增的標頭與其矛盾。
- 確認所選爬蟲目標符合資源政策。
- 若目標是從結果中移除內容，請持續提供 noindex，直到搜尋引擎處理完成。
Google 會將多個 meta 標籤、HTTP 標頭及爬蟲專屬宣告解讀為合併後的限制，並採用較嚴格的規則。因此，就各自用途而言，noindex 的優先權高於 index，而 nofollow 的優先權高於 follow。這也是為何內容乾淨的 CMS 欄位無法凌駕反向代理新增的衝突標頭。
即使預定規則出現在數個系統中，也應讓各項宣告彼此一致，而不是依賴優先順序。請盤點範本、外掛、代理與 CDN，移除過時的重複項目，然後再次確認最終回應。
區分有效語法與保證結果
產生的輸出可確認支援的選項組合與確切語法，但它不是爬取測試或部署檢查。搜尋引擎會依自己的排程處理變更，其他搜尋引擎也可能以不同方式解讀 Google 專屬指令。產生器無法保證移除索引、處理時間或特定搜尋結果顯示方式。
此介面刻意省略 noarchive，因為 Google 現在將該規則列為歷史用途，自快取連結功能不存在後便已不再使用。它也省略 unavailable_after，因為正確的日期時間格式、時區與發布工作流程需要比通用表單所能猜測更多的脈絡。這些省略可避免熟悉但已失效或依賴脈絡的指令造成虛假信心。
如果您正在評估選項，Windows 上的 Open Graph 產生器：建立與安裝標籤有詳細說明。
如果您正在評估選項，大型文字的 robots.txt 產生器：限制與工作流程有詳細說明。