Meta robots 產生器透過只序列化 Google 有文件記載支援的指令詞、阻擋互相矛盾的組合，並把同一組選擇同時轉成 HTML meta 元素與 X-Robots-Tag 標頭，來避免最嚴重的指令錯誤。Meta robots 產生過程中最困難的錯誤，幾乎從來都不是記不住某個指令詞——而是來自於誤判每個指令的用途、把搜尋引擎會合併為最嚴格結果的規則堆疊起來，以及把輸出放在爬蟲根本看不到的地方。常見的錯誤包括:依賴 noindex 來隱藏私人檔案、在 Google 已經淘汰 noarchive 之後仍讓它留在舊版範本中、同時在標籤上要求 nosnippet 與數值型 max-snippet、把 indexifembedded 當成獨立旗標，以及把指令放進已經封鎖該 URL 的 robots.txt 規則中。每種模式都會產生不是靜默失敗、就是複製了爬蟲本就忽略的規則的輸出。Meta Robots 產生器的做法把這些限制直接編碼進去，但在發布前快速檢視每個指令背後的意圖，就能省下大部分清理工作。

meta robots generator tips and common mistakes
Meta Robots 產生器祕訣與常見錯誤

Meta Robots 產生器如何產生有效的輸出

可靠的產生器會把輸入的選擇集合轉成目前 Google 認可的 robots 宣告，並把同一組選擇序列化為 HTML meta 元素與等效的 HTTP 標頭，讓輸出永遠不會以兩種不一致的形態存在。產生過程在本機執行，代表可以不需聯絡搜尋服務就能檢視並複製規則，而且在複製按鈕啟用之前，會先把每個指令詞對照有文件記載的清單進行驗證。整個流程包含三個互相依賴的步驟。

  1. 選擇爬蟲目標與限制條件。先決定規則適用於所有爬蟲、Googlebot 文字結果，還是 Googlebot 新聞，然後只加入符合資源政策的索引、連結追蹤與呈現限制。多一個指令詞，就多一分過度限制的風險。
  2. 產生並複製所需的語法。HTML meta 元素要放在頁面的 <head> 中;X-Robots-Tag 標頭則要放在伺服器回應中。一般目標會產生帶有 name="robots" 的 meta 元素與未限定的標頭;Google 專屬目標則使用 googlebot 或 googlebot-news，並在 HTTP 值中把該使用者代理放在前綴。
  3. 在保留爬取存取的狀態下部署，並稽核實際輸出。把 meta 元素貼入 HTML 範本，或在伺服器上設定標頭，然後以預定爬蟲的方式擷取公開 URL，檢查原始碼與實際回應標頭，並確認沒有來自 CMS、反向代理或 CDN 的矛盾規則。

搜尋引擎會依照自己的排程套用變更，所以驗證的意義在於確認正確的指令詞已送達頁面，而非保證它們已經被處理。

會破壞 Meta Robots 產生的錯誤

大多數產生錯誤源自政策決策而非語法打錯，並集中在稽核反覆出現的六種模式。在發布前抓出每一種，能省下往返 Search Console 移除設定的時間。

把 noindex 當成存取控管

代價最高的單一錯誤，就是把 noindex 當成安全功能。它是一個搜尋指令，而不是身分驗證——任何知道該 URL 的人仍然可以要求內容，而忽略規則的爬蟲仍會處理該內容。敏感資料必須以真正的授權機制保護，而非 meta 標籤。若某個頁面絕對不能被提供，就回傳正確的回應碼，並以登入機制加以把關。

讓 noarchive 殘留在舊版範本中

較舊的佈景主題與 SEO 外掛仍然會帶著 noarchive 核取框出貨。Google 已把該規則列為歷史性且未使用，因為快取連結功能已不存在。會顯示一個熟悉但被忽略的核取框的產生器，會製造虛假信心，這就是目前 Meta Robots 產生器的輸出會完全省略它的原因。在任何範本清理過程中，請把 noarchive 從舊 CMS 欄位中移除，讓稽核範圍反映搜尋引擎實際讀取的內容。

把 nosnippet 與 max-snippet 配在一起

nosnippet 要求 Google 不要顯示文字摘要或影片預覽，也會讓頁面內容無法被直接用於 AI Overviews 與 AI Mode 的輸入(靜態圖片縮圖仍可能出現)。相對地，數值型 max-snippet 則設定 Google 可呈現摘要的字元上限。兩者並用會產生一個誤導性的規則，因為 nosnippet 是較嚴格的指令——產生器會拒絕同時輸出兩者。請為每個頁面選用單一做法:不希望顯示任何預覽時用 nosnippet，可接受硬性上限時用非負整數，或用 -1 讓 Google 自行決定有效長度。

單獨使用 indexifembedded 而不搭配 noindex

indexifembedded 允許頁面透過 iframe 或類似元素嵌入時被索引，即使已設定 noindex;Google 明確指出，該指令若沒有同時搭配 noindex 就沒有作用。一個忽略這個相依性的產生器，會輸出一條 Google 視為無作用的規則。若目標是在另一個網站上嵌入摘要、又不讓宿主 URL 出現於搜尋結果中，就必須同時使用這對指令——而 noindex 那一半絕對不能省略。

把 noindex 頁面藏在 robots.txt 後面

爬蟲必須能夠擷取資源，才能讀取 meta 元素或標頭。若 robots.txt 封鎖了該 URL,Google 可能永遠看不到 noindex 規則，而該頁面可能因外部連結而為人所知，但內容卻從未被處理。若要從結果中移除一個可存取的頁面，請允許爬取，然後提供該指令，直到搜尋引擎在下一次擷取時處理它。

把來自多個來源的指令疊在一起

多個 meta 標籤、HTTP 標頭或爬蟲專屬宣告之間的衝突規則，會被解讀為合併的限制，並依據Google 的 robots meta 標籤規格採用較嚴格的規則。CMS、SEO 外掛、反向代理與 CDN 都可以各自新增指令，所以實際的 HTML 與送出的回應標頭都值得一看——而不只是編輯器欄位。上線前進行單頁檢查，能抓出那些會悄悄從每一層繼承而來的重複指令詞。

挑選正確爬蟲與指令的祕訣

保持產生器輸出乾淨的最快方式，是從盡可能小的限制集合開始，只加入每個資源真正需要的部分。

  • 讓爬蟲指令詞與目標對象相符。一般爬蟲使用 robots;只在乎 Google 文字結果時使用 googlebot;只有在指令是針對新聞專屬處理時，才使用 googlebot-news。同樣的內容若只送進新聞專屬索引，可能會產生出乎意料的預覽。
  • 除非刻意限制，否則預設使用 index, follow。兩者省略時本就是預設值;明確寫出來通常不會改變行為，卻會增加稽核範圍。僅在資源政策要求時，才加入 noindex 或 nofollow。
  • 把政策目標轉譯為單一指令家族。預覽控制方面，在 nosnippet 或數值型 max-snippet 中二選一，絕不要同時使用。圖片預覽方面，在 none、standard 或 large 中擇一。影片預覽方面，使用非負的秒數，或使用 -1 表示無限制;小於 -1 的值會被拒絕，而不是被複製成一條 Google 會忽略的規則。
  • 把翻譯與圖片控制視為頁面專屬設定。notranslate 要求 Google 不要為該 URL 提供翻譯後的標題與摘要;noimageindex 則要求 Google 不要索引該頁面上的圖片。兩者都是經常在整個網站中變動的頁面層級決策。
  • 請記住預覽限制不等於授權。當結構化資料、AMP 關聯或授權明確授予特定權限時，摘要與預覽指令可以被覆寫，因此產生的字串並非通用的內容使用開關。當使用情境是再利用而非呈現時，請使用真正的授權與結構化資料。

若需要每個支援指令詞的更深入語法參考，Meta Robots 產生器速查表:指令與語法並列展示了所有指令與其說明文件記載的值。

Meta 標籤 vs X-Robots-Tag:選擇正確的管道

挑選與資源類型及已掌控回應的堆疊層相符的管道。同一組選擇會同時餵入兩種輸出，但每一種適用於不同的部署模式。

因素 HTML meta 元素 HTTP X-Robots-Tag 標頭
位置 頁面的 <head> 內 伺服器回應標頭
最適用於 由你掌控範本的 HTML 頁面 PDF、圖片、影片檔案、非 HTML 資源
設定路徑 佈景主題或 CMS 欄位 網頁伺服器、應用程式程式碼或 CDN 規則
範圍控制 一次一個頁面 透過標頭規則一次處理整個檔案類型
爬蟲存取需求 與頁面內容相同的擷取 與頁面內容相同的擷取
格式範例 <meta name="robots" content="noindex"> X-Robots-Tag: noindex

把顯示的標頭文字貼到頁面內容中是沒有效果的——X-Robots-Tag 指令必須由網頁伺服器、應用程式或 CDN 設定。HTML meta 元素遵循 WHATWG HTML meta 元素規格，讓語法在 HTML 頁面之間保持可攜性。針對混合式部署，請同時產生兩種輸出，並各自套用於正確的管道。

部署後驗證輸出

產生過程只能消除明顯的打錯字;部署驗證才能消除繼承而來的錯誤。在標籤或標頭上線後，以下三項檢查可抓出工具輸出無法偵測的問題。

  1. 以爬蟲的方式擷取公開 URL。使用能顯示送出 HTML 或原始回應標頭的工具，確認所選的指令詞確實存在，並確認沒有來自外掛或中介層的多餘指令詞被併入。
  2. 同時比較 meta 元素、標頭與 robots.txt。即使 meta 元素正確，robots.txt 規則仍可能封鎖該 URL,CDN 也可能附加自己的指令。最嚴格的規則永遠生效，所以漏掉任何一個來源都會改變實際生效的政策。
  3. 持續追蹤到下一次爬取為止。搜尋引擎會依照自己的排程處理變更，其他引擎對 Google 專屬指令的解讀也可能不同。在典型的重新爬取週期後再次檢視 URL，並把狀態變化視為確認，而非產生器本身的保證。

若需要在上線前進行著重於安全性而非語法的檢查，Meta Robots 產生器安全嗎?真正重要的使用前檢查一文，會逐步說明在複製任何輸出上線前應該提出的問題。