一份 meta robots 產生器的速查表，是建立有效標籤與 X-Robots-Tag 標頭的完整且最新的參考依據,內容涵蓋 Google 目前仍會處理的指令,並附上能防止相互矛盾 token 組合的規則。Meta Robots Generator 是一個專注的工具,會輸出正好符合上述需求的組合:一組已驗證的檢索範圍、索引、連結追蹤與摘要或預覽限制的設定,同時序列化為 HTML meta 元素與等效的 HTTP 回應標頭。它將 Google 的 robots meta tag 規範 中視為現行的規則進行編碼,並靜悄悄地略過已轉為歷史狀態的規則,藉此消除了最常見的複製貼上錯誤。所有內容都在瀏覽器中本機從具類型的選項清單產生,因此語法精確、可直接複製,無需任何外部服務。請使用下方的速查表來挑選指令、驗證其限制,並將輸出部署到您所控制資源的正確管道。
Google 目前認可的 robots Meta 指令
Google 現行文件描述了一組固定的、以檢索器為目標的指令。每條規則對應一種檢索範圍(一般、Google 文字結果或 Google 新聞)以及一或多種行為,例如索引、連結追蹤、摘要限制、圖片與影片預覽、翻譯提供、圖片索引,以及搭配 noindex 的內嵌索引。速查表會將它們加以分組,讓您一眼就能看出每個 token 的用途及其預期行為。
| 指令 | 其請求內容 | 速查表附註 |
|---|---|---|
| all, index, follow | 無限制;頁面可出現於搜尋結果中,且連結可以被追蹤。 | 預設行為;省略 token 等同於此設定。 |
| noindex | 不要在搜尋結果中顯示此頁面或資源。 | 僅為檢索器指令,並非存取控制。 |
| nofollow | 不要追蹤此頁面上的連結。 | 適用於外部連結,而非內部連結權重傳遞。 |
| nosnippet | 不要顯示文字摘要或影片預覽。 | 與 max-snippet 互斥。 |
| max-snippet | 以字元數限制文字摘要長度。 | 接受 -1 或非負整數。 |
| max-image-preview | 設定圖片預覽大小。 | 僅接受 none、standard 與 large。 |
| max-video-preview | 設定影片預覽持續時間,以秒為單位。 | 接受 -1 或非負整數。 |
| notranslate | 不要提供翻譯後的標題或摘要。 | Google 專用。 |
| noimageindex | 不要索引此頁面上的圖片。 | Google 專用。 |
| indexifembedded | 即使設定 noindex,內嵌時仍允許索引。 | 需在同一個標籤中同時存在 noindex。 |
速查表排除的指令及其原因
速查表只有在反映引擎仍在讀取的內容時才有用。幾個常見的 token 被刻意省略,因為 Google 現在已將它們列為歷史、不予處理或視情境而定。
- noarchive — Google 將此規則記載為歷史且已不再使用。該規則曾控制的快取連結功能已不存在,因此若加入 noarchive 勾選框,會造成「正在抑制快取快照」的錯誤印象。
- unavailable_after — 雖然仍出現在某些參考資料中,但正確的日期時間格式、時區處理與編輯流程,使其不適合用於一個小型通用表單。速查表不會嘗試猜測其值。
- 廠商專屬的檢索器 token — 一般目標使用未限定的名稱 robots。Google 專屬目標則使用 googlebot 或 googlebot-news。其他檢索器名稱與廠商行為不在此專注介面的範圍內,納入將會稀釋已驗證的輸出。
數值限制與驗證規則
三個支援的指令接受數值,各自都有容易在手動輸入時違反的限制。Meta Robots Generator 是在輸入層級強制執行這些限制,而不是將無法辨識的字串複製到 Google 會靜悄悄忽略的標籤中。
- max-snippet — 摘要中允許的文字字元數。接受 -1(由 Google 自行選擇有效長度)或非負整數。0 等同於 nosnippet,且兩者不會同時出現在同一個標籤中。
- max-video-preview — 影片預覽秒數。接受 -1(無限制)或非負整數。0 最多僅允許在 image-preview 規則下顯示一張靜態圖片縮圖。
- max-image-preview — 三個有文件記載的關鍵字值之一:none、standard 或 large。此指令的詞彙中不接受數字輸入。
產生階段還會封鎖兩種組合:nosnippet 無法與 max-snippet 並存,因為更嚴格的 nosnippet 會讓數值選擇產生誤導;而 indexifembedded 必須與 noindex 並存,因為該規則僅在頁面原本會被排除於結果之外時才具有效果。
如何產生已驗證的 Robots Meta 標籤
Meta Robots Generator 將單一策略決策轉換為 HTML meta 元素與 HTTP 回應標頭兩者。無論目標是單一頁面或重複使用的範本,操作順序皆相同。
- 選擇檢索器目標:一般搜尋檢索器、Googlebot 文字結果或 Googlebot 新聞。此處選擇的 token 將作為 HTML 中的 name 屬性,以及標頭中的 user-agent 前綴。
- 僅挑選符合資源策略的索引、連結追蹤與預覽限制。數值必須為 -1 或非負整數,且 max-image-preview 必須是三個有文件記載的關鍵字之一。
- 產生並複製頁面用的 HTML meta 元素,或伺服器回應用的 X-Robots-Tag 標頭。兩個字串來自同一組已驗證設定,因此永遠一致。
- 在允許檢索存取的前提下,部署所選的輸出。將標頭值貼到頁面內容中沒有任何效果;X-Robots-Tag 必須由網頁伺服器、應用程式或 CDN 設定。
- 在重新檢索發生前,檢查公開的原始碼與標頭中是否有重複或衝突的規則。CMS、SEO 外掛、反向代理與 CDN 都可能各自加入指令,因此實際送出的 HTML 與真實的回應標頭,才是唯一可靠的依據。
HTML Meta 元素 vs X-Robots-Tag 標頭
兩種輸出格式以兩種不同管道表達同一條規則。請參考下表,決定哪一種適合您所控制的資源。
| 管道 | 設定位置 | 最適合的情境 |
|---|---|---|
| HTML meta 元素 | 在您撰寫或以範本產生的 HTML 頁面的 head 內。 | 以標記為受控管道的 HTML 頁面。 |
| X-Robots-Tag HTTP 標頭 | 網頁伺服器、應用程式或 CDN 對於回應的設定。 | PDF、圖片、影片等非 HTML 資源,或部署上標頭比渲染後的標記更可靠的情境。 |
產生器會以兩種形式輸出同一組指令。一般目標會產生名為 robots 的 meta 元素,沒有 user-agent 前綴,以及一個未限定的 X-Robots-Tag 標頭。Google 專屬目標則使用 googlebot 或 googlebot-news 作為 meta 名稱,並在標頭值中以前綴形式加上該 user agent。
貼上標籤後的部署檢查
三個快速的檢查可以抓到 robots 指令靜悄悄地未生效的最常見原因。
- 檢索存取 — 檢索器必須先被允許擷取資源,才能讀取任一種形式。若 robots.txt 禁止檢索,noindex 規則可能永遠不會被讀取,而 URL 仍可能透過外部連結保持被索引。
- 管道對應 — meta 元素應放在頁面 head;X-Robots-Tag 則應放在回應上。將標頭文字貼到頁面內容中沒有任何效果。
- 重複或衝突的規則 — 當多個宣告互相牴觸時,Google 會採用較嚴格的規則,因此在加入新標籤前,應先盤點來自 CMS、外掛、反向代理與 CDN 的既有輸出。
搜尋引擎會依其自身的檢索排程處理變更,其他引擎也可能以不同方式解讀 Google 專屬指令。產生器能產生精確的語法,但無法保證取消索引、時機,或特定的搜尋結果呈現方式。
若您正在權衡選項,How to Put Basic Meta Tags in Your Website Head 對此有詳細說明。
若您正在權衡選項,Best robots.txt File for WordPress: A Safe Setup 對此有詳細說明。