meta robots 指令是頁面或資源層級的指示，用來告訴支援的爬蟲如何索引 URL、遵循其連結，或控制其內容在搜尋中的顯示方式。它可以透過 HTML meta 元素或 X-Robots-Tag HTTP 回應標頭傳送，而且任一種形式都可以使用等效指令。這項規則會影響單一頁面或資源，而非整個網站；全站範圍的爬蟲控制應在 robots.txt 中設定。常見要求包括 noindex，要求爬蟲不要在搜尋結果中顯示資源；以及 nofollow，要求爬蟲不要遵循該資源上的連結。爬蟲必須先獲准擷取資源，才能讀取任一種形式，因此 robots.txt 中的封鎖可能會使 noindex 指示無法被探索到。這些指令 govern 的是爬蟲行為，而非隱私或存取控制：任何知道 URL 的人仍可要求內容，而忽略規則的爬蟲也可能繼續處理內容。如需引導式實作，Meta Robots Generator 可在本地將一項政策轉換成經過驗證的 HTML 與 HTTP 語法，無須連線至搜尋服務。
爬蟲有三項獨立的工作
擷取、索引與呈現是各自獨立的階段。爬蟲首先必須取得資源；接著可能會處理該資源以建立搜尋索引、遵循出站連結，並建立文字、圖片或影片呈現。noindex 要求處理的是索引，而非擷取存取。nofollow 要求處理的是頁面上的連結，並不會移除頁面本身。因此，頁面可以維持可存取狀態、仍可透過連結被探索到，同時帶有一項要求支援的搜尋引擎不要在結果中顯示它的指令。
爬蟲目標也會改變接收指示的對象。產生器提供一般搜尋爬蟲、用於文字結果的 Googlebot，以及 Googlebot News。一般規則會使用 meta 名稱 robots 和未限定類型的 X-Robots-Tag 標頭；Google 專屬規則則會使用 googlebot 或 googlebot-news 作為 meta 名稱，並在標頭值前面加上相同的使用者代理程式權杖。其他爬蟲名稱與供應商專屬行為不在這個精簡介面的範圍內，而其他搜尋引擎可能會以不同方式解讀 Google 專屬指令。當有多個 meta 標籤或標頭同時適用時，Google 會合併其限制，因此較具限制性的規則會適用。
先選擇傳送管道
選擇符合資源以及您所能控制之傳送堆疊部分的管道。頁面規則與回應標頭規則可以表達相同的政策，但部署位置不同。
| 考量項目 | HTML meta 元素 | X-Robots-Tag 標頭 |
|---|---|---|
| 傳送方式 | 文件 head 與公開 HTML 原始碼 | 隨資源傳回的 HTTP 回應標頭 |
| 最適用情境 | 您能控制其標記的 HTML 頁面 | PDF、圖片、影片，或能可靠控制標頭的部署環境 |
| 設定位置 | 範本、CMS 或頁面原始碼 | 網頁伺服器、應用程式或 CDN |
| 主要檢查項目 | 檢查傳送的 HTML 中是否有重複或衝突內容 | 檢查實際回應標頭；本文本內容不會產生作用 |
對於 HTML 頁面，請將元素放在文件 head 中，並遵循 WHATWG meta 元素定義對中繼資料位置的規範。對於 PDF、圖片、影片檔案，或具備可靠標頭管理的網站，請在回應上設定 X-Robots-Tag。產生器顯示的標頭必須由網頁伺服器、應用程式或 CDN 設定；將它貼到可見的頁面內容中不會有任何作用。
Meta Robots Generator 會將同一項選定的政策序列化為兩種形式。例如，含有 noindex 與 nofollow 的政策可以在 HTML 中使用 <meta name="robots" content="noindex, nofollow">，或在回應中使用 X-Robots-Tag: noindex, nofollow。Google 專屬選項會在 meta 名稱中改用 googlebot 或 googlebot-news，並限定標頭值。請複製適合部署環境的形式；不要只因為兩者都有顯示，就同時加入兩者。
只選擇符合政策的指令
請將指令當作精確的政策陳述，而不是可互換的核取方塊。Google 的robots meta 標籤規格定義了產生器所重現的支援值與交互作用。
| 指令 | 要求的行為 | 值或限制 |
|---|---|---|
| noindex | 要求頁面或資源不要出現在搜尋結果中。 | 該資源必須可供爬蟲存取；這不是身分驗證或存取控制。 |
| nofollow | 要求爬蟲不要遵循資源上的連結。 | 這不會使頁面變成私人內容。 |
| indexifembedded | 即使有 noindex，仍允許透過 iframe 或類似元素嵌入的內容接受索引。 | 它只會與 noindex 搭配時產生作用，而產生器會在顯示輸出前強制檢查這項相依關係。 |
| nosnippet | 要求 Google 不要顯示文字摘要或影片預覽。 | 靜態圖片縮圖仍可能顯示。Google 表示，這也會防止頁面內容被當成 AI Overviews 與 AI Mode 的直接輸入。 |
| max-snippet | 限制文字摘要長度；-1 會讓 Google 選擇有效長度，而 0 相當於不顯示摘要。 | 接受 -1 或非負整數，且不能與 nosnippet 組合。 |
| max-video-preview | 以秒數設定預覽時長；-1 表示沒有時長限制。 | 在圖片規則下，0 最多只允許顯示靜態圖片；非整數以及低於 -1 的值都會被拒絕。 |
| max-image-preview | none 要求不顯示圖片預覽，standard 允許使用預設值，而 large 允許顯示較大的預覽，最大至檢視區寬度。 | 僅使用這些有文件記載的設定。 |
| notranslate | 要求 Google 不要提供譯文標題與摘要。 | 這是 Google 的呈現要求。 |
| noimageindex | 要求 Google 不要索引頁面上的圖片。 | 它處理的是圖片索引，而非圖片預覽大小。 |
產生器會拒絕將 nosnippet 與 max-snippet 搭配使用，因為較廣泛的封鎖會使數值選擇產生誤導。它也會阻止在沒有 noindex 的情況下使用 indexifembedded。接受的選項會依固定順序轉換成 Google 有文件記載的權杖，讓複製的指令順序保持一致。
它刻意省略 noarchive。Google 將該指令列為歷史用途且已不再使用，因為其快取連結功能已不存在。它也省略 unavailable_after，因為有效的日期時間格式、時區與發布工作流程需要比一般表單所能猜測的更多脈絡。因此，熟悉但已停用的控制項不會被呈現成能保證產生效果。
建立、部署並檢查規則
- 選擇爬蟲目標與政策。選擇一般搜尋爬蟲、Googlebot 文字結果或 Googlebot News。只加入符合該資源的索引、連結遵循、摘要、媒體、翻譯與圖片選項。如果使用 indexifembedded，請一併加入 noindex；不要同時選取 nosnippet 與 max-snippet。只輸入文件記載範圍內的整數預覽值。
- 產生並複製適當的輸出。Meta Robots Generator 會將經過驗證的選項轉換成固定順序的權杖，並序列化為 HTML meta 元素加上等效的 X-Robots-Tag 選項。產生作業完全在本地進行，不會連線至搜尋服務。對於受控制的頁面，請複製 HTML；對於非 HTML 資源，或回應標頭是可靠管道的部署環境，請複製標頭。
- 部署時保留爬蟲存取權，接著加以驗證。將 meta 元素放入傳送的 HTML，或在網頁伺服器、應用程式或 CDN 設定標頭。以預定爬蟲能存取的方式擷取公開 URL，檢查傳送的原始碼或實際標頭，並移除重複或互相衝突的宣告。持續重複盤點，直到搜尋引擎重新爬取變更後的資源為止。
驗證傳送的原始碼與標頭
編輯器中的設定並不能證明最終回應的內容。CMS、SEO 外掛、反向代理與 CDN 都能各自注入指令，因此請檢查公開 URL 實際傳回的內容。對於 HTML，請盤點原始碼中的每個 robots meta 元素。對於以標頭為基礎的政策，請檢查實際回應標頭。也請檢查爬蟲專屬宣告，因為僅適用於 Google 的規則可能會與較廣泛的規則並存，進而改變合併後的結果。
如果 robots.txt 禁止存取該資源，Google 可能永遠無法取得 noindex 指令。該 URL 仍可能透過外部連結為人所知，但頁面內容不會經過處理。若要將可存取的頁面從結果中移除，請允許爬蟲存取、維持指令部署，並等待搜尋引擎本身的爬取排程。產生器可以產生精確語法，但無法保證取消索引的時間或特定搜尋結果呈現方式。
瞭解 robots 中繼資料的界限
Robots 中繼資料不是安全邊界。Noindex 可以要求支援的爬蟲不要將資源列入結果，但無法阻止人員要求該 URL，而忽略它的爬蟲也可能繼續處理內容。請使用身分驗證與授權來保護敏感資訊，而非依賴中繼資料指令。
產生的字串也不是通用的內容使用開關。透過結構化資料、AMP 關聯或授權所提供的獨立權限，可能會取代預覽限制，而其他引擎也可能以不同方式解讀 Google 專屬控制項。請使用規則表達界定的爬蟲政策，接著確認傳送的回應，並在權限、索引需求或部署路徑變更時重新檢視該指令。
如需深入瞭解，請參閱 Meta Tag Generator for Website：建立並驗證標籤。
如需深入瞭解，請參閱 Robots.txt Generator：在瀏覽器中於本地建立檔案。