robots meta 標籤是一個 HTML 元素或 HTTP 標頭，用來告訴符合規範的搜尋爬蟲該如何索引、追蹤特定頁面，以及如何在搜尋結果中顯示該頁面。對初學者來說，Meta Robots Generator 是建立這個標籤最安全的方式，因為它會將一組少量的選項轉換成目前 Google 支援的語法，並拒絕組合互相矛盾的指令，因此你永遠不會貼上一個會被 Google 默默忽略的標籤。產生過程完全在你的瀏覽器中執行，不會將任何設定、網址或指令傳送到搜尋服務，這代表你正在編輯的頁面會保持私密，同時由你決定標籤內容。頁面層級的 meta 元素與等效的 X-Robots-Tag 標頭來自同一組經過驗證的選項，因此 HTML 版本和標頭版本不會意外產生分歧。這份初學者教學會說明每個指令的意義、如何在它們之間做選擇、產生的標籤必須放在哪裡，以及在部署後如何確認爬蟲實際上看到的內容。
Robots Meta 標籤實際的作用
robots meta 標籤是一個針對單一頁面的指示。robots.txt 位於網域根目錄、套用於整群網址，與之不同的是，meta robots 標籤是附加在單一 HTML 文件上，或以 HTTP 回應標頭的形式為單一資源提供。這個標籤告訴爬蟲如何處理該單一頁面：頁面是否應該出現在搜尋結果中、頁面上的連結是否應該傳遞排名訊號，以及如果顯示結果時應如何呈現。
它是一個請求，而不是命令。符合規範的爬蟲會遵循格式正確的規則；而忽略規則的爬蟲仍然可以處理該頁面。它也不是存取控制。任何知道該網址的人都可以直接請求內容，Google 的說明文件也明確指出，敏感資訊必須以真正的身分驗證機制保護，而不是依賴 metadata 標籤。把 noindex 當作隱私鎖定機制是初學者最常犯的單一錯誤，也是日後產生最多令人困惑客服單的原因。
這個標籤有兩種形式。HTML 形式是位於頁面 <head> 內的 <meta> 元素，以 robots、googlebot 或 googlebot-news 作為 name 屬性識別。HTTP 形式則是由網頁伺服器、應用程式或 CDN 送出的 X-Robots-Tag 回應標頭。兩種形式都帶有相同的逗號分隔指令清單，語法定義於 Google robots meta 標籤規格。
你可以安全使用的指令
每個指令都是單一代碼或 name:value 配對。下表列出初學者最可能使用的指令、每個指令要求爬蟲執行的事項，以及它與其他指令互動時的初學者注意事項。
| 指令 | 要求的事項 | 初學者注意事項 |
|---|---|---|
| noindex | 頁面不應出現在搜尋結果中 | 僅為爬蟲指示，並非存取控制。需與 robots.txt 中的爬取權限搭配，規則才會生效。 |
| nofollow | 頁面上的連結不應被用於排名目的而被追蹤 | 僅為爬蟲指示。爬蟲仍可從其他頁面探索並爬取相同的連結。 |
| nosnippet | 不應顯示文字摘要或影片預覽 | Google 也會將該內容排除在 AI Overviews 與 AI Mode 輸入之外。靜態圖片縮圖仍可能顯示。 |
| max-snippet:N | 將文字摘要限制為 N 個字元 | 接受 -1（讓 Google 自行選擇有效長度）或非負整數。零等同於 nosnippet。 |
| max-image-preview | 圖片預覽大小：none、standard 或 large | none 會封鎖預覽、standard 允許預設預覽、large 允許最大到檢視區寬度的預覽。 |
| max-video-preview:N | 允許的影片預覽秒數 | 接受 -1（沒有限制秒數）或非負整數的秒數。零最多僅允許顯示靜態圖片。 |
| notranslate | 不要提供翻譯後的標題或摘要 | Google 專屬。其他引擎可能會有不同的解讀或忽略這個指令。 |
| noimageindex | 不要索引頁面上的圖片 | Google 專屬。頁面文字仍可能出現在結果中。 |
| indexifembedded | 即使有 noindex，仍在透過 iframe 或類似元素嵌入時索引內容 | Google 僅在與 noindex 搭配時才會遵守此指令。產生器會強制此相依性。 |
這個清單刻意省略了兩個指令。noarchive 被 Google 列為歷史性且未使用的指令，因為快取連結功能已不存在，加入它會造成虛假的安全感。unavailable_after 被省略，原因是正確的日期時間格式、時區以及發佈流程需要比一個小表單所能推測的更多資訊。
一步步建立你的第一個標籤
第一次開啟 Meta Robots Generator 時，請依照下列步驟操作。
- 開啟工具並選擇爬蟲目標。在通用爬蟲、用於文字結果的 Googlebot，以及 Googlebot-News 之間選擇。這項選擇會改變 meta name 屬性，並決定 X-Robots-Tag 標頭是否以該使用者代理為前綴；其他部分都保持不變。其他爬蟲名稱與供應商專屬行為不在這個聚焦介面的範圍內。
- 只勾選符合頁面用途的指令。對於感謝頁、staging 網址或內部搜尋結果，noindex 通常是合適的起點。對於不應透過出站連結傳遞排名訊息的新聞頁，請加上 nofollow。對於以圖片為主的文章，請將 max-image-preview 設為 large。請克制「以防萬一」而全部勾選的衝動。
- 略過工具拒絕產生的組合。產生器不會讓你把 nosnippet 與數值的 max-snippet 配在一起，因為較嚴格的 nosnippet 會讓數字失去意義。它也會在沒有勾選 noindex 時封鎖 indexifembedded，因為 Google 僅在與 noindex 搭配時才會遵守 indexifembedded。
- 將 HTML 元素複製到頁面 head，或將標頭值複製到伺服器設定中。對於你能控制 markup 的 HTML 頁面，請使用 meta 元素。對於 PDF、圖片或影片檔案，或對於以回應標頭為受控管道的環境，請使用 X-Robots-Tag 標頭。把顯示的標頭字串貼到頁面主體中沒有任何作用。
- 儲存、部署並進入驗證步驟。產生器無法保證取消索引、時間或任何特定的搜尋結果呈現方式。搜尋引擎會依其自身的爬取排程處理變更，因此下一步是確認部署的標籤是否符合你的預期。
標籤的位置：Meta 元素或 HTTP 標頭
HTML meta 元素位於 HTML 文件的 <head> 內，會在頁面被請求時渲染。X-Robots-Tag 標頭則是網頁伺服器、應用程式或 CDN 在內文送出前回傳的 HTTP 回應中的一行。兩者帶有相同的逗號分隔指令清單，Google 的說明文件將它們描述為表達相同請求的等效方式。
HTML 形式是普通 HTML 頁面的正確選擇，前提是你能編輯模板或透過 CMS 插入標籤。HTTP 標頭形式則是非 HTML 資源——PDF 報告、圖片檔、影片片段——的正確選擇，因為這些資源沒有 head 元素可承載 meta 標籤。當你的託管環境讓回應標頭設定比編輯 markup 更簡單可靠時（例如在靜態檔案伺服器上或在 CDN 後方），HTTP 標頭形式也是正確的選擇。
一個初學者常忽略的細節：標頭必須由控制回應的軟體設定。網頁伺服器設定區塊、應用程式中介層或 CDN 規則都是典型位置。把顯示的標頭字串複製到頁面的可見內容中完全無效；這個值必須透過 HTTP 回應傳送，而不是放在 HTML 主體中。
部署後驗證標籤
變更部署後，請以預期爬蟲能取得的方式擷取公開網址，並檢查原始碼或回應標頭。瀏覽器的開發者工具、curl 指令或免費的標頭檢查服務都可以使用。你要確認兩件事：你產生的標籤以你選擇的形式存在，並且沒有第二個互相矛盾的標籤同時存在。
衝突的規則很常見，因為可能有多個系統加入 meta robots 標籤。CMS 可能會發出自己的預設標籤、SEO 外掛可能會再加上另一個、反向代理或 CDN 可能會插入標頭，而你產生的標籤可能會加入這個行列。Google 表示當宣告互相衝突時，會採用較嚴格的規則，因此即使你產生的標籤指定要索引，CMS 多加的 noindex 也會覆寫你的預期指令。正確的做法是先盤點現有的輸出，再加入你的標籤，然後重新檢查實際送出的頁面。
搜尋引擎也會依其自身的爬取排程處理變更。你無法強制立即重新爬取，產生器也無法保證取消索引或時間。請在合理的間隔後使用 site: 搜尋、網址檢查工具，或能確認你的指令仍持續送出的標頭檢查工具再次確認。
新手常犯的錯誤，導致標籤被忽略
有幾個可預見的錯誤造成了大多數新手對 meta robots 標籤的困惑，而 Meta Robots Generator 的設計目的就是在輸出時化解最常見的這類問題。
使用 noindex 來隱藏私人內容。這個標籤是搜尋指令，而非密碼。Google 的說明文件指出，noindex 和 nofollow 並無法阻止任何人直接請求該頁面。敏感資料必須透過身分驗證與授權來保護，絕不能用 metadata 標籤。
在 robots.txt 中封鎖存取，同時又提供 noindex。如果 robots.txt 禁止爬取，爬蟲可能永遠無法到達該頁面，也可能永遠看不到 noindex 規則，而該 URL 可能因為外部連結而仍然存在，但頁面內容卻未經處理。若要移除一個可存取的頁面，應允許爬取並提供該指令，直到搜尋引擎處理完成為止。
將 X-Robots-Tag 標頭貼到 HTML 中。該標頭必須在 HTTP 回應中傳送。放在頁面主體中、看起來像標頭的一行文字只是頁面內容，對爬取或索引完全沒有作用。
堆疊多個 meta robots 標籤。由外掛程式或 CDN 加入的第二個標籤，可能會與您產生的標籤互相矛盾。由於會套用較嚴格的規則，因此非預期的標籤會勝出。請檢查實際送出的 HTML 與回應標頭，而不僅僅是編輯器中的設定。
將 nosnippet 與數值型 max-snippet 混用。Google 會將 nosnippet 視為較強的訊號，因此該數值會變成無效的文字。Meta Robots Generator 在輸出時會封鎖這種組合，確保該規則永遠不會被輸出。如需關於指令清單與語法的可列印參考資料，請參閱 Meta Robots Generator 速查表：指令與語法 指南，該指南以可列印的版面涵蓋相同的範圍。
如果您正在權衡各種選項，記錄 AI 機器人 robots.txt 檢查步驟 對此有詳細說明。