只有當您擁有一套經過策展、穩定且值得突顯的標準頁面時,才產生 llms.txt 檔案,因為 llms.txt 是一項新興的提案——它既不是排名訊號、也不是抓取指令、更不是 sitemap 的替代品,也並非保證能促成探索的協定。這個檔案是一份以確定性順序撰寫的小型 Markdown 索引:一個必填的 H1 標題,內容為網站或專案名稱;一段選擇性的 blockquote 摘要;選擇性的非標題細節;以及零個或多個 H2 章節,用以分組 Markdown 連結項目,每個項目可附加一段以冒號分隔的註解。由於每個互動元素都會影響檔案能否正確解析,是否發布應取決於編輯標準——您是否擁有值得策展的標準頁面,以及您能否保持其準確——而非任何關於引用、排名或爬蟲採納的承諾。
這個定義之所以重要,是因為引導您找到 llms.txt 範例的同一個搜尋,往往伴隨著一個隱藏的假設:發布這個檔案本身就能被搜尋引擎或 AI 助理看見。誠實的答案是,這項提案是自願性的。爬蟲與助理並無義務請求 /llms.txt、遵循其中的連結,或將其視為權威依據。有些網站將其作為對模型供應商的禮貌性提供;少數爬蟲已開始進行實驗性的抓取。這個檔案與 robots.txt、sitemap.xml 和結構化資料互補,而非取代,因為它們各自負擔不同的工作。理解這條界線,才能把「我是否該再加一個 SEO 檔案?」的決定,轉化為「我是否擁有一份值得在推論時維護的小型、穩定、高價值閱讀清單?」

llms.txt 的角色與限制
llms.txt 提案記錄於 llmstxt.org,並在社群實作(例如 AnswerDotAI llms-txt 參考儲存庫)中被引用,為策展式概觀定義了一套可預期的 Markdown 順序。H1 為必填,且內容為專案或網站名稱。當一兩句的框架說明有所助益時,可接續一段 blockquote 摘要。自由格式的細節會出現在任何 H2 連結章節之前。每個 H2 標題會分組 Markdown 列表項目,其必填的核心是一個連結;一段說明註解可接在冒號之後。命名為 Optional 的章節有既定慣例:其下的連結代表次要素材,消費者在處理較短的上下文視窗時可以略過。
這項提案「不是什麼」同樣重要。llms.txt 並非 robots 指令——它不會限制爬蟲。它也不是 sitemap——它不會列舉可被索引的 URL 以供搜尋探索。它也不是結構化資料產物——它不會描述頁面上的實體。它無法控制訓練資料,也無法強迫模型引用發布的網站。這項提案是一個編輯介面,策展的紀律比長度更為重要:一份照搬 sitemap、列出每個 URL 的檔案,與其說是在引導消費者,不如說是在浪費他們的上下文。
決策標準:何時產生 llms.txt 才有意義
是否應該發布這個檔案,取決於您能用一次簡短的編輯流程回答的四個問題。
- 您是否擁有一小組、穩定的標準資源?文件中心、產品說明、政策與參考頁面都是自然的候選。擁有數千篇文章的長篇行銷部落格通常不適合,因為策展難以落實。
- 您能否讓清單保持最新?過時的連結比沒有檔案更糟。請規劃定期驗證每個章節下所列的 URL。
- 推論時的探索是否值得您投入時間?如果您建置了會讀取 /llms.txt 的內部工具、助理或管線,這個檔案會直接帶來回報。如果您只是為了傳統搜尋而最佳化,sitemap.xml 與結構化資料即可承擔重任。
- 這個檔案是否與現有控制項互補——而非重複?robots.txt、sitemap.xml 與 JSON-LD 各自有其職責。llms.txt 應與它們並存,而非取代其中任何一個。
如果這四個問題中有兩個的答案明顯為是,那麼一份經過策展的檔案很可能值得您投入時間。如果只有一個為是,則請暫緩。發布一份維護不周的 llms.txt,其成本高於不發布。
llms.txt 在 robots.txt 與 sitemap.xml 旁的位置
下表摘要了每個檔案在健全網站中所扮演的角色,避免將決策框定為「llms.txt 對其他檔案」的對立。每列說明了該檔案的目的、機制與服務對象。
| 檔案或介面 | 目的 | 機制 | 主要對象 |
|---|---|---|---|
| robots.txt | 針對配合的爬蟲表達抓取偏好 | 依每個 user-agent 套用的排除規則 | 遵守該標準的搜尋與 AI 爬蟲 |
| sitemap.xml | 盤點可供搜尋探索的可索引 URL | 標準頁面的 XML 清單,可附帶詮釋資料 | 搜尋引擎與支援工具 |
| 結構化資料(JSON-LD、Microdata) | 描述實體與頁面內容 | 由爬蟲與解析器解析的頁內標記 | 搜尋引擎、知識面板、schema 解析器 |
| llms.txt | 為推論時的使用策展一份簡短的 Markdown 概觀與高價值參考 | 可預期的 H1、選擇性摘要、帶有連結項目的有序 H2 章節 | 語言模型助理與人類讀者 |
同樣的原則也適用於 llms-full.txt——這是 llmstxt.org 提出的較長版配套檔案,將實質內容打包成單一、對上下文友善的承載。您是否一併發布 /llms-full.txt,取決於您是否能為打包完整內容的授權、準確性與 token 成本背書。請將其視為一項獨立的編輯決策。
透過產生器走訪一個 llms.txt 範例
一旦決定發布檔案,實際的工作便是依照提案記載的順序產生一份草稿、加以審閱,然後上線。llms.txt 產生器是一個僅在本機運作的表單,會在不爬取您網站的情況下,將記載中的 Markdown 順序序列化。下方範例使用一個名為 Acme Docs 的虛構文件網站,讓結構更具體可感。
- 輸入網站或專案名稱。輸入您希望作為 H1 的確切名稱。產生器將其視為必填的第一個元素;標題缺失或空白會被拒絕。
- 加入選擇性的摘要。以一句或兩句話構成的 blockquote。對 Acme Docs 而言,這會成為一段內容如下的引用:Acme Docs is the reference manual for the Acme widget API, configuration, and CLI.
- 加入選擇性的非標題細節。用於說明範疇、版本或對象的簡短段落。這些段落會出現在任何 H2 章節之前,且不得包含會產生重複頂層標題的標題字元。
- 將標準連結歸入清晰的 H2 章節。將每個 Markdown 連結作為一個列表項目。只有 http 與 https 的 URL 會被接受;帶有認證資訊、javascript 或 data 協定的 URL 會在序列化前被拒絕。標籤、註解與摘要會經過標準化處理,避免控制字元或意外的 Markdown 分隔符破壞結構。經標準化後重複的 URL 會被標記,而不會被重複列出。
- 決定哪些內容屬於 Optional H2 章節。Optional 章節對於次要素材有既定慣例,消費者在較短的上下文中可以略過。產生器不會自動將資源標記為 optional;這項決定屬於編輯判斷。
- 產生後,再審閱 Optional 章節與每一則註解。輸出為確定性的純文字。您可以複製結果,或下載一份名為 llms.txt 的檔案。請將其視為內容而非機械式的 SEO 產物重新閱讀——確認標題與摘要與網站相符、每個連結都是標準連結、註解皆屬事實、optional 資源確實為次要,且沒有私人或測試環境的 URL 混入。
一份為 Acme Docs 製作的精簡示意檔案,由上至下依此順序呈現:以 Acme Docs 作為 H1、一段說明範疇的 blockquote 摘要、一段簡短的細節段落註明釋出節奏、一個帶有兩項連結(quickstart 與 authentication 頁面,各附冒號分隔的註解)的 Getting Started H2、一個帶有一項連結(CLI reference)的 Reference H2,以及最後一個帶有 changelog 連結的 Optional H2,消費者在處理較短的上下文視窗時可以略過 changelog。將檔案當作內容重新閱讀,正是編輯流程發揮作用的地方。
在上線前驗證草稿
驗證是同一個工具中的另一個模式。貼上既有的 llms.txt 草稿,以檢查必填的 H1、標題順序、連結清單語法、重複目標以及大小上限。它會回報具體、對應到行號的問題與警告,但不會重寫檔案、不會請求任何列出的 URL,也不會聲明所連結的資源是正確的。關鍵在於:驗證成功僅代表草稿符合此工具對現行規格的解讀——並不代表更廣泛的廠商支援。提案與生態系仍可能演進,因此當您要建立依賴精確語法的自動化時,請再次檢視方法論與來源連結。
誠實地上線、維護並衡量
請在您預定支援的路徑發布——通常為 /llms.txt,若檔案適用於某個子區塊則可使用子路徑——並使用純文字或相容 Markdown 的內容類型。接著請衡量正確的指標。伺服器記錄可能會顯示偶爾來自 AI 相關 user-agent 的抓取,這是「有被存取」的證據,卻不等於「有被引用」。引用、排名與訓練行為並非此提案所承諾。值得誠實追蹤的指標是:您自己的工具、助理或管線是否讀取了該檔案、策展的連結是否仍為標準連結,以及註解是否仍與各連結頁面實際內容一致。
若您偏好的是在上線前強調審閱的工作流程,而非僅僅產生檔案,llms.txt 產生搭配編輯審閱指南會以額外的編輯流程走過同一個產生器。若您想從並列角度了解此檔案與既有爬蟲控制項的關係,llms.txt 與 robots.txt 和 sitemap.xml 的比較明確地涵蓋了這項決策。
請定期重新驗證每個被引用的頁面。這項提案規模不大、檔案很短,維護負擔屬於編輯層面——而非演算法層面。一旦策展不再誠實,請將檔案取下,而不要任其失準。