在 llms.txt 檔案產生方面,三種實務做法佔主導地位:全網域爬蟲會自動彙整提案內容、從零手動撰寫 Markdown,以及不掃描網站、僅依照已記錄結構運作的本機生成器。第一種仰賴第三方服務或代管工具來抓取你的頁面、移除導覽元素,並依提案順序產出檔案。第二種將完整的編輯責任交給作者,並回報仔細閱讀 llms.txt 檔案範例的成果。第三種接受一組少量的表單輸入、序列化具確定性的 Markdown,並讓你在發布前驗證草稿。這三種做法以不同方式回答同一個問題,而正確的選擇取決於你想對哪些 URL 出現擁有掌控程度、你是否願意將網站資料傳送給遠端服務,以及你對檔案必須嚴格符合已記錄順序的需求程度。

產生 llms.txt 的三種主要做法
以爬蟲為基礎的產生器承諾透過完全移除撰寫步驟來提供便利。它們會造訪你的網站、從內部連結推斷規範頁面,並大致依照提案建議的順序產出 Markdown 檔案。其權衡在於:它們無法判斷你真正想推薦哪些頁面、可能會納入預備環境或重複的 URL,而且必須將網域傳送給遠端服務。手動撰寫的方式會閱讀既有的 llms.txt 檔案範例並親手重現該結構。這是最具掌控性的選項,卻也是最慢的,並且容易出現排序錯誤,例如重複的 H1、會破壞 Markdown 的註記,或 URL 中混入了不相關的通訊協定。本機產生器(包括 llms.txt 產生器)則介於兩者之間:它負責處理順序與 URL 的整潔,而由你決定哪些資源屬於規範性內容。
llms.txt 檔案範例如何對應到各種做法
llms.txt 檔案範例一定會在最前面包含一個 H1,接著是選擇性的區塊引言摘要、選擇性的非標題細節,以及零個或多個由 Markdown 列表項目組成的 H2 區段。每個列表項目都是一個連結,後面可選擇性地加上冒號與簡短註解。標題為 Optional 的區段會收容次要素材,可在需要較短脈絡時予以跳過。這個結構是具確定性的,因此只要遵循提案,每種做法都會產出相同的輪廓。差異在於:由誰決定哪些區段存在、哪些連結屬於各區段之內,以及 Optional 標籤是自動套用還是由編輯決定。
| 檔案元素 | 以爬蟲為基礎的做法 | 手動做法 | 本機產生器做法 |
|---|---|---|---|
| H1 網站名稱 | 由網站標題衍生 | 由作者輸入 | 在單一欄位中輸入 |
| 區塊引言摘要 | 自動產生或省略 | 由作者自由撰寫 | 選擇性欄位,經標準化處理 |
| 非標題細節 | 經常被略過 | 由作者自由撰寫 | H2 之前的選擇性欄位 |
| H2 連結區段 | 由爬取到的分類架構推斷 | 由作者手動撰寫 | 在明確標題下加入 |
| Optional 區段 | 有時會自動標記 | 由編輯決定 | 由編輯決定,定義明確的慣例 |
| URL 整潔度 | 取決於爬蟲的篩選器 | 取決於作者的細心程度 | 拒絕不安全的通訊協定,回報重複項目 |
對正在比較各種做法的讀者而言,實務上的問題在於該工具是否尊重你的編輯決策。爬蟲可能會從流量或反向連結推斷重要性;本機產生器則僅接受你提交的內容,且不會自行將某項資源標記為 optional。正在權衡 llms.txt 範例產生器是否會爬取網站的讀者,應將任何需要輸入網域的工具視為以爬蟲為基礎,除非它明確聲明並非如此。
使用 llms.txt 產生器在本機產生 llms.txt
本機產生器的做法會將一個必要的 H1、選擇性的區塊引言摘要、選擇性的非標題細節,以及排序過的 H2 連結區段,序列化為一份具確定性的 Markdown 檔案。它不會進行任何爬取、不會將資料傳送給外部服務,並且相同的輸入每次都會產生相同的輸出。請依照下列步驟產生草稿,並將結果與 llms.txt 檔案範例進行比對。
- 輸入網站名稱作為唯一的 H1,接著加入選擇性的區塊引言摘要與選擇性的非標題細節,說明網站實際包含的內容。
- 僅在明確的 H2 區段標題下加入規範且高價值的連結,並使用選擇性的冒號加註解形式,說明每個被連結資源所提供的內容。
- 產生具確定性的 Markdown、檢視 Optional 區段的慣例,並在複製或下載最終的 llms.txt 檔案前閱讀每一則註解。
- 將下載的檔案貼回驗證模式,確認必要的 H1、標題順序、連結列表語法、重複的目標,以及大小限制,再行發布。
- 在 /llms.txt 或適當的子路徑下,以純文字或相容於 Markdown 的內容類型發布經驗證的檔案,並定期確認每個連結仍會回傳預期的內容。
產生器會在序列化之前拒絕含有憑證、執行型或內嵌資料型通訊協定的內容,以及意外出現的 Markdown 分隔符號,並會回報經標準化後重複的 URL,而非默默讓項目數量倍增。由於順序由工具負責掌控,你不會意外產出重複的頂層標題或錯置的區段——這也是手動撰寫草稿中最常見的瑕疵。
依據已記錄順序驗證草稿
驗證是與產生不同的獨立模式,兩者的區別在比較各種做法時相當重要。驗證器會接受貼上的 llms.txt 草稿,並針對必要的 H1、標題順序、連結列表語法、重複的目標以及大小限制,回報具體的逐行問題與警告。它不會在背地裡重寫檔案、不會跟隨任何列出的 URL,也不會聲明被連結的資源是正確的。與以爬蟲為基礎的工具相比,驗證是在本機進行且具確定性的;與人工校對相比,它能抓出排序上的錯誤,例如 H2 出現在區塊引言摘要之前、註解前缺少冒號,或是某個列表項目的連結格式有誤。
當驗證器回傳成功時,代表該草稿符合此工具對 llmstxt.org 現行提案的已記錄解讀。這並不代表已通過更廣泛的供應商支援認證,且該提案與生態系仍可能演進。在建置仰賴精確語法的自動化流程之前,請再次確認 AnswerDotAI llms-txt 參考儲存庫中的方法論與來源連結。
在發布時不保證爬蟲會採用
發布該檔案並不會強制爬蟲或助理去請求它。llms.txt 是一項新興提案,而非 robots 指令、安全控管、sitemap 的替代品,也不是保證能夠被探索到的通訊協定。它無法授取被封鎖頁面的存取權、無法覆寫身分驗證、無法將內容從模型訓練中移除,也無法證明 AI 回答一定會引用該網站。請將發布視為提供一份經策展的 Markdown 總覽,以及一份給推論階段使用的高價值參考清單,並請先確認你自己的工具與工作流程是否真的會讀取該檔案,再將下游的變化解讀為引用成效提升的證據。
| 網站控制機制 | 其表達的內容 | 其無法達成的事 |
|---|---|---|
| llms.txt | 經策展的 Markdown 總覽,附有選擇性的區塊引言摘要與 H2 連結區段 | 取代 robots.txt、取代 sitemap.xml、強制爬蟲採用、將內容從訓練中移除 |
| robots.txt | 對參與爬取的爬蟲表達抓取偏好 | 為 URL 建立索引、保證被納入、直接控管 AI 助理 |
| sitemap.xml | 可供搜尋探索的可索引 URL 清單 | 取代編輯策展、保證排名、列出所有有用的資源 |
| 結構化資料 | 為機器描述實體與頁面內容 | 提供推論階段的閱讀清單、在搜尋中取得排名 |
每種機制都保有其各自的用途。策展的價值勝過長度:一份包含所有頁面的檔案可能會重蹈大型 sitemap 過載的覆轍,並浪費消費端的脈絡。請優先納入規範性文件、產品說明、政策以及穩定的歷程參考頁。當網站能穩定提供 Markdown 版本時,請連結到這些版本,但不要憑空捏造會回傳錯誤的 .md URL。下載後,請將該檔案視為內容而非機械式的 SEO 產出來檢視,確認標題與摘要與網站相符、每個連結都是規範連結、註解皆有事實依據、選擇性資源確實屬於次要內容,且未出現任何私人或預備環境的 URL。對於想從零組建相同檔案的讀者,逐步式的檔案建立工作流程涵蓋了本機產生器留給你處理的編輯決策。
在爬蟲、手動與本機產生之間做選擇
選擇很少是絕對的。許多團隊會先以爬蟲產生一組候選清單,等釐清哪些區段重要、哪些連結應放在 Optional 之下後,再切換到本機產生器。也有團隊偏好完全手動的草稿,並在發布前進行驗證。當你已有一份經策展的規範資源清單、無法將網站資料傳送給遠端服務,且需要檔案嚴格符合已記錄順序而不依賴第三方爬蟲時,本機產生器做法特別合適。驗證器則在所有工作流程中都相當實用,因為它能抓出無論是手動作者或過於積極的爬蟲都可能引入的結構性錯誤。