簡短回答。
llms.txt是一個放置在網站根目錄下的 Markdown 文件,列出了 AI 系統需要閱讀的最重要頁面。它是一個社區提案,並非標準,且目前幾乎沒有證據表明 AI 搜索系統實際會讀取它:一項對 137,210 個域名的研究發現,97% 的已發佈文件從未收到任何請求。它成本低廉,僅有一個實際應用場景——為編碼代理提供開發者文檔——但它並非 AI 可見性槓桿,將其視為可見性槓桿會浪費本可用於引用的寶貴時間。
很少有慣例在幾乎沒有證據的情況下引發瞭如此多的活動。其採用率在一年內增長了 8.8 倍,而實際使用量卻幾乎保持不變,這兩條曲線之間的差距正是全部真相。本文將介紹該文件是什麼、哪些系統會讀取它、為何不同平臺存在分歧,以及在什麼情況下真正值得花費時間去部署它。
什麼是llms.txt?
一個位於 yoursite.com/llms.txt 的Markdown文件,由Answer.AI的傑里米·霍華德(Jeremy Howard)於2024年9月提出,旨在引導AI系統訪問您網站的最佳內容。
其核心思想非常簡單:網頁充斥著導航欄、腳本和冗餘內容,而語言模型在受限的上下文窗口中會浪費大量token去解析這些內容。一個 llms.txt 文件則提供了一個簡潔、結構化的網站概要,並列出真正重要的頁面鏈接,以一種AI系統可以低成本高效讀取的格式呈現。
它並非以下兩項,這兩項常被誤解:
- 它不是一種阻斷工具。
llms.txt無法限制任何爬蟲,也無權阻止任何AI系統讀取您的網站。這一點應由robots.txt來實現,將兩者混淆會讓人誤以為已實現訪問控制,實則不然。 - 它不是一項標準。 它沒有得到W3C、IETF或任何公認的標準化組織的支持,也沒有任何強制執行機制。AI提供商是否採用它,完全取決於其自身意願。
有系統真的會讀取它嗎?
絕大多數情況下,答案是否定的。其採用率與實際使用率呈現出相反的趨勢。
| 度量 | 研究發現 |
|---|---|
| 採用增長 | 2025年6月的4,088個實例 → 2026年5月在300多萬個監控站點中達到36,120 — 增長8.8倍 |
| 採用率 | 10.13% 的約30萬域名分析 |
| 接收請求的文件 | 97% 的所有137,210個域名接收到零請求 |
| 該流量中來自審計工具的比例 | 約12% — GEO和AEO工具檢查站點是否具備一個 |
| 與AI引用頻率的相關性 | 未發現統計學上顯著的相關性 |
Ahrefs檢查了2026年5月所有在分析中接收流量的域名,驗證每個根路徑是否存在一個活躍的llms.txt文件,並測量了對這些路徑的所有請求。他們的總結非常直接:AI檢索機器人幾乎不會訪問這些文件,且沒有任何AI系統會主動尋找你未發佈的文件。
有兩個細節讓這一現象更加奇怪。一部分llms.txt生態涉及的工具,是用於衡量一個幾乎無人使用的約定的合規性。此外,對超過5億個AI機器人事件的獨立監控發現,僅有幾百個請求直接指向llms.txt,而主要的檢索爬蟲都跳過了它,轉而獲取HTML內容。
為什麼人們對此存在分歧?
因為平臺發送了矛盾的信號,而且一個真實的使用場景被泛化為關於搜索可見性的整體主張。
谷歌的立場最為直接。2025年7月,加里·伊利斯表示谷歌不支持llms.txt,也無計劃支持,約翰·穆勒將其比作已被廢棄的關鍵詞meta標籤。谷歌的AI優化文檔(更新於2026年6月15日)指出,您無需創建新的機器可讀文件、AI文本文件、標記或Markdown格式,即可出現在谷歌搜索結果中,包括其生成式功能,因為搜索並不使用這些內容。
穆勒還提出了一個結構上的論點,這是反對該文件作為排名信號最具說服力的論據:一個自我聲明的清單無法區分不同網站,因為每個網站都會聲稱自己是最好的。 一個你用來描述自己的信號,並不能構成一個真正的信號。
然而,谷歌在2026年5月將一個llms.txt審計添加到了Lighthouse中,歸類於一個新的代理瀏覽類別。這種矛盾引發了大量困惑——而這恰恰指出了該文件實際價值所在。
真正的應用場景是開發者工具。 AI代碼助手能夠實時檢索文檔,一個清晰的索引能節省它們的令牌使用並避免錯誤操作。在Ahrefs數據集中,檢索llms.txt次數最多的代理是一個代碼代理,這與該提案文檔優先的起源相符。包括Stripe、Cloudflare和Anthropic在內的公司都發布了此類文件,且它們都是以文檔為主的內容。
誠實的總結:llms.txt是代理可用性的基礎設施,而不是一個搜索可見性工具。雙方都在描述一個真實存在的事物,只是使用了不同的標籤。
那麼你應該發佈它嗎?
如果你擁有大量文檔,大概應該發佈;否則大概不應作為優先事項,更絕不能替代那些真正推動引用增長的內容。
如果您發佈開發者文檔、API參考或AI編程助手可能查閱的大型技術知識庫,就應提供一份llms.txt文件。收益是具體且直接的。
如果您的網站是營銷類、服務型公司或希望獲得更多AI引用的出版商,應將其降級為次要事項。 證據並不支持這種用途,該文件很可能無人閱讀。
不要發佈一個糟糕的版本。 有兩個失敗模式需要避免。生成每一頁的Markdown副本會導致大規模重複內容,這會消耗爬蟲預算並可能抑制原始頁面的排名。而一個過時的文件比沒有更糟糕,因為您發佈了一個不再匹配您網站現狀的自我描述。
測量而非假設。 通過篩選已知AI用戶代理的訪問日誌,查找對 /llms.txt 的請求,或者在文件中放置一個獨一無二的URL,該URL在其他地方均不存在,然後觀察是否有內容隨之出現。你將在幾週內獲得一個事實性的答案。
機會成本才是真正的論點。每花一小時打磨機器跳過的文檔,就意味著一小時沒有用於爬蟲配置、答案形態內容結構、原始數據以及第三方佐證——這些都有可測量的影響。這種排序正是 Lifewood的AEO和GEO工作 的起點:先訪問,再結構,再證據,將新興慣例視為廉價的日常維護,而非戰略決策。
資料與進一步閱讀
- Ahrefs,"我們分析了13.7萬個站點:97%的llms.txt文件從未被讀取" —— 零請求發現和代碼代理觀察。
- PPC Land,關於Originality.ai跟蹤研究和8.8倍採用增長的分析。
- Digital Applied,"llms.txt在實踐中的應用:採用數據、證據和設置" —— Google 2026年6月的文檔和Lighthouse審計。
- Ecorpit,"llms.txt是否有助於SEO?Google 2026年的回答"。
- Derivatex,"LLMs.txt指南:它做了什麼以及沒有做什麼"。