簡短回答。 決定 AI 搜索可見性的技術工作,與決定普通搜索可見性的工作是相同的:可被爬取的 URL、服務 HTML 中存在主內容、正確的狀態碼、一致的規範鏈接、真實的內部鏈接、與現實相符的站點地圖,以及無需瀏覽器即可正常渲染的頁面。生成式功能建立在與排序搜索相同的爬取和索引系統之上,因此一個無法被完整獲取和解析的頁面,對兩種搜索方式都是不可用的。任何答案優先的重寫都無法修復一個引擎從未完整接收到的頁面——而這在瀏覽器中是看不見的,因為在瀏覽器中一切看起來都正常。
通常是由內容團隊被問及為何某個頁面未被引用,而答案往往超出了他們的控制範圍。這份清單將內容問題與交付問題區分開來,按每個項目實際成為原因的頻率排序。
為什麼爬取能力要排在一切之前?
因為檢索是一個具有硬邊界的過濾器。一個被阻斷、孤立、未索引、返回錯誤狀態碼或被隱藏在抓取器無法跟隨的渲染路徑之後的頁面,永遠不會進入候選池。對於這樣的頁面,下游的一切——證據密度、段落結構、模式——都毫無影響。
檢查的順序很重要,因為早期步驟的失敗會使後續診斷失去意義:
robots.txt—— 對每一個重要代理而言,路徑是否被允許,而不僅僅是對通配符的允許?- Robots meta 和
X-Rob-than-Tag—— 該頁面是否意外地設置了noindex?將預發佈指令部署到生產環境是常見原因。 - 狀態碼 —— 內容返回200,跳轉使用單跳301,且不出現軟404錯誤返回200並顯示錯誤頁面的情況。
- 規範鏈接 —— 頁面的規範鏈接必須是自指的,並且與站點地圖和內部鏈接所指向的內容一致。
- 可發現性 —— 該頁面是否從另一個可爬取的頁面中被鏈接,還是隻能通過搜索框或JavaScript過濾器訪問?
只有當所有五個檢查都通過後,才值得運行內容診斷。
JavaScript網站應該驗證什麼?
這是導致優質頁面不可見的最常見原因,而且最難發現,因為檢查的人是在一個執行JavaScript的瀏覽器中進行檢查的。
測試。 以禁用JavaScript的方式加載頁面,或者獲取原始HTML並閱讀它。剩下的內容大致相當於一個不執行JavaScript的抓取器所接收到的內容。
在原始HTML中應關注的內容:
- 完整的主要內容。 不是外殼,不是加載狀態,也不是佔位符。
- 使用帶有
href屬性的真實鏈接元素。僅靠點擊事件實現的導航對抓取程序不可見;將權威性傳遞到深層頁面的鏈接關係必須存在於HTML標記中。 - 標題、規範和元指令。 這些內容在運行時被注入,可能會缺失或錯誤。
- 真正是數字的數字。 從零開始動畫遞增的計數器在服務的HTML中會顯示為
0。一個爬蟲讀到‘0+種語言’,就是在讀取關於你們公司的事實陳述。 - 選項卡和摺疊面板中的內容。 可以接受的是摺疊狀態;有條件渲染則不行。一個僅在打開時才加載面板內容的組件,對爬蟲而言只提供部分答案,而對人類用戶則提供全部答案。
當內容的呈現是查看內容的前提時,服務器端渲染或預渲染是解決方案。這並不能保證內容的可見性——相關性、證據和競爭關係仍然決定最終結果——但它消除了無法通過任何內容工作來彌補的一類失敗。
為AI代理服務的頁面,是否與你看到的頁面一致?
一個頁面可能通過了所有上述針對瀏覽器的檢查,但仍可能在特定用戶代理下被截斷。速率限制器、機器人管理規則和CDN默認設置常常會返回一個較短的頁面、挑戰頁面或403錯誤,針對它們無法識別的代理——而這些都無法從網站內部檢測到。
驗證是一個字節計數的比較:
交付檢查 = 向智能體X返回的字節數 ÷ 向瀏覽器請求返回的字節數
針對相關用戶代理和若干重要URL分別運行該測試。如果結果顯著低於1.0,則屬於交付缺陷,而非內容缺陷。還有兩點值得了解:
- 訓練爬蟲和檢索爬及是執行不同任務的不同機器人,而常見的默認設置會通過一個開關阻止它們。阻止檢索抓取器將導致引用無法實現。
- 你未配置的管理型機器人規則,依然是你的規則。 平臺和CDN的默認設置會變化,且這種變化無需你在側部署即可生效,因此該檢查應安排在週期性任務中,而非發佈清單中。
內部鏈接如何支持AI搜索發現?
內部鏈接承擔兩項任務:它們使深層頁面可被訪問,且其錨文本描述了目標頁面的內容。
| 模式 | 影響 |
|---|---|
| 主幹頁面鏈接到聚焦頁面,每個聚焦頁面又回鏈到主幹頁面 | 主題結構存在於網站中,而不僅存在於編輯計劃中 |
| 錨文本明確指出目標頁面所回答的問題 | 鏈接描述了目標頁面的用途 |
| 僅可通過搜索或過濾列表訪問的頁面 | 對於不執行過濾的任何內容,這些頁面實際上已變成孤兒頁面 |
| 客戶端生成的鏈接 | 未出現在服務端HTML中 |
| 距離入口點超過三次點擊的深層頁面 | 被爬取較少,刷新較少 |
僅以內容日曆形式存在的集群並非真正的集群。如果頁面在標記語言中沒有相互鏈接,這種關係對除規劃者之外的所有人都是不可見的。
頁面加載速度和核心網頁指標在這裡重要嗎?
它們對用戶和普通搜索質量很重要,但並非引用切換因素。沒有證據表明頁面加載更快就更可能被引用,將性能優化視為AEO工作會錯誤分配努力。
真正重要的版本是:性能問題和可見性問題有共同原因。大量客戶端渲染會減慢頁面 和 使內容從服務端HTML中消失。延遲注入答案的佈局會同時損害兩者。單獨優化圖片、腳本和字體是值得做的,而為了達到評分而刪除有用內容的做法是不可取的。
與性能直接相關且具有直接影響的一項是 爬取效率:一個在抓取器速率下超時的站點,將獲得更少的自身抓取。
技術型AI搜索審計應包含哪些內容?
應作為一個整體集合運行,基於模板而非單個頁面,因為一個模板缺陷會影響所有由此模板構建的頁面:
- 索引覆蓋範圍及被排除的原因
- 每個頁面模板的已服務HTML完整性
- 在相關用戶代理之間字節數一致
- 頁面、站點地圖和內部鏈接之間的規範一致性
- 重定向鏈簡化為單跳
- 狀態碼,包括軟404錯誤
- 內部鏈接深度及孤兒頁面檢測
- 站點地圖準確性——僅包含真實基準、可索引的URL,且包含真實的
lastmod值 - 結構化數據與可見頁面內容一致且不與其矛盾
- 標題和描述在服務的HTML中存在
- 發佈和修改日期反映實際變更
在重寫文章之前,先修復模板層面的缺陷。 一個損壞的模板修復成本低於四十篇重寫頁面,且往往是導致此類問題的根本原因。
Lifewood的應對方式
Lifewood將交付視為內容發佈前的關口,無論是在客戶站點還是其自有平臺。流程是固定的:實體解析,然後是機器可讀性,最後才是發佈。頁面以實際服務狀態進行檢查,而非渲染狀態——即禁用JavaScript時檢查,按不同代理的字節計數進行對比,確認標籤和摺疊內容均存在於標記語言中——因為這種失敗會無聲地使所有下游內容決策失效。
訂單不可協商的原因在於測量。將內容發佈到交付缺陷中不會產生任何變化,也無法判斷內容本身是否存在問題。應先建立基準,修復交付,再發布,最後重新測量——否則結果無法歸因。
資料與進一步閱讀
- Google 搜索中心,《優化網站以適配生成式 AI 特性》、《JavaScript SEO 基礎》和《搜索核心要點》——官方立場指出,生成式功能依賴於核心搜索技術要求。
- Google 搜索中心,《通用結構化數據指南》——關於標記與可見頁面的一致性。
- 配套指南:AI 爬蟲與 AI 搜索可見性(訓練型與檢索型代理)和 什麼內容能被 AI 答案引擎引用。