网站页面不被收录：一份可验证的 SEO 排查清单

先判断“没收录”是哪一种

搜索结果里找不到页面，并不等于服务器拒绝了爬虫。页面可能尚未发现、已经抓取但暂未编入索引，也可能因为 noindex、重复内容或质量判断被排除。先在 Google Search Console 的网址检查中输入完整 URL，查看“索引编制”详情；百度站长平台也应把提交记录与服务器日志放在一起看。不要用“搜索结果数量”或第三方工具的估算值替代 URL 级检查。

如果页面是新发布的，先确认它从首页、专题页或相关文章模块可点击到达。站内内容可以从 SEO 专题页 进入；例如技术架构问题可继续阅读 SEO 基础架构全指南，URL 规则可对照 URL 结构优化指南。这些链接既方便用户，也让爬虫能沿着稳定路径发现页面。

第一层：确认页面对爬虫可达

在服务器或本地执行一个不改变内容的请求：

curl -I -L --max-time 15 https://blog.zenleak.cn/post/288/

检查最终响应是否为 200，重定向是否收敛到 HTTPS 的规范地址。401、403、持续 5xx 或重定向循环，都应先修复。再分别查看站点的 robots.txt、站点地图和页面源代码：

curl -sS https://blog.zenleak.cn/robots.txt
curl -sS https://blog.zenleak.cn/sitemap.xml
curl -sS https://blog.zenleak.cn/post/288/ | grep -iE 'robots|canonical'

robots.txt 控制抓取路径，不是保证收录的开关。若页面需要出现在搜索结果中，检查响应头与 HTML 中是否残留 noindex，任一位置的禁止索引指令都需要核对。爬虫被 robots.txt 拦住后，可能看不到页面上的 noindex；不要把两种机制混用来控制收录。真正的私有页面应通过登录或权限控制保护，而不是把公开页面藏在 robots 规则后面。

第二层：检查规范 URL 与重复版本

一个内容只保留一个可索引主地址。文章页应有指向自身的绝对 canonical，并让 HTTP、HTTPS、带参数和旧 slug 版本通过重定向或规范标记汇聚到它。canonical 是给搜索引擎的提示，不会替代错误状态码修复，也不保证一定被采用。

排查时记录四个版本：页面实际地址、页面中的 canonical、站点地图中的地址、站内链接指向的地址。四者不一致时，先统一模板，再重新提交主地址。已经合并的文章应返回稳定的 301，并从站点地图和相关文章中移除，避免把抓取资源分散到旧 URL。

第三层：区分“抓取”与“索引”

Google 页面索引报告说明区分了“已发现，尚未编入索引”和“已抓取，尚未编入索引”。前者表示 Google 发现了 URL 但尚未抓取，后者表示已经抓取但没有编入索引。后者并不直接证明页面受到处罚；应检查内容是否与已有页面重复、主体是否清楚、是否只是导航或薄内容。不要为了改变状态反复改标题或堆关键词；先补充页面独有的答案、适用条件、示例和更新时间，再通过可靠的内部链接让它进入主题结构。

日志比猜测更有用。按日期统计 Googlebot、Baiduspider 等访问的状态码和 URL，确认它们拿到的是完整 HTML，而不是需要执行大量客户端脚本后才出现的空壳。对重要文章提供服务端已经渲染的标题、摘要、正文和链接；图片则使用有意义的 alt 文本。

第四层：检查内容与页面体验

每篇文章只设一个清晰的 H1，标题准确描述问题，摘要回答读者为什么值得继续阅读。删掉无来源的比例、虚构案例和无法运行的代码；如果是经验判断，明确标注测试环境、日期和限制。文章越长并不自动越有价值；对检查命令的结果给出解释，比堆砌没有依据的“收录阈值”更有帮助。

页面体验检查应关注移动布局、可读字号、稳定的图片尺寸和主要内容的加载时间。可用 Lighthouse 或 PageSpeed Insights 复测，并把结果和代码、网络、设备条件一起记录。不要把某个分数当作收录阈值；先保证内容可访问、可阅读、可操作。

第五层：提交与复核

修复后只提交规范 URL：Google 可在网址检查中请求重新抓取，百度使用站点主动推送接口，Bing 可使用 IndexNow 告知新增或更新地址。主动提交是发现提示，不是收录保证；相同 URL 在没有实质更新时不需要重复提交。本站的百度队列优先最新发布的文章，并记录成功和失败；具体额度以站长平台和接口返回为准。

建立一个小表格记录：URL、首次发现日期、最后抓取日期、当前 canonical、阻断原因、修复日期和下一次复核日期。建议每周复核一次，这是维护安排，并非承诺一周内收录。若状态没有变化，回到 URL 检查和日志，确认搜索引擎是否已经看到了修改后的版本。这样才能区分技术故障、发现延迟和内容价值问题。