网站性能检测：怎样判断采集是否遗漏
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d33c1c4ade33.html
📄
网站性能检测：怎样判断采集是否遗漏
判断采集是否遗漏，核心不是看某一个总数，而是把“页面应该被发现的路径”和“实际被记录到的路径”做交叉比对。如果站内链接、站点地图、日志和抓取记录之间存在无法解释的缺口，就说明采集可能遗漏了部分页面或状态。下面用一个假设例子说明可执行的判断步骤。
先建立一个假设场景
假设你有一个内容站，站内共有 1200 个可访问页面，其中 300 个是通过列表页和分页链接到达的。你提交了站点地图，也在服务器日志中看到抓取活动。此时不能直接说“日志里有记录就没有遗漏”，因为日志只能证明某些 URL 被请求过，不能证明所有应被发现的 URL 都进入了采集范围。
常见错误是只对比站点地图数量和索引数量。站点地图里写了 1200 条，索引报告显示 900 条，就认定遗漏 300 条。这个结论不成立，因为索引数量受页面质量、重复内容、抓取预算和状态码影响，不等于采集遗漏。采集遗漏更接近“抓取发现阶段是否触达”，索引则是后续处理结果，两者要分开看。
用三条证据链判断是否遗漏
第一条证据链是站内可达性。从首页出发，沿着导航、列表页、分页、相关推荐和正文链接，检查目标页面是否能在有限点击深度内到达。如果某个页面只能通过站点地图知道，站内没有任何链接指向它，那么它被采集遗漏的风险较高。判断条件是：页面可访问、返回正常状态码，但站内没有入口。
第二条证据链是服务器日志。筛选目标时间段内所有返回 200 的请求，按 URL 去重，再与站点地图和站内链接清单比对。如果某批 URL 从未出现在日志中，同时站内也没有链接指向它们，就应标记为疑似遗漏。注意，日志中没有记录也可能是抓取尚未发生、被 robots 规则限制、服务器返回异常或日志被截断，不能只凭一项就下结论。
第三条证据链是抓取诊断记录。对疑似遗漏的 URL 做单页抓取测试，观察返回状态、重定向链、规范标签和 robots 元信息。如果单页抓取正常，但站内始终没有入口，问题更可能在发现路径；如果单页抓取也失败，问题更可能在访问控制或服务器响应。
一个可执行的比对步骤
- 导出站点地图中的所有 URL，作为“声明清单”。
- 用站内爬虫或手工点击，记录从首页可达的 URL，作为“发现清单”。
- 导出服务器日志中目标时间段的 200 状态 URL，作为“抓取清单”。
- 把三份清单做差集：声明清单有、发现清单没有的，重点检查内链；发现清单有、抓取清单没有的，重点检查抓取频率和访问限制。
- 对差集中的每个 URL，单独做一次抓取测试，记录状态码、重定向和规范设置。
判断结果时，如果差集 URL 数量很少，且集中在深层分页或筛选参数页，通常属于发现路径不足；如果差集 URL 返回 404、301 链过长或 robots 禁止，则属于访问控制或状态问题，不应直接归为采集遗漏。
容易误判的几种情况
- 把“未索引”当成“未采集”。未索引可能已经抓取，只是未被展示。
- 把“日志中没有”当成“从未发现”。日志轮转、采样或过滤都会造成缺失。
- 把“站点地图提交”当成“一定被抓取”。站点地图是发现线索，不是抓取保证。
- 把“参数页大量存在”当成“必须全部采集”。重复或低价值参数页可能被主动忽略，这属于策略选择，不一定是遗漏。
下一步，你可以先选一个内容板块，导出它的站点地图 URL、站内链接和日志记录，做一次三清单差集。差集里如果出现“可访问、无内链、无日志”的 URL，就优先补内链并重新观察抓取记录；如果出现“有内链、有日志、但状态异常”的 URL，就先修状态码和重定向。这样判断采集是否遗漏，才有可核对的依据。
