先把结论说清楚:不要按“已发现”和“未发现”直接分组,而要按可独立触发抓取的条件分组。域名注册建议在这里的作用不是选后缀,而是让同一批页面落在可比较的抓取入口、解析路径和发布节奏上,这样你才能判断未发现是入口问题、内容问题,还是单纯还没轮到。下面用一个假设情境把决策过程走完。
假设你为一次活动注册了独立域名,一次性上线 300 个页面:100 个是主推内容,100 个是参数筛选页,100 个是同一模板的地区页。三周后,站点地图里只出现约三分之一被处理的迹象,主推页和地区页表现差异明显。此时如果直接去改模板或加外链,你无法知道改动是否有效,因为对照组本身混了三种变量。
更稳妥的做法是先固定一个变量:页面类型。把 300 个页面按类型分成三组,再在每组内部按入链来源拆成“有站内上下文链接”和“只有站点地图”两个子组。这样你得到的不是“发现/未发现”二分,而是六个可比较的格子。下一步动作是:只给其中一个子组补上来自已发现页面的正文链接,等一个抓取周期后再看该子组是否出现处理迹象。如果只有补链的子组变化,说明入口优先级比页面本身更关键;如果两个子组都无变化,才需要回头看内容或模板。
如果 robots.txt 挡掉了参数页,那这些页面“未出现”并不等于索引有问题。robots.txt 限制抓取,不等于可靠的索引移除;反过来,解除限制也不保证马上被处理。把被限制的页面放进对照组,会让整组数据失真。划分前先确认每组是否都处于同一抓取规则下,不同规则的分开统计。
站点地图不保证收录。它提供的是可发现的线索,而不是处理承诺。所以“已提交站点地图”不能作为对照组的划分依据,只能作为组内共同前提。真正能区分组的是页面是否还有其他可到达路径,例如导航、正文链接或历史已发现页面的引用。
同一批页面通常共用同一证书和同一域名,HTTPS 不保证安全无漏洞或排名,也不该被当成组间差异。域名注册建议在这里只影响一件事:如果不同子组用了不同域名或子域,抓取预算和信任积累可能不同,那就必须把它们拆开,而不是混在一张表里比较。
这个流程的关键是:每次只动一个变量,并让对照组承担“如果不动会怎样”的参照。请求量或抓取量归零不能单独证明处理正确,它也可能是抓取预算转移、规则调整或统计口径变化造成的,需要结合日志和页面状态一起看。
如果所有页面共用同一模板、同一入链结构、同一发布时间,那么按页面类型分组没有区分度,此时应改为按发布批次分组:先发布的、后发布的分开比较。反之,如果页面差异极大,就不要强行合并,按模板或内容深度分组更合理。
还有一种反常情况:未发现的页面反而比已发现的页面内容更完整。这时不要急着认为“内容好就会被发现”,而要先检查已发现组是否占据了更强的站内入口。把入口因素剥离后,再判断内容是否真的影响处理结果。域名注册建议的落点是:让分组条件与域名、路径和发布节奏保持一致,避免把域名差异误当成内容差异。做完这一步,你才能决定是继续补入口,还是回头改页面本身。