直接回答:当页面数量、栏目层级和更新频率同时上升后,逐条手工改标题、手工提交新页面、手工记录内链、手工核对已收录状态,这几类工作会最先变得不可靠。判断标准不是“手工能不能做完”,而是这项工作的输入是否稳定、结果是否需要逐条判断、出错后能否被批量发现。只要答案偏向“输入不稳定、必须逐条看、出错只能靠人再扫一遍”,就应退出纯手工方式,改为规则加抽样复核。
慢和失真是两回事。手工给十篇新文章写标题描述,慢,但结果可控;手工统计全站哪些页面被收录、哪些没有,规模上去后就不只是慢,而是你拿到的样本已经不能代表全站。前者可以保留手工,后者应退出。
可以用一个假设例子来区分:假设站点从80个页面扩到1200个页面,其中600个是筛选参数页,600个是内容页。此时手工逐页查收录,一天看50页,看完一轮需要24天;等你看到第500页时,前面页面的状态可能已经变化。这个数字不是实测,只是说明比较方法:把“一轮工作量”和“状态变化周期”放在一起比。如果一轮没走完,状态已经变了,手工结果就不能作为下一步决策依据。
这里要先明确一个前提:抓取、索引、排名是不同环节。页面被抓取不等于被索引,被索引也不等于有排名。手工核对时如果混在一起看,会把“没收录”和“收录了但没排上来”当成同一件事处理,动作就会错。
新站页面少时,逐条提交、逐条查收录是合理的,因为每条都值得看。规模扩大后,这个动作的问题在于它把“发现异常”和“处理异常”混在一起。你每查一条就顺手处理一条,看起来勤奋,实际上没有留下可复用的判断规则。
更适合的做法是先定义异常类型,再抽样。例如把页面分成三类:新发布内容页、栏目聚合页、参数筛选页。对每一类分别设定检查口径,再各抽一部分核对。抽样的目的不是证明“全站都没问题”,而是判断这一类整体是否值得继续投入。
实际动作可以这样安排:先按页面类型分组,再从每组抽取固定数量页面,记录它们处于抓取、索引、有排名中的哪一档。如果某一类抽样里多数页面连索引都没进入,下一步应先查这一类页面的可访问性和内容重复问题,而不是继续扩大抽样数量。这个动作的结果直接决定下一步——是先修这一类页面,还是先扩大检查范围。若抽样结果正常,则不必回到逐条手工,按周期重复抽样即可。
手工写标题描述在内容页数量少时是优势,因为每篇都不同,人工判断更准。但规模扩大后,真正需要退出的不是“写”,而是“逐条凭感觉写”。
保留手工的前提是:页面数量有限,且每篇有独特的搜索意图,人工能逐篇判断。退出的前提是:页面由同一模板批量生成,差异只在少量字段,比如城市、型号、分类。此时逐条手写既慢,又容易写出几乎一样的标题,反而不如先定义字段规则,再对规则产出的结果做抽样检查。
内链也是同样的取舍。手工在每篇文章里加几个链接,在几十篇时可行;到上千篇时,问题不是加不完,而是没人知道哪些页面被链得太少、哪些被链得太多。这时应退出“逐篇手工加”,改为先定义链接规则,例如哪些类型的页面必须从哪些类型的页面获得链接,再用抽样检查规则是否被执行。手工保留的部分,只应是规则覆盖不到的例外页面。
很多团队用手工表格记录每次改动和结果。规模小时,这张表能帮你回忆做过什么;规模大后,它只能告诉你“某页改过”,不能告诉你“哪一类页面值得继续改”。
区别在于记录单位。逐页记录的单位是页面,适合处理个别样本;分组记录的单位是页面类型,适合规模化决策。当你发现某一类页面整体表现没有变化时,继续逐页改这一类页面就不是优化,而是消耗。此时应退出手工逐页记录,改为按类型记录,并保留少量逐页记录作为例外说明。
需要说明的是,某项请求量、抓取量或收录数量出现下降,不能单独证明你的处理正确或错误。它还可能来自服务器波动、站点结构调整、外部链接变化,或统计口径本身改变。所以手工记录退出的前提,是你能把记录单位从页面换成页面类型,而不是因为某个数字归零就断定问题已解决。
不是所有手工工作都要退出。以下情况可以保留手工,但必须限定范围:
对应的退出条件是:同类页面已经批量出现,且判断标准可以写成规则。此时继续手工,只会让处理速度跟不上页面增长速度。更稳妥的节奏是,先退出最不可靠的那一类工作,比如逐条核对收录;再退出重复度最高的那一类,比如模板化标题描述;最后才考虑是否退出需要判断的那一类。每退出一类,都要保留抽样复核,否则你只是把手工错误换成了规则错误。
规模扩大后,真正需要放弃的不是“人工”,而是把人工用在无法规模化判断的环节上。先找出那些一轮检查都跑不完、结果还会变化的工作,把它们改成规则加抽样,再根据抽样结果决定下一步修哪一类页面,这比继续逐条手工更接近可执行的优化路径。