当页面从几十个增长到几百上千个,最先出问题的通常不是策略,而是那些仍靠人工逐条执行的动作。手工做模板修改、内链铺设和批量检查,在规模小的时候可控,规模一大就会变成瓶颈:执行慢、遗漏多、结果无法复现。判断一项工作该保留手工、改成半自动还是彻底退出人工,关键看三个条件——重复频率、单次判断难度、出错后的影响范围。三者同时偏高时,继续手工就不是勤勉,而是风险。
手工执行的价值在于处理例外,而不是处理规律。规模扩大后,可以把现有工作按“是否每次判断都一样”来分类。
一个可操作的做法是:随机抽 20 个页面,记录每项工作平均耗时和出错次数。如果错误集中在“漏做”而不是“做错”,说明问题出在流程而非判断,应该优先考虑工具化或脚本化。
标题、描述、canonical、robots 指令、hreflang 这类字段,一旦页面数量超过人工能逐条核对的阈值,就应该由模板或数据源统一生成。手工改的典型后果是:改了列表页忘了详情页,改了主站忘了子目录,几个月后没人记得哪些页面被单独处理过。这里的前提是页面结构足够统一;如果站点本身栏目差异极大,强行套模板反而会制造错误,此时应先把页面归类,再对同类页面统一处理。
给每篇新文章手工加几条内链,在几十篇时可行;到几百篇时,人工很难保证链接分布均衡,容易出现所有文章都指向同一个热门页,而深层页面长期没有入口。更合理的分工是:由规则或脚本生成候选链接,人工只审核那些涉及商业转化或语义敏感的锚文本。判断依据是链接是否影响爬虫对页面重要性的理解,而不是链接数量本身。
定期检查哪些页面被抓取、哪些未索引,属于高频重复动作。手工在后台逐页翻看,既慢又容易把“暂时未收录”误判为“处理失败”。这里要区分环节:抓取、索引、排名是不同阶段,抓取量下降可能来自站点结构调整、服务器响应变化或外部链接减少,不能单独作为某项改动正确或错误的证据。规模大时,应把巡检做成固定输出,人工只负责解释异常,而不是负责发现异常。
不是所有工作都该退出人工。以下情况保留手工更合理:
这里的前提是:手工只用于处理低频、高影响或尚无稳定规律的例外。如果一项例外连续出现三个月,它就不再是例外,应该转为规则处理。
假设一个站点有 800 个产品页,团队每月手工更新一次页面底部的相关推荐。前两个月还能完成,第三个月开始出现漏改和重复推荐。可以这样处理:先抽出 50 个页面,记录手工更新耗时和错误类型;如果错误主要是漏改,就把推荐逻辑改为按分类自动生成,人工只审核分类映射是否正确。动作的结果是:人工从“逐页改”变成“审核映射表”,下一步的检查点也随之改变——不再检查每个页面,而是检查映射表是否覆盖了全部在售分类。这个例子是假设的,用于说明判断顺序,不代表任何真实项目数据。
多个角色对同一件事理解不同时,争论“该不该自动化”往往没有结果。更有效的做法是把分歧写成可核对的清单:这项工作每月执行几次、单次涉及多少页面、出错后多久能发现、由谁负责解释异常。四项都填完后,保留手工还是退出人工通常已经很清楚。需要强调的是,工具化只是把重复动作变得可复现,它不会自动改善抓取或索引;真正决定效果的仍是页面是否满足用户需求、结构是否便于搜索引擎理解。规模扩大后要放弃的不是判断,而是把判断浪费在重复动作上。