核心做法是把“人工判断项”从自动评分里拆出来,单独设置成不可由分数覆盖的阻断条件:自动评分只负责可量化、可重复的检查,凡是涉及意图匹配、内容质量、页面体验等需要人看的部分,改为人工结论优先,评分再高也不能自动放行。这样做的代价是流程变慢、需要专人,但能避免个别样本成立、规模化后例外频发的问题。
自动评分擅长处理结构稳定、判定标准唯一的项目,比如标题标签是否存在、页面能否正常访问、结构化数据格式是否完整。这类项目即使误判,影响也有限,适合让软件直接给结论。
需要人工判断的项目通常有三个特征:判定依赖语境、结论存在多种合理解释、错误代价不对称。例如一段内容是否真正回答了搜索意图,软件只能看关键词覆盖和篇幅,无法判断论述是否切题;一个页面体验是否合格,软件能测加载时间,却难以判断内容与广告的比例是否合理。把这些项目交给自动评分,最危险的不是分数不准,而是分数看起来合理,掩盖了实际例外。
当页面类型集中、更新频率低、团队对业务判断标准一致时,可以保留自动评分作为初筛,但必须配合固定抽检。选择依据是:例外出现的概率低,且一旦漏判,损失可以在后续环节补救。
实施动作可以这样设计:软件对所有页面打分并排序,人工只复核两类页面——分数处于临界区间的,以及分数异常高或异常低的。抽检比例按页面类型分别设定,不搞统一比例。这个动作的结果会直接影响下一步:如果连续若干轮抽检中,临界区间没有出现人工否决的案例,可以维持现有阈值;一旦出现评分与人工结论相反的情况,就要把该检查项从评分体系中移出,改为强制人工确认,而不是继续调高权重。
需要说明的是,抽检通过率上升并不能单独证明评分可靠。它还可能来自样本本身变简单、人工复核标准放松,或者页面类型集中到了软件擅长的范围。要区分这些原因,可以保留一小批已知需要人工否决的对照样本,定期混入抽检,观察软件是否仍会把它们判为合格。
当站点覆盖多种意图、内容由不同人产出、更新节奏快时,自动评分的边际误判会迅速累积。此时不应再依赖抽检,而要把人工判断做成流程中的阻断点:某些项目未经过人工确认,页面就不能进入下一阶段,评分高低不影响这个规则。
选择依据是错误代价不对称。一个被误判为合格的页面如果直接上线,可能长期占用抓取资源、影响用户判断,事后修正的成本远高于上线前多花几分钟确认。具体动作包括:在评分报告之外单独列一张人工确认清单,清单项目只增不减,除非有明确证据说明该项目已能稳定自动判定;每个项目记录确认人、确认时间和判断理由,理由要写具体结论,不能只写“已看”。
这个动作的结果是流程变长,但换来的是例外可追溯。下一步可以根据确认记录反推:哪些项目反复需要人工介入,说明软件在这类项目上不可靠;哪些项目长期没有出现人工否决,才可以考虑降级为自动检查。降级要一次只动一个项目,并保留回退路径。
假设某站点有一批产品对比页,软件评分显示标题、描述、内链、加载速度全部合格,总分靠前。人工复核时发现,其中部分页面把两个并不直接竞争的产品放在一起对比,搜索意图判断错误。软件无法识别这种语义偏差,因为它在结构层面确实完整。
如果按分数放行,这些页面会进入索引,后续再靠数据分析发现问题,已经浪费了一轮抓取和用户点击。如果设置人工阻断点,这类页面在发布前就会被拦下。两者的差别不在软件好坏,而在于是否承认某些判断无法被评分替代。
防止自动评分替代人工判断,不等于放弃评分。更实际的做法是让两者分工:评分负责发现异常和排序,人工负责对特定项目给出最终结论,并把结论反馈回规则。反馈方式可以是给每个检查项标注判定来源,区分“软件判定”和“人工判定”,在报告里分开呈现。
这样处理之后,读者能看清一个页面的分数由哪些部分构成,哪些部分其实没有经过人工确认。下一步的决策依据也更清楚:如果一个人工判定项目长期没有进入评分体系,就不应把它当作已解决的问题;如果某个项目被移出评分、改为人工确认,就要接受整体处理速度下降这个结果,而不是用分数把它重新包装成自动通过。