试点最怕的不是结果不理想,是结果出来以后,双方对「算不算成功」没有共识。业务说「还是得自己再核一遍」,实施说「结论都给出来了」,谁都没错,只是尺子没提前定。
办法很朴素:把验收维度先写下来,阈值在开跑之前定。
一、五项,不多不少
实施方案里给的验收维度是五项:
- 关键问题漏检:该被挑出来的问题有没有被放过。
- 误报:正常情形有没有被频繁拦下,反而增加复核负担。
- 输出可用性:结果能不能直接接着往下办,依据写没写清楚。
- 完整工作量:从拿到输入到交付结果,整段流程实际有多少手工动作。
- 实际使用:日常有没有人真的在用,而不是只在验收演示时用。
前两项看判断质量,第三项看结果形态,第四项看整段流程,第五项看落地。五项合起来,才回答得了「这段活值不值得交出去」。只盯其中一项,结论通常会偏。
阈值由企业按业务风险在试点前定。不同场景的容忍度差很多:报销初审里漏检一笔违规单,和对账整理里多标一条差异,代价完全不一样。这个判断该由业务负责人做,不该由工具方替他定。
二、为什么不建议先承诺准确率或节省比例
「能省多少人力」「准确率多少」是最好听、也最容易失真的两个数字。
原因有三:
- 样本还没定,分母就不存在,谈比例没有意义;
- 每家企业的规则复杂度、例外比例、资料质量都不同,别家经验不能直接搬;
- 一旦先写进合同,试点就会变成「凑数字」,而不是找问题。
所以站点的做法是不预设准确率、不预设节省比例,用固定脱敏样本、同一把尺子量,跑完再判断。这也是为什么五项里放的是「完整工作量」和「实际使用」,而不是一个笼统的效率提升。
三、样本怎么准备,验收就怎么跑
五项都依赖同一组样本,样本质量基本决定了验收的可信度。准备时把握四条:
- 有代表性:覆盖日常最常见的输入形态,别只挑最好跑的那批。
- 含例外:留一部分规则边界上的单据,看漏检和误报会不会集中在这里。
- 可脱敏:客户信息、账号、金额能脱敏的先脱敏,权限范围写进资料清单。
- 固定不变:试点前后用同一组,中途换样本等于换尺子。
试运行阶段记录漏检、误报与复核成本,问题记录随结果一起交付。跑完不是给一个结论,是给一份能对账的材料。
四、验收记录之外,还要拿到六类材料
「验收通过」只是其中一环。实施方案列明六类交付材料:需求确认表;资料与权限清单;可运行的智能体配置或工作流程;测试样本、结果与问题记录;操作手册、培训材料与验收记录;维护范围、责任人与变更规则。
第六类尤其关键:规则会变、制度会更新、人员会调岗。维护范围与变更规则写清楚,试点成果才不会在三个月后失效。
五、跑完之后的三种决定
用五项结果对账后,通常只有三种走向:
- 复制:输出可用、有人持续使用,把方法搬到下一个场景;
- 调整:漏检或误报集中在某类规则,先补规则与样本再跑一轮;
- 停止:输入本身不稳定、规则一直在变,先补前置条件,别硬推。
三种都是正常结论。试点的作用是用小代价把「能不能」问清楚,不是必须证明能。
常见问题
Q:阈值定多少合适? A:没有通用值。按业务风险由企业自己定,比如哪类问题绝对不能漏、误报多到什么程度会拖垮复核,这些都要在试点前写进方案。
Q:谁来签验收? A:公司指定一位业务负责人确认规则、写参考答案并签验收,再配一位账号管理员。不需要 IT 团队才能开始。
Q:验收完没人用怎么办? A:「实际使用」本来就是五项之一。把它放进验收,就是为了在复制之前先发现这件事,而不是等扩容之后才发现。陪跑复盘会看使用情况和规则更新。