指标反作弊设计

为什么需要反作弊

AI 客服最容易把「有回复」误判为「已解决」。如果系统只看自动回复占比，模型会被鼓励在退款、食品安全、投诉等高风险场景继续回答，最终数字变好、体验变差。反作弊设计的目标是让指标服务真实运营，而不是服务报表。

关键规则

• 客户主动要求人工，不能计入 AI 自动解决。
• 触发退款赔付、食品安全、严重投诉、威胁差评等规则的会话，不能计入 AI 自动解决。
• 客户在 AI 回复后对同一问题连续追问两次，标记为疑似未解决。
• 人工接管后修改 AI 结论，回写为 AI 判断失败。
• LLM 质检合规性低于阈值的会话，不能进入正向样本。
• 工具调用失败但 AI 仍给出确定答案，标记为越权风险。

运营动作

每天看板展示被反作弊剔除的会话数量和原因分布。原因不是为了惩罚模型，而是帮助团队判断该补知识库、调 Prompt、改转人工规则，还是修工具调用。「重复追问」高通常说明回答不够具体；「人工纠错」高说明知识或订单工具不可信；「高风险未转」高则要优先修安全边界。

设计取舍

系统没有把 AI 解决率设计成一个容易刷高的数字，而是把客服风险写进指标定义。能自动处理的高频问题让 AI 处理，不能自动处理的问题必须及时升级。这样 72% 的解决率虽然不夸张，但比 95% 的自动回复率更可信。