降级策略
降级目标
降级(fallback)发生在 AI 无法以合理置信度给出确定答案的场景。系统的核心原则是:降级不是失败,而是必须被客户感知、被系统记录、被运营回流的明确状态。AI 不能把降级伪装成确定答案,例如把「不知道订单状态」说成「请耐心等待」,那样既骗了客户也骗了 KPI。
降级处理的三条底线:
- 客户必须知道当前是什么状态、下一步可以做什么
- 系统必须降低对应会话的
ai_resolved置信度 - 每一次降级都要记录原因,作为知识库、Prompt、工具调用的改进信号
四类降级场景
| 场景 | 触发条件 | 默认动作 | 客户感知 |
|---|---|---|---|
| 知识无命中 | RAG 检索 top-k 相似度均 < 阈值,或返回结果与问题不相关 | 承认未查到,给可选路径 | 显式提示"暂无明确规则" |
| 工具调用失败 | 订单查询超时、订单号无效、工单创建异常 | 不猜测结果,请客户补充信息或转人工 | 显式提示"系统暂时无法核对" |
| LLM 输出低置信 | 模型自评不确定 / 输出格式异常 / 涉及禁止承诺清单 | 回复要短,建议人工或店铺电话 | 看到简短回复 + 引导链路 |
| 重复追问 | 同一意图在 3 轮内出现 ≥ 2 次,或语义相似度 > 0.85 | 触发转人工规则 #5 | 看到"我帮您转老板" |
四类场景对应不同的失败根因,因此处理动作和运营回流也不同,不能一概而论。
处理动作矩阵
知识无命中
[AI] 这个问题我没有查到明确规则,可以请您说得更具体一点吗?
例如您是想了解营业时间、配送范围、还是退款流程?
如果方便,也可以拨打店铺电话 021-1234-5678。
- 不要编造"按平台规则一般是 X"这种伪权威回答
- 如果客户问的是售后或食品安全,直接转人工,不要让客户在 fallback 里多绕一圈
- 同一意图连续两次无命中要降级到转人工
工具调用失败
[AI] 我这边暂时无法核对订单状态,可能是订单号不完整或系统延迟。
方便麻烦您再发一次完整订单号吗?格式像 MT-20260503-001。
或者我直接帮您转老板核实,可以吗?
- 不要给"骑手正在加急"等臆造说明
- 工具失败的回退路径是补全参数 → 转人工,不是模型猜结果
- 工具失败应记录
purpose='tool_fail'到llm_usage_logs,不是仅前端 toast
LLM 输出低置信
[AI] 这个问题不太确定,建议直接联系老板:021-1234-5678,
现在 16:00 - 次日 02:00 都能接到。
- 这种回复不要超过两段
- 不要在低置信状态下追加"也许""可能""一般来说"
messages写入时把intent='unknown',质检环节会重点抽样
重复追问
重复追问是最容易被误判的场景。系统不能在客户第 3 次问同一问题时还重复同一回答,也不能直接抛"我无法回答"。正确动作是:
- 检测到重复(
intent_category命中且语义相似度 > 0.85) - 立即触发转人工规则 #5
- 在转人工原因里写入"客户连续追问 3 次未获满意答复"
- 把前面 AI 的所有回复 + 客户问句作为上下文摘要传递给商家后台
客户感知话术对比
| 场景 | 反例(伪装确定) | 正例(明确降级) |
|---|---|---|
| 知识无命中 | 一般营业到晚上十点 | 这个问题没有查到明确规则,您方便说得更具体吗?或者拨打 021-1234-5678 |
| 订单查询失败 | 骑手已经在路上了,请耐心等待 | 暂时无法核对订单状态,请补全订单号或者我帮您转老板 |
| 退款金额咨询 | 一般可以全额退款 | 退款金额需要老板确认,我帮您建工单转老板,半小时内会有回复 |
反例的共同问题是「用模糊话术替代不确定」,让客户以为得到了答案,结果客户在收到错误信息后情绪升级。正例的共同特征是「承认不确定 + 给出明确下一步」。
运营闭环
降级不是终点,而是改进入口。系统每天聚合下列指标:
| 指标 | 触发动作 | 责任人 |
|---|---|---|
| 知识无命中 top10 query | 30 天连续上榜需补 KB 条目或同义词 | 商家或运营 |
| 工具失败率 > 5% | 立即排查订单接口或入参解析 | 技术 |
| LLM 低置信率 > 20% | Prompt 迭代 / 知识库梳理 | 产品 + 运营 |
| 重复追问后转人工占比 > 15% | 复盘 Prompt 与转人工规则边界 | 产品 |
每周由商家后台「自动洞察」模块生成降级分析报告,进入 chat_metrics_daily.insight_text。降级数据是知识库新增、Prompt 迭代、工单分类调整的核心输入源。
与其他模块的关系
降级与转人工规则(参见 04-handoff/01-rules)、知识库生命周期(参见 03-knowledge/02-lifecycle)、Prompt 迭代日志(参见 05-prompt/02-iteration-log)共享同一组失败样本。fallback 是问题的发现机制,转人工是问题的兜底处理,知识库和 Prompt 是长期改进路径。三者闭环才能让"AI 解决不了的问题"持续减少。