反馈回流与人工转接
多数 AI 客服系统把"转人工"实现成了一个失败出口:机器人接不住了,把聊天记录甩给坐席,结束。
问题有两层。用户要重新描述一遍问题,因为坐席看不到上下文;更重要的是,这次失败没有被记下来,同一个问题明天还会再失败一次。
转接真正的价值不在"这件事有人接手了",而在于它标记出了知识库里缺的那一块。
1. 什么时候该转
触发条件必须是规则,不能是模型的感觉,也不能等用户说第三遍"转人工"。
1.1 硬触发(立即升级)
| 信号 | 为什么 |
|---|---|
| 连续两轮未命中知识库 | 已经试过一次,再试一次还是不行 |
| 出现投诉、法律、索赔类措辞 | 风险高,机器不该在这个场景里输出结论 |
| 涉及资金、改址、账号变更 | 有实际后果,且需要验证身份 |
| 用户明确要求人工 | 这是指令,不是信号 |
| 同一订单 24 小时内重复进线 | 上一次没解决,且用户已经不耐烦 |
| 情绪升级(负面词频、语气) | 越晚转,修复成本越高 |
1.2 软触发(建议介入,不强制打断)
给坐席一个"建议介入"的提示,而不是直接把会话抢过来。适合边界模糊的场景——系统不确定,但也没有明确失败。
软触发的意义是不把夜班坐席打满:低价值咨询不该强制转人,但坐席闲的时候可以主动接。
1.3 一个反模式
把置信度阈值调到极限、尽量不转人,看起来拦截率很高,实际是把用户困在对话里。
用户能接受"我帮您转给专员",不能接受"看起来解决了、实际没办成"。系统该做的是缩短到达正确处理者的路径,而不是独占对话。
2. 交接包里该有什么
坐席打开的不应该是一段无法溯源的聊天瀑布,而应该是一张工单。固定字段至少包括:
- 会话摘要——结构化的问题描述,不是流水账
- 客户诉求原话——保留原始表达,坐席要判断真实意图
- 已引用的知识条目——AI 是基于哪些内容回答的(见《答案要能追溯到出处》)
- 已验证的信息——订单号、身份是否已核验
- 未验证的信息——哪些是用户单方面说的
- AI 已给出但未生效的方案——避免坐席重复建议
- 建议下一步——系统判断接下来该做什么
- 风险标记——是否涉及资金、情绪、时效承诺
其中"已给出但未生效的方案"最常被漏掉。漏掉的结果就是坐席建议了机器人刚刚建议过、且用户已经明确表示不行的方案——这一次重复,用户信任成本比从一开始转人工还高。
摘要由机器先做结构化,再交给人。坐席的注意力应该用在判断上,不是用在读流水上。
3. 反馈信号从哪来
不是所有失败都会走到转人工。反馈采集要覆盖三个层次。
3.1 显式信号
点踩、星级、明确的"转人工"请求、文字里说"答非所问"。
这类信号质量最高,但量最少——大部分不满意的用户不会点任何东西,直接关掉页面。
3.2 隐式信号
- 连续追问同一问题
- 复制了 AI 的回答之后重新提问(说明答案没用)
- 回答出来后很快离开
- 换了一种说法再问一遍
这些信号噪声大,单条不可信,但聚合起来能定位到具体的问题类别。
3.3 软转人工——最有价值的原料
有一类会话特别值得单独标记:AI 给出了回答,看起来完成了,但用户随后又去问了同一个问题(可能换了个说法,可能去问了别的渠道)。
它们不会出现在转人工统计里,因为"成功"结束了。但它们才是最真实的质量缺口——系统以为自己答对了。
做法是在意图识别服务里加一个旁路输出专门标记这类会话。它们应该是审核队列的主要原料。
4. 去噪与聚合
原始反馈不能直接用。同一个问题在高峰期一分钟内可能出现几十次,全部推给审核员,谁都会放弃。
三层处理:
第一层,信号融合。 把显式请求、连续未命中、负面关键词、对话轮次超过阈值等维度组合打分,超过阈值才进队列。单维度太容易误报。
第二层,语义聚合。 按用户问题的标准化问法做聚类,相同语义的会话归到一组,每组选一条上下文最完整的作为代表样本,其余作为关联证据挂在一起。
这一步的价值不只是减负:审核员看到"这个问题影响了 47 个会话"和看到一条孤立记录,判断优先级的方式完全不同。
第三层,上下文保留。 转人工时用户可能已经聊了五六轮,只截最后一条消息审核员根本看不懂。要保留完整问题路径——从第一次提问到触发转接的所有用户消息与机器人回复,按角色交替排列。
这样才能判断机器人到底在哪一步接错了。
5. 审核工作台:把作文题变成判断题
审核环节是整个闭环里最容易做成形式主义的地方。把一堆会话记录甩给审核员让他们自己写新答案,这个流程撑不过两周——审核员不是知识工程师,不会去想"这条知识该放在哪个分类、用什么措辞"。
5.1 布局
三个区域:
- 左:用户会话时间线
- 中:机器人当时的回答和命中情况(相似度分数、引用了哪条)
- 右:系统根据会话内容自动检索出的候选知识条目
审核员要做的是:右侧已有知识改改就能回答 → 选"修改建议";没有对应知识 → 选"新建条目",系统用模型基于会话生成答案草稿,审核员做删改和补充。
关键是把劳动从"写"降维成"判断"。
5.2 自动归类
每条待审核问题按历史标签体系做一次意图分类预测,推荐到对应分类下,审核员确认或调整即可。
有了这一步,回流的新知识才能挂到正确的路径下,后续检索和维护才可能。
5.3 状态机要明确
建议的状态:待审核 → 审核中 → 待补充信息 → 已通过待回流 → 已驳回 / 已合并。
其中"待补充信息"是给需要外部确认的情况用的(比如"这个问题涉及新政策,需要确认 4 月版本细则")。没有这个状态,这类条目会在队列里卡死或者被草率通过。
6. 回流知识库的四种去向
"回流"不是只有"补一条知识"这一种结果。按根因分四类,去向完全不同:
| 根因 | 去向 |
|---|---|
| 知识库确实缺这条 | 新建条目,走正常入库 |
| 知识过时或写错了 | 修改现有条目,并触发重灌(见《知识库的重灌与切换》) |
| 源头页面就是错的 | 提给运营改页面,而不是在知识库里打补丁 |
| 个案补偿、特例处理 | 写入"禁止 AI 复用"的特例库 |
第三类最容易被误处理:产品页写错了价格,审核员在知识库里补一条"正确价格",然后产品页继续错着,下一个用户还会问。知识库不该是源系统错误的遮盖层。
第四类同样重要:一次性的个案补偿如果被当成通用知识入库,AI 会向所有用户承诺这个补偿。特例必须标记为不可复用。
6.1 禁语表
合规侧要单独维护一张禁语表:一定、马上、全额、包税、永久质保这类绝对化表述。抽检中出现一次,就回写禁语表。
这跟《权限过滤要在检索前》里说的"硬约束"是同一类东西——不能指望模型自己记得不用。
7. 指标怎么设
只看"机器人拦截率"会鼓励系统把用户拖在对话里。要同时看效率、质量、风险三组:
- 一层解决率:自助层真正闭环、且 24 小时内未重复进线的比例
- 有效转接率:转人工后坐席无需追问关键信息即可继续处理的比例(衡量交接包质量)
- 越权承诺次数:机器给出无法兑现的时效、赔偿或法律结论的次数——零容忍项
- 二次进线率 / 升级投诉率:检验"表面解决"是不是变成了"延迟爆发"
- 接管后一次解决率:人工接手之后能不能一次解决
越权承诺是这五个里唯一应该设零容忍的。它跟其他指标不一样:别的指标是"多少"的问题,这个是"有没有"的问题——一次越权承诺可能就是一个法律问题。
质检抽样也要覆盖三类:AI 已关闭的会话、转人工超时的会话、涉及退款与物流索赔的会话。只抽查转人工的那些,会漏掉"AI 自信地答错了但用户没再追问"的情况。
8. 转接在界面上的六个时刻
后端把会话转出去了,前端如果只改一个标记,用户看到的就是"AI 突然不说话了"。这条链路在界面上有六个必须设计的时刻:
- 触发:明确告知"正在为你转接人工",别让用户以为 AI 卡住了。触发原因可以轻描淡写,但状态要清楚
- 排队:给等待预期(第几位、预计多久)。没有预期的等待,30 秒就会被当成故障
- 坐席接入:AI 的消息要有个收尾("以下由人工客服为你服务"),坐席消息与 AI 消息在样式上要能区分
- 会话中:输入框是否还能发?通常要保留(用户可能补充信息),但要标明"人工正在处理",避免双线并行
- 结束:坐席关闭会话后,明确告知"人工服务已结束",并给出"继续问 AI"的入口,而不是直接静默
- 失败/超时:坐席全忙或转接失败时,要能回落到 AI,并把用户已经说过的话带回去——不能让他重讲一遍
配套的反馈 UI 也要有同样细的设计:点踩之后给二级原因(不准确 / 不相关 / 有风险 / 其他),允许撤销,点踩后给"重新生成"而不是"提交工单"。把负反馈直接变成一次重试,是成本最低的补救。
9. 落地顺序
按这个顺序做比一次性上全自动稳:
- 先盘高频与高风险问题,划出机器可闭环的范围,同时定禁答清单
- 为可闭环问题准备可核验的知识来源,不要把营销文案直接当答案
- 配转人工规则和摘要模板——注意规则先于话术
- 做对抗测试再扩量:用改址、包税、过期退货、海关扣件、情绪投诉去压,看系统是拒答、转人、还是编造
第 4 步是上线门禁:过不了这组测试,就不该对外宣布 AI 客服已上线。
还有一条组织层面的:知识维护必须有责任人。商品变更、活动规则、物流异常、政策调整,都应在对外发布前同步到系统里。否则机器会用过期信息自信作答,人工再出来圆场——这个信任成本比第一次就转人工更高。
最后,回流回来的条目要进评测集。每一条真实失败案例都是一个天然测试用例,而且是带业务权重的那种(见《评测集怎么变成门禁》)。闭环画满的标志是:这条案例下次在 CI 里就能被拦住,而不是等用户再问一次。
这只是闭环里的一小段。从"采集到信号"到"真的改了东西"中间还隔着归因和转化两步,很多团队就是断在这里——反馈一直在收,版本一直没变。完整四段见《数据闭环怎么接上》。