Skip to main content

反馈回流与人工转接

多数 AI 客服系统把"转人工"实现成了一个失败出口:机器人接不住了,把聊天记录甩给坐席,结束。

问题有两层。用户要重新描述一遍问题,因为坐席看不到上下文;更重要的是,这次失败没有被记下来,同一个问题明天还会再失败一次。

转接真正的价值不在"这件事有人接手了",而在于它标记出了知识库里缺的那一块。

AI 应答失败信号转人工结构化标记回流知识库闭环触发是规则不是情绪连续两轮未命中 / 投诉措辞 / 涉及资金 / 24 小时内重复进线交接包是工单不是聊天记录摘要 + 已引用条目 + 已验证信息 + 建议下一步 + 风险标记
图:转人工不是流程终点,是知识库补料的起点

1. 什么时候该转​

触发条件必须是规则,不能是模型的感觉,也不能等用户说第三遍"转人工"。

1.1 硬触发(立即升级)​

信号为什么
连续两轮未命中知识库已经试过一次,再试一次还是不行
出现投诉、法律、索赔类措辞风险高,机器不该在这个场景里输出结论
涉及资金、改址、账号变更有实际后果,且需要验证身份
用户明确要求人工这是指令,不是信号
同一订单 24 小时内重复进线上一次没解决,且用户已经不耐烦
情绪升级(负面词频、语气)越晚转,修复成本越高

1.2 软触发(建议介入,不强制打断)​

给坐席一个"建议介入"的提示,而不是直接把会话抢过来。适合边界模糊的场景——系统不确定,但也没有明确失败。

软触发的意义是不把夜班坐席打满:低价值咨询不该强制转人,但坐席闲的时候可以主动接。

1.3 一个反模式​

把置信度阈值调到极限、尽量不转人,看起来拦截率很高,实际是把用户困在对话里。

用户能接受"我帮您转给专员",不能接受"看起来解决了、实际没办成"。系统该做的是缩短到达正确处理者的路径,而不是独占对话。

2. 交接包里该有什么​

坐席打开的不应该是一段无法溯源的聊天瀑布,而应该是一张工单。固定字段至少包括:

  • 会话摘要——结构化的问题描述,不是流水账
  • 客户诉求原话——保留原始表达,坐席要判断真实意图
  • 已引用的知识条目——AI 是基于哪些内容回答的(见《答案要能追溯到出处》)
  • 已验证的信息——订单号、身份是否已核验
  • 未验证的信息——哪些是用户单方面说的
  • AI 已给出但未生效的方案——避免坐席重复建议
  • 建议下一步——系统判断接下来该做什么
  • 风险标记——是否涉及资金、情绪、时效承诺

其中"已给出但未生效的方案"最常被漏掉。漏掉的结果就是坐席建议了机器人刚刚建议过、且用户已经明确表示不行的方案——这一次重复,用户信任成本比从一开始转人工还高。

摘要由机器先做结构化,再交给人。坐席的注意力应该用在判断上,不是用在读流水上。

3. 反馈信号从哪来​

不是所有失败都会走到转人工。反馈采集要覆盖三个层次。

3.1 显式信号​

点踩、星级、明确的"转人工"请求、文字里说"答非所问"。

这类信号质量最高,但量最少——大部分不满意的用户不会点任何东西,直接关掉页面。

3.2 隐式信号​

  • 连续追问同一问题
  • 复制了 AI 的回答之后重新提问(说明答案没用)
  • 回答出来后很快离开
  • 换了一种说法再问一遍

这些信号噪声大,单条不可信,但聚合起来能定位到具体的问题类别。

3.3 软转人工——最有价值的原料​

有一类会话特别值得单独标记:AI 给出了回答,看起来完成了,但用户随后又去问了同一个问题(可能换了个说法,可能去问了别的渠道)。

它们不会出现在转人工统计里,因为"成功"结束了。但它们才是最真实的质量缺口——系统以为自己答对了。

做法是在意图识别服务里加一个旁路输出专门标记这类会话。它们应该是审核队列的主要原料。

4. 去噪与聚合​

原始反馈不能直接用。同一个问题在高峰期一分钟内可能出现几十次,全部推给审核员,谁都会放弃。

三层处理:

第一层,信号融合。 把显式请求、连续未命中、负面关键词、对话轮次超过阈值等维度组合打分,超过阈值才进队列。单维度太容易误报。

第二层,语义聚合。 按用户问题的标准化问法做聚类,相同语义的会话归到一组,每组选一条上下文最完整的作为代表样本,其余作为关联证据挂在一起。

这一步的价值不只是减负:审核员看到"这个问题影响了 47 个会话"和看到一条孤立记录,判断优先级的方式完全不同。

第三层,上下文保留。 转人工时用户可能已经聊了五六轮,只截最后一条消息审核员根本看不懂。要保留完整问题路径——从第一次提问到触发转接的所有用户消息与机器人回复,按角色交替排列。

这样才能判断机器人到底在哪一步接错了。

5. 审核工作台:把作文题变成判断题​

审核环节是整个闭环里最容易做成形式主义的地方。把一堆会话记录甩给审核员让他们自己写新答案,这个流程撑不过两周——审核员不是知识工程师,不会去想"这条知识该放在哪个分类、用什么措辞"。

5.1 布局​

三个区域:

  • 左:用户会话时间线
  • 中:机器人当时的回答和命中情况(相似度分数、引用了哪条)
  • 右:系统根据会话内容自动检索出的候选知识条目

审核员要做的是:右侧已有知识改改就能回答 → 选"修改建议";没有对应知识 → 选"新建条目",系统用模型基于会话生成答案草稿,审核员做删改和补充。

关键是把劳动从"写"降维成"判断"。

5.2 自动归类​

每条待审核问题按历史标签体系做一次意图分类预测,推荐到对应分类下,审核员确认或调整即可。

有了这一步,回流的新知识才能挂到正确的路径下,后续检索和维护才可能。

5.3 状态机要明确​

建议的状态:待审核 → 审核中 → 待补充信息 → 已通过待回流 → 已驳回 / 已合并。

其中"待补充信息"是给需要外部确认的情况用的(比如"这个问题涉及新政策,需要确认 4 月版本细则")。没有这个状态,这类条目会在队列里卡死或者被草率通过。

6. 回流知识库的四种去向​

"回流"不是只有"补一条知识"这一种结果。按根因分四类,去向完全不同:

根因去向
知识库确实缺这条新建条目,走正常入库
知识过时或写错了修改现有条目,并触发重灌(见《知识库的重灌与切换》)
源头页面就是错的提给运营改页面,而不是在知识库里打补丁
个案补偿、特例处理写入"禁止 AI 复用"的特例库

第三类最容易被误处理:产品页写错了价格,审核员在知识库里补一条"正确价格",然后产品页继续错着,下一个用户还会问。知识库不该是源系统错误的遮盖层。

第四类同样重要:一次性的个案补偿如果被当成通用知识入库,AI 会向所有用户承诺这个补偿。特例必须标记为不可复用。

6.1 禁语表​

合规侧要单独维护一张禁语表:一定、马上、全额、包税、永久质保这类绝对化表述。抽检中出现一次,就回写禁语表。

这跟《权限过滤要在检索前》里说的"硬约束"是同一类东西——不能指望模型自己记得不用。

7. 指标怎么设​

只看"机器人拦截率"会鼓励系统把用户拖在对话里。要同时看效率、质量、风险三组:

  • 一层解决率:自助层真正闭环、且 24 小时内未重复进线的比例
  • 有效转接率:转人工后坐席无需追问关键信息即可继续处理的比例(衡量交接包质量)
  • 越权承诺次数:机器给出无法兑现的时效、赔偿或法律结论的次数——零容忍项
  • 二次进线率 / 升级投诉率:检验"表面解决"是不是变成了"延迟爆发"
  • 接管后一次解决率:人工接手之后能不能一次解决

越权承诺是这五个里唯一应该设零容忍的。它跟其他指标不一样:别的指标是"多少"的问题,这个是"有没有"的问题——一次越权承诺可能就是一个法律问题。

质检抽样也要覆盖三类:AI 已关闭的会话、转人工超时的会话、涉及退款与物流索赔的会话。只抽查转人工的那些,会漏掉"AI 自信地答错了但用户没再追问"的情况。

8. 转接在界面上的六个时刻​

后端把会话转出去了,前端如果只改一个标记,用户看到的就是"AI 突然不说话了"。这条链路在界面上有六个必须设计的时刻:

  1. 触发:明确告知"正在为你转接人工",别让用户以为 AI 卡住了。触发原因可以轻描淡写,但状态要清楚
  2. 排队:给等待预期(第几位、预计多久)。没有预期的等待,30 秒就会被当成故障
  3. 坐席接入:AI 的消息要有个收尾("以下由人工客服为你服务"),坐席消息与 AI 消息在样式上要能区分
  4. 会话中:输入框是否还能发?通常要保留(用户可能补充信息),但要标明"人工正在处理",避免双线并行
  5. 结束:坐席关闭会话后,明确告知"人工服务已结束",并给出"继续问 AI"的入口,而不是直接静默
  6. 失败/超时:坐席全忙或转接失败时,要能回落到 AI,并把用户已经说过的话带回去——不能让他重讲一遍

配套的反馈 UI 也要有同样细的设计:点踩之后给二级原因(不准确 / 不相关 / 有风险 / 其他),允许撤销,点踩后给"重新生成"而不是"提交工单"。把负反馈直接变成一次重试,是成本最低的补救。

9. 落地顺序​

按这个顺序做比一次性上全自动稳:

  1. 先盘高频与高风险问题,划出机器可闭环的范围,同时定禁答清单
  2. 为可闭环问题准备可核验的知识来源,不要把营销文案直接当答案
  3. 配转人工规则和摘要模板——注意规则先于话术
  4. 做对抗测试再扩量:用改址、包税、过期退货、海关扣件、情绪投诉去压,看系统是拒答、转人、还是编造

第 4 步是上线门禁:过不了这组测试,就不该对外宣布 AI 客服已上线。

还有一条组织层面的:知识维护必须有责任人。商品变更、活动规则、物流异常、政策调整,都应在对外发布前同步到系统里。否则机器会用过期信息自信作答,人工再出来圆场——这个信任成本比第一次就转人工更高。

最后,回流回来的条目要进评测集。每一条真实失败案例都是一个天然测试用例,而且是带业务权重的那种(见《评测集怎么变成门禁》)。闭环画满的标志是:这条案例下次在 CI 里就能被拦住,而不是等用户再问一次。

这只是闭环里的一小段。从"采集到信号"到"真的改了东西"中间还隔着归因和转化两步,很多团队就是断在这里——反馈一直在收,版本一直没变。完整四段见《数据闭环怎么接上》。