2024年4月19日发(作者：)
人工證能
I
产业应用
腾讯智能客服人机协同实践
□文
/
雷植程
、
童丽霞
、
吴俊江
、
杨杰
雷植程
腾讯技术专家，
腾讯客服技术总监
。
负责腾讯客服整体技术
工作
,在客服系统研发
、
智能客服
、
自然语言处理等领域积
累了丰富的经验
，
致力于把人工智能技术应用到腾讯客服各
个领域
。
目前已授权或公开的专利
20
余项
，
主要硏究方向
为智能客服系统
。
腾讯客服高级算法工程师
,
主要从事智能客服的建设?口优化工
作
，
硏究方向包括会话意图识下文检
测、
人机协同等
，
在
客服领域已授权或公开技术发明专利
10
余项
。
童丽霞
吴俊江
腾讯客服高级算法工程师
，
参与腾讯智能客服技术研发以及
前沿技术的应用落地
，
目前主要从事意图识别、
语义匹配
、
多轮对话
、
强化学习等相关算法实践
，
已授权或公开的专利
10
余项
”
腾讯客服高级后台工程师
,
拥有多年服务端架构经验
,
致力于
郤服务架构设讨和硏究
；建立了干万级高并发的智能客服;肖息
系统
，
并开源了多款组件
，
发布了多篇专^
如何设计一款
“
听得清
、
解决好
、
监察快
、
运营易
”
的智能客服产品是极有挑战的
，
不同企业的智能客服产品离该目标还存在或大或小的距离。
通常
，
我们会标注海量
数据来训练机器模型
，
以提升算法的准确性
、
建设高度自助化的工具
，
减少用户与
智能客服的交互轮数
。
但即便如此
，
智能客服产品还会经常显得不那么智能
。
经过
最近几年的不断摸索总结
，
腾讯智能客服发现通过人机协同
，
可以较好地解决这个
问题
。
我们认为
，
人机协同或成为未来智能客服的趋势
。
・
106
・
腾讯智能客服人机协同实践
智能客服已经成为企业在客服服务方面的标配产品
。
智能客服对企业提升客服服
务效率
，
扩大整体服务容量，优化用户服务体验起至
Q
了至关重要的作用
。一方面，
智能
客服确实能够帮助大量用户快速解决相对简单的客诉问题
，
另一方面由于智能客服还不
具备像人一样的思维能力
，
当碰到疑难问题时就显得不那么智能
。
由于腾讯智能客服体
量巨大
，
这些不智能的体验显得更为突出
，
我们需要重点关注解决
。
为此
，
我们进行了大量的工作
，配置了专门的算法工程师团队和智能客服训练师
团队
，
以优化智能客服回答准确性
。
虽然机器学习算法效率很高
，
但机器偏刚性
。
比如
常见的判别模型都须设定一定的阈值，
这种阈值设置代表着刚性
。
人工客服柔性灵活但
效能低
，
即使是最先进的互联网服务模式
，
单个人工客服在一天内的服务用户数也只有
一两百人
。较好的方法是将两者通过协同方式有益结合起来
，
人工客服通过智能算法辅
助效能大幅增长
.
智能客服通过人工进行干预更加智能
。
我们以会话意图干预
、
增量学习等人工智能技术为核心基础设计了专门供训练师
协同对话的人机协同工作台
，在该平台上制定了人机协同干预目标准则
，
并设计了辅助
快速干预的人工台界面
，
搭建了以高效分派
、
容错机制为关键点的后台框架
，
实现以较
少的人力来协同机器托起智能客服服务大盘的目标
。
人机协同的关键技术
智能客服人机协同模式面临着两大技术难点
：
第一
，
人机协同中的会话意图干预模型面临着多轮标注数据获取
、
多样性的数据
学习
（
用户描述
、
用户状态、单轮点
、
选或数字选择
）
、
会话的多轮结构学习等诸多问题
。
因此
，
如何构建能解决上述问题的会话意图干预模型是人机协同模式的第一大难点
。
第二
，
在人机协同中
，
随着数据不断增加
，
标签信息会发生变更
，
同时新知识不
断加入
，
通常近期的数据可靠性越高也越有价值
；
对于训练模式
，
全量训练学习比较难
感知知识变更.部分训练会对已学习到的信息有遗漏
，
同时无法保证模型预测一致性
。
因此
，
如何兼顾新旧数据成为人机协同的第二大难点
。
为解决上述两个难点
，
我们构建了一种层次化编码的会话意图干预模型
。
同时
，
考虑训练数据按时间的重要程度不同
，
我们搭建了基于增量学习的训练模式
，
提升了人
机协同中模型的准确率
。
会话意图干预模型
会话意图干预模型不同于单轮的意图识别模型
，
会话意图干预的输入是多轮会话
级而不是单轮文本级
，
输出是会话级的意图
，
并且随着会话进行意图会不断地变化
。
会
・
107
・
人工智能
I
产业应用
图
4
：
会话意图干预模型
话意图干预模型整体架构如图
1
所示
。
会话意图干预模型采用层次化编码进行多分类任务学习
，
层次化编码分为句编码
层和会话编码层，
其中句编码层主要是对每轮的
query
进行编码
，
将
query
中词向量组
转换为句向量
；
而会话编码层则是将多个句向量进行编码得到会话级向量
"'o
句编码层
在句编码层中.为了缓解
OOV
问题以及获得部分字粒度的优势.模型采取
字词联合的结构
，
如图
2
所示
，
首先要对输入的字和词进行联合
，
得到输入特征
WES
t
=
{
WE
h
WE
2
,
.
..,WE
N
},i
其中
N
为句子中词的个数
，
M
为会话轮数
。
■■
Transforaer
layerl
Transformer
layerl
Transforaer
layerl
图
2
：
字词联合结构
在字词联合结构中
,
对每个字输入
=
0.
.
.H)
,
其中
N
为句子中词的个数
、
"为词中字个数
，
对
Ci/
进行维度为
d
的随机向量化
随后进行
2
层的
Transformer
编码器凶
进行字向量编码
，
以及
Mean-pool
组合得到最终的字组向量
ce
：
；
而词向量则是直接对
词伽包=
1
…
N)
进行预训练词向量向量化
，
随后将该词向量与
ce,
进行加和操作
，
得到最
终的输入词向量
WE;
・
108
・
腾讯智能客服人机协同实践
随后
，
我们对句子组使用四层的堆叠的
Transformer
编码器及
self-attention
模块
，
最终得到句子编码层的句子输出向量
SE
；
在得到句向量后
，
我们使用会话编码层中的
Label_Matrix
标签矩阵对每句话的单轮识别标签做向量化处理
，
然后与句向量
SE
，
进行加
和
，
得到最终的句向量
。
层
在得到句向量后
，
使用三种编码器进行多种特征提取
，
一是基于
LEAM
的标签
-
句向量
Attention
操作叫
二是双向的
GRU
操作
，
用于获取全局信息
，
三是提取局部特
征的多种卷积核
CNN
编码器
。
为捕获标签和句子组间的交互关系
，我们参考使用
LEAM
结构
，
获取了会话向
量
SessionEmbl
:
为获取全局的会话信息
，
我们构建一个双向的
GRU
层对句向量组进
GRU
编码，然后经一个
self-attention
层得到会话向量
SessionEmb2
；
为获取局部的会话
信息
，
我们构建了一个多卷积核的
CNN
特征提取层
，
项目中使用四种卷积核进行卷积
操作
，
不做池化操作
，
将卷积后的特征图进行拼接
，
使用一个
self-attention
对特征图进
组合
，
选取最关键的特征图
，
得到会话向量
SessionEmb3
。
在得到三种会话向量
SessionEmbl
、
SessionEmb2
、
SessionEmb3
拼接后
，
输入到全
连接层进行分类
，
计算得到分类损失值
cls_loss
0
同时将
LabeLMatrix
看做一个输出向量
，
做一层全连接层
，
与标签的
one-hot
编码做交叉爛得到标签的损失值
label_losso
将
cls_
loss
和
labeljoss
求和后再与样本的权重值相乘得到最终的
loss
值
，
继而进行梯度优化
，
更新模型参数
。
增量学习
增量学习是一种动态的学习技术
，
对已学习的知识具有记忆功能
，
能学习新数据流
中的有用信息.对其中包含的新类别和已有类别的变迁进行有效处理
。
传统的增量学习
方法不需要访问已经用于训练分类的原始数据
，
而是定期将新数据用于微调现有模型
，
得到新的模型⑷
。
这种模式的缺陷在于不能很好地体现新旧数据的重要性
，
而智能客服
中数据流往往具有时序性
，
新数据的知识更新更准
，
需要被模型重点关注冏
。
因此
，
・
109
・
人工智能
I
产业应用
我们采用自适应权重方
案
，
即模型自主学习得
到不同时间的样本权
t
重
。
自适应权重计算是
将权重作为可学习的变
量融入到模型的训练过
程中
，
让模型自行学习
T
。
T
、
T]
图
4
：
自适应权重结构图
到较好的权重组合
。
根
据样本时间，
提出基于
先验知识的权重自适应调节方法，
能有效利用外部先验信息
，
并且在模型训练过程中根
据优化指标进行一定程度的自适应动态调节
，
提高权重设置的合理性和适应性
。
第一步
：
利用外部先验知识计算得到固定的线性的先验权重
W=
{wi,w
2
,...,w<}
（
i
—
1..
.71
）
,71
为计算得到的分段数
。
第二步
：
初始化变量
。
根据训练数据计算得到分段数他
，
初始化可学习的权重向量
V,
维数为加并且每个样本需要记录其对应第几时间段
=
化时得到该样本对应的可学习权重匕和对应的先验权重血
。
用以在模型优
第三步
：
构造权重损失
Zoss
”
，
并将权重加入到模型优化过程中。
在模型训练优化
过程中
，
需要将每个样本的先验权重函
、
对应第几个时间段
t,
以及可学习权重向量
y
传入模型
。
假设优化过程中某个
batch
中样本数量为
6,
各个样本所对应的先验权重为
也并取得对应的可学习权重由于此时的权重变量
V
；
是可
学习的
，
会在模型损失函数优化时计算梯度并进行更新
，
此外为了避免模型仅是简单降
低所有权重以得到较低
toss
的行为
，
需将各权重
H
转换为经过
softmax
归一化的歹对应
的权重才与
Zoss
相乘
（
公式
1
、
2
）
。
其中
Zoss,
为模型计算的每个样本的原有损失
，
2oss
为加权后该
batch
数据的平均损失
。
同时
，
为了限制其符合先验知识
，
使用最小均
方误差来衡量可学习权重与先验权重的差别并计算权重损失
（
公式
3
）
,
并最终与模型
原有损失通过超参数久合并优化
（
公式
4）
□
V
=
softmax(VV
w
R"
公式]
loss
=
万&
=
Joss?
x
V
ti
公式
2
loss
w
=
y
i
(
PK
-
K)
$
公式
3
loss
=
loss
+
A
-
loSSu,
公式
4
・
110
・
腾讯智能客服人机协同实践
人机协同的运营实践
干预目标
在智能客服实践中
，
并不是所有的会话都需要进行人机协同干预
，
而且不同会话干
预的优先级也不一样
，
通过大量的数据分析和现网的反复实验
，
我们归纳总结了以下几
种人机协同干预的准则
：
第
一
，
无法进入场景时干预
。
会话前段未确定用户咨询的产品时需要进行干预
，
使
智能客服能在具体场景下与用户进行交互
。
第二
，
无法确定意图时干预
。
在具体场景下
，
越早锁定用户意图越好.围绕该意图
提供解决方案
。
第三
，
确定意图下无法满足用户时干预
。在已知用户问题后.出现听不懂或用户纠
缠不清的情况
，
需干预提升会话流畅性
。
在腾讯客服场景下
，
我们结合腾讯业务的特性制定了如表
3.1
所示的干预目标
。
表
3/1
：
腾讯智能客服人机协同干预目标
序号
详情
1
无确定场景情况下
，
系统推送选项后
，
用户选择两次以上
无确定场景情况下
，
系统推送选项后
，
用户不选
2
3
4
5
6
确定场景下
，
用户描述不清
，
系统多次模糊推荐
，但用户不选
确定场景下
，
用户对模糊推荐选项多次点击
，
舌
L
选
出现两次以上机器听不懂用户而答不出
机器意图识别有误
，
导致用户情绪不满
，
进而谩骂
7
会话过程中已岀现明确意图
，
但用户仍纠缠不清
人机协同台系统设计
人机协同台最核心的几个原则是
：
第一
，确保用户的智能对答体验不受影响。
对于轻量干预的会话应该在秒级内进行
响应且用户应无感知
；
对于需要人工干预的对话要有明确的接入提醒
；
对于未及时处理
的对话要有超时处理机制
。
第二.训练师干预的速度要快
。
训练师不需要过多地思考业务细节
，
只需根据算法
的结果做出判断
。
第三
，
训练师的操作数据要能反哺模型
，
人机协同台的操作数据要及时地更新到算
法模型中
.
不断提升人机协同台的模型推荐准确性
，
为满足这个目标
，
以下分别从界面设计和后台设计两部分介绍设计思路:
人机协同台界面设计
遵循以上原则
，
我们经过多次版本的迭代
，
设计了如图
5
所示的人机协同台界面
。
・
111
・
人工魁能
I
产业应用
算法推荐是该
人机协同台的重要
组成部分
，
对人机
协同的效率起到至
关重要的作用
。
我
们发现推荐更少的
意图可以减少训练
师思考的时间
，训
练师只需核对意图
推荐的准确性
；
在
排版方面
，
按照人
的思维模式
，
突出会话的重要信息
，
加快训练师阅读的便利性
；
在干预数据的分派方面.
我们采用批量分派的策略
，
每次系统自动拉取一批用户
，
减少训练师的等待时间
，同时
训练师能够自主控制是否需要暂停或开启干预
，
使操作更加人性化；
在选择操作方面
，
支持键盘式操作
，
经运营对比发现键盘相比鼠标更加便捷.效率更高
。
人机协同台后台设计
人机协同台后台系统设计如图
6
所示
，
人机协同后台最具挑战的部分是排队分派和
容错设计
。
排队分派是人机协同后
台系统设计的关键
，
为方便
训练师更高效
、
快捷地干预
，
系统每次会选取最近的一个
时间窗口
，
对窗口中的用户
按意图聚类
，
存入不同的队
列
，批量分派给训练师
；
同时,
为保障稳定性，
系统建立了
一套实时监控
、
同步预警
、
自动重启的完整方案
：
容错设计是人机协同后
图
6:
人机协同台后台设计
台系统的另一个关键点
，
为保障用户智能对答体验不受影响
，
从系统层面设计了超时处
理机制
。
当排队人数过多
，
训练师无法及时处理时
，
一方面
，
系统会按优先级高低自动
关闭入口
，
在监测到有能力处理时自动放开入口
；
另一方面
，
将队列中未及时响应的用
户退回现网按原流程处理
。
・
112
・
腾讯智能客服人机协同实践
运营效果
人机协同方案实施与应用后
，
通过将实时干预后的数据源源不断地反哺机器进行反
馈学习.会话意图干预准确率已逐渐提升超过
80%,
如图
7
所示
，
在提升会话意图干预
模型准确率的同时
，
进一步帮助提升训练师干预的速度
，
使得干预量不断增加
。
目前人
均干预量约
1500
次/
小时
，
达到了以少量的人力对智能服务应答不畅的对话进行了实时
、
高效的干预
，
智能对话品质提升非常明显
，
具体表现在以下几个方面
：
第一
，
“
听不懂
”
的会话量大幅下降
。
经人工协同干预后
，
确定了会话意图
，
无法
确定意图的会话量环比明显下降
。
第二
,
badcase
会话量大幅下降
。
“
（
JO
干预量（
/
小时
）
1500
1230
一
---
人工协同干预后
，
-
1500
赵
1300
现网出现答非所
问
、
长时间交互
、
用户不满等不良体
验的会话量显著降
■
H-
1100
900
739
700
500
60
70
75
80
模型准确率
（
％
）
低
。
第三
，
一次解
图
7
：
干预量变化图
决率明显提升
。经人工协同干预后
，
智能客服回复明显更契合用户需求
，
降低了用户的
再次咨询的频率
。
结束语
智能客服还有诸多关键技术问题需要解决
，
当前的人工智能还处于弱人工智能阶
段。
现阶段
，
我们除了研发更
“
智能
”
的技术之外，更应聚焦
“
客服
”
对智能的提升
。
智能客服重在
“
客服
”
，
人机协同将是未来一段时间智能客服的趋势
。
当前
，
腾讯智能
客服开展的对人机协同的探索尚处于初级阶段
，
未来随着人机协同相关算法的进步和相
关经验的总结
，
我们相信
，
人机协同对智能客服会起到越来越重要的作用
。
参考文献
[1]
Yang
C,et
al.
Hierarchical
attention
networks
for
document
classification(C]//Proceedings
of
the
2016
Conference
of
the
North
American
Chapter
of
the
Association
for
Computational
Linguistics
：
Human
Language
Technologies.
2016:1480-1489.
[2]
Ashish
Parmarjakob
Uszkoreit.l
」
ion
N
Kaiser
.and
lllia
Polosukhin.
Attention
is
all
you
need[CJ//Advances
in
Neural
Information
Processing
Systems.
2017:6000-6010.
⑶
Wang
W,et
al.
Joint
Embedding
of
Words
and
Labels
for
Text
ClassificationQ],
2018.
[4|
Mcmahan
H
y
al.
Ad
click
predictions
view
from
the
trenches[C]//Proceedings
of
the
19lh
ACM
SIGKDD
international
conference
on
Knowledge
discovery
and
data
mining.
ACM.2013.
⑸
Rosenfeld
sJ
K.
Incremental
Learning
Through
Deep
Adaptation
LIL
IEEE
Transactions
on
Pattern
Analysis&Machine
lntelligence,2017.
查看内容精选
113
•
发布评论