01

研究背景

随着人工智能(AI)在在线服务中的迅速普及,客户越来越多地发现自己是与聊天机器人而不是人类服务人员互动。尽管人工智能不断进步,但聊天机器人经常在非常规性问题和复杂请求上出错,从而导致了糟糕的客户体验。为了避免这些问题,有公司已经开始使用混合服务代理,即人工智能代理+人类代理的组合作为一个集成单元提供服务。混合服务代理模式的激增进一步模糊了在线服务中人类和技术之间的界限。目前,关于人工智能技术应用的争论主要集中在是否应该披露基于人工智能的技术(例如聊天机器人)的非人类身份,但关于是否应该披露幕后工作的人类员工的参与却很少受到关注。本文通过研究这种披露如何影响客户与由基于人工智能的聊天机器人和人类员工组成的混合服务代理的交互来解决这一问题。

02

研究问题

当人类参与被披露(与未披露)时,客户是否、如何以及为什么与混合服务代理进行不同的沟通,以及这些差异如何影响与聊天机器人协同工作的人类员工的工作量。

03

研究假设

H1:在预先披露人类参与(HID)(相对于没有预先披露)之后,客户在与混合服务代理交互时表现出更人性化的沟通方式。

H2:在逐步披露人类参与(HID)之后(相对于没有逐步披露),客户在与混合服务代理交互时表现出更人性化的沟通方式。

H3:在与混合服务代理交互时,客户更加人性化的沟通方式增加了人类员工的工作量。

H4:印象管理对预先披露人类参与(HID)对客户沟通方式的影响发挥中介作用。

H5:印象管理对逐步披露人类参与(HID)对客户沟通方式的影响发挥中介作用。

04

研究过程

随机现场实验

披露人类参与对客户沟通方式和员工工作量的影响

实验包括2(预先HID:披露与不披露)*2(逐步HID:披露与不披露)的受试者间因子设计。该实验是通过与一家跨国电信公司合作进行的现场随机实验。该公司在其网站上实施了一个混合服务代理,以回答常见问题(例如,合同延期、互联网连接中断)并提供有关其产品和服务的信息(例如,移动电话计划)。

实验过程:当顾客点击公司网站上的“聊天”按钮时,一个聊天窗口打开,他们被随机分配到四种实验条件中的一种。在窗口中,混合服务代理按照客户指定的实验条件接待客户。

在2019年2月进行了为期两周的数据收集。在此期间,共有8,966名客户被随机分配到四种实验条件中的一种,导致不同条件下的客户数量大致相等。对于每个客户-混合服务代理交互(以下称为聊天),收集聊天数据(例如,所有消息的文本内容,时间戳,发件人),基本客户特征(例如,设备,位置),以及与聊天机器人一起工作的员工的活动信息(例如,员工处理的客户消息数量,响应时间)。敏感的客户数据,如姓名、电话号码和地址,在分析之前被匿名化。

基于已有文献对人类-聊天机器人和人类-人类沟通方式差异研究,本文确定人类-聊天机器人和人类-人类沟通方式的三个关键结构特征:冗长、复杂性和密度。冗长度计算为聊天中客户发送的每条消息的平均字数。使用(1971)的可读性公式计算了聊天中客户信息的平均复杂性。将密度计算为聊天中每个客户信息中虚词与总字数的平均比率。同样,将员工的工作量通过频率、持续时间和强度三个指标进行测量。频率是指员工发送的回复总数,持续时间是指员工回复客户信息的总时间,强度是通过员工介入时所采用的具体行动的加权平均值来计算。

实验结果:预先HID对客户沟通风格的影响显著,支持H1。逐步HID对客户的沟通方式有显著影响,支持H2。但是,两种HID 的交互作用效应不显著,表明预先HID与逐步HID不会产生大于其独立效应之和的协同效应。并且,客户的沟通方式对员工的工作量产生显著的影响,支持H3。综上所述文献代理,实验的结果表明当人类参与被披露(相对于未被披露),客户表现出更人性化的沟通方式,这反过来又增加了员工的工作量。

控制在线实验

印象管理的中介作用

在线实验与现场实验相似,采用2(预先HID:披露与不披露)*2(逐步HID:披露与不披露)的受试者间因子设计。

在实验中,首先让参与者想象他们刚刚收到每月的手机账单。账单似乎比平时高,但没有解释费用高的原因。选择这个场景是为了更好地与现场实验的结果进行比较,因为计费问题和投诉是电信公司典型的客户服务问题。在阅读完场景描述后,参与者被随机分配到四种实验条件中的一种,让参与者联系客服,找出他们意外高额账单的原因。本次实验没有让人类客服参与实验,目的是避免他们的行为造成任何潜在的混淆效应。

实验结束后,参与者完成了一项调查,包括测量、人口统计问题和操纵检查。在调查的最后,我们加入了一个开放式问题,要求参与者分享他们对HID的看法(例如,“当你与聊天机器人交谈时,你想知道是否有人类员工参与?”)。最后,向参与者汇报情况,包括他们只与聊天机器人互动,以及他们参与了一项研究。

实验结果:首先,预先和逐步HID对印象管理问题都有显著的积极影响,并且同在线实验一致,这两种HID的交互效应小于其独立效应。其次,通过印象管理问题,预先HID和逐步HID对客户沟通方式的间接影响是显著的,支持H4,H5。

05

研究结论

1.在混合服务代理中,当人类参与被披露时,客户会表现出更加人性化的沟通方式,其特征是信息更长、更复杂、更自然,而不是简单的关键词查询文献代理,并且预先披露和逐步披露具有相似的效果。

2.披露人类参与对客户沟通方式的影响是由客户印象管理所驱动的,也就是说,当客户知道人类正在与聊天机器人协同工作时,他们更关心给人留下好印象,这会影响他们与混合服务代理的沟通方式。

3.当预先披露人类参与时,客户更有可能积极寻求人类参与,并倾向于表达更多的负面情绪,同时客户与混合服务代理的交互时间也会更长,从而增加员工的工作量。

06

研究贡献

1.本研究揭示了一种将人类和聊天机器人技术结合在单一服务接口背后的新方法:混合服务代理。对客户-混合服务代理交互的实证研究,揭示了当客户知道他们的沟通的对象不仅仅是聊天机器人,还有人类协助时,客户行为的显着差异。

2.本文的研究表明,在主要基于人工智能的服务中,人类参与的透明度可能最终导致自动化程度降低,从而削弱人工智能将人类从平凡和重复的客户服务工作中解放出来的能力。

3.本文的研究揭示了客户行为背后的一种不同的心理机制:印象管理问题。当客户意识到人类员工与聊天机器人协同工作时,会产生与人际互动类似的印象管理问题。

07

文献引用:

U, S, Hinz O, et al. More than a bot? The of human on with [J]. , 2023.

END

文本|黄明月

编辑|宋佩璐

校对|卢花

指导教师|马双

来源|数字经济服务创新研究所


限时特惠:
本站持续每日更新海量各大内部创业课程,一年会员仅需要98元,全站资源免费下载
点击查看详情

站长微信:Jiucxh

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注