图片

利用RAG与知识图谱提升客户技术支持响应时间

发布时间：2024年04月26日

摘要本篇文章探讨了如何通过结合检索增强生成（RAG）和知识图谱（KG）的方法，显著提升客户技术支持的响应时间。通过构建知识图谱保留问题间的内在联系和结构信息，我们的方法在关键检索和文本生成指标上均取得了显著提升，并已在LinkedIn客户服务团队中成功应用。

背景客户技术支持对于技术产品的成功至关重要，它直接影响到客户的满意度和忠诚度。快速检索历史案例对于提高技术支持效率具有重要意义。然而，传统的技术，如嵌入式检索（EBR）、大语言模型（LLM）和RAG，在处理历史问题工单时存在局限性。

传统方法的局限性

  1. 结构信息的丢失：传统方法将问题工单视为普通文本，忽略了其固有的结构和相互关联性，导致检索精度受损。
  2. 文本分割的影响：为了适应模型的上下文长度限制，长篇幅的问题工单被分割，可能导致关键信息的遗漏，影响答案的完整性和质量。

我们的解决方案我们提出了一种创新的客户服务问答方法，该方法结合了RAG和KG，具体步骤如下：

  1. 构建知识图谱：利用历史数据构建知识图谱，保留问题内部结构和问题间的联系。
  2. 解析用户查询：在问答环节，系统解析用户查询，从知识图谱中调取相关子图。
  3. 生成答案：结合调取的子图信息，生成对客户查询的回答。

实证评估我们的基准数据集评估显示，该方法在以下指标上取得了显著提升：

  • 检索指标（MRR，Recall@K，NDCG@K）：MRR提升了77.6%。
  • 文本生成指标（BLEU，ROUGE，METEOR）：BLEU提升了0.32。

成果该方法已在LinkedIn客户服务团队中应用约六个月，成功将每个问题的平均解决时间缩短了28.6%。

结论通过结合RAG和知识图谱的方法，我们不仅提升了检索的精确度，同时也提高了回答的质量，为技术产品的客户服务带来了实质性的改进。

图片

客户技术支持问答系统的技术架构分析

本文将深入解析一个集成了检索增强生成（RAG）和知识图谱（KG）的客户技术支持问答系统。系统通过两个主要阶段——知识图谱的构建和问答阶段，来实现高效的问题解答。

知识图谱的构建

双层架构设计系统采用双层架构，区分问题内部和问题间的关系。例如，工单 ENT-22970 通过树状结构展现，与 PORT-133061 存在克隆链接，同时与 ENT-1744 和 ENT-3547 因语义相似性而隐式连接。

构建过程构建过程分为两个阶段：

  1. 工单内部解析：将工单内容转化为树状结构，使用规则提取与大语言模型Agent进行混合解析。
  2. 工单间连接：基于文本语义相似性，将单独的树合并为图，使用嵌入技术和阈值机制识别相关工单。

生成Embedding利用BERT、E5等预训练文本嵌入模型为图节点生成嵌入，特别针对文本量大的部分，如“问题摘要”、“问题描述”等。嵌入存储于向量数据库中，如QDrant，确保文本长度满足模型要求。

答案生成

实体识别与意图探测从用户查询中抽取命名实体P和意图集I。例如，对于查询“用户无法登录LinkedIn的登录问题如何复现？”，抽取实体 P 和意图集 I。

基于嵌入的子图检索通过EBR的工单识别和大语言模型Agent应用驱动的子图提取，从知识图中抽取与用户查询匹配的相关子图。

EBR工单识别利用命名实体集 P，通过计算余弦相似度，锁定最相关的 n 个历史问题工单。

效果评估使用“黄金标准”数据集进行效果评估，对比传统EBR方法和本研究所提出的方法。评估指标包括MRR、recall@K和NDCG@K，以及问答性能的BLEU、ROUGE和METEOR评分。

结论本系统通过先进的技术架构，实现了对客户技术支持问题的高效解答，通过知识图谱的构建和基于嵌入的检索，提高了问题解决的准确性和效率。

图片
在最新的研究中，作者提出了一种新的检索和问答方法，该方法在多个评估指标上均显示出了显著的性能提升。具体来说，该方法在平均倒数排名（Mean Reciprocal Rank, MRR）上的表现尤为突出，相较于基线提升了77.6%，这表明其在检索效率方面具有显著的优势。此外，在自动评估指标BLEU评分上，该方法也取得了0.32分的提高，进一步证明了其在问答准确性方面的卓越表现。

生产环境应用案例

在生产环境中，该方法的应用案例尚未详细描述。但可以预见的是，随着检索效率和问答准确性的提升，该方法将为实际应用带来显著的改进和价值。
图片
在LinkedIn的客户服务团队中，一项创新的系统被部署以提高服务效率。该团队被随机分为两组，一组使用新系统，另一组则继续使用传统的手动方法。结果显示，使用新系统的团队在解决问题的中位时间上实现了显著的减少，达到了28.6%。这一成果不仅证明了新系统的有效性，也突显了其在提升客户服务效率方面的潜力。

系统部署详情

  • 部署背景：为了测试新系统的效果，LinkedIn的客户服务团队进行了一次随机分组的实验。

  • 实验设计：团队被分为两组，一组采用新系统，另一组维持原有操作方式。

  • 结果分析：使用新系统的团队在解决问题的时间上有了显著的缩短，中位时间减少了28.6%。

系统优势

  • 效率提升：新系统通过优化问题解决流程，显著提高了工作效率。

  • 多产品线覆盖：系统的应用不局限于单一产品，而是覆盖了多个产品线，显示了其广泛的适用性。

论文信息

社群信息

  • 加入社群方式：通过微信号 iamxxn886 联系加入。 以上内容是对LinkedIn客户服务团队使用新系统的实验和结果的概述，展现了新系统在实际应用中带来的积极影响。