图片

检索增强生成技术（RAG）与大型语言模型（LLMs）综述

摘要作为人工智能领域的一项先进技术，检索增强生成（RAG）技术能够提供可靠且最新的外部知识，极大地便利了多种任务的执行。在人工智能生成内容（AIGC）时代，RAG技术通过其强大的检索能力，为现有的生成型AI提供了额外的知识支持，从而帮助它们生成高质量的输出。尽管大型语言模型（LLMs）在语言理解和生成方面取得了革命性进展，但它们仍存在一些固有的局限性，例如幻觉现象和过时的内部知识。为此，检索增强的大型语言模型（RA-LLMs）应运而生，它们利用外部权威知识库来补充模型的内部知识，以提升LLMs的生成质量。本文综述了RA-LLMs的现有研究，从架构、训练策略和应用三个技术角度进行了全面回顾，并讨论了当前的限制和未来研究的方向。

1. 引言本文首先简要介绍了大型语言模型（LLMs）的基础和最新进展，为理解RAG技术对LLMs的增强作用提供了背景知识。

2. RAG技术概述详细介绍了RAG技术的工作原理，以及它是如何通过检索最新的外部知识来辅助LLMs的。

3. RA-LLMs架构探讨了RA-LLMs的不同架构设计，以及它们是如何整合检索组件和语言模型来提升性能的。

4. 训练策略分析了训练RA-LLMs时采用的不同策略，以及这些策略如何帮助模型更好地学习和适应。

5. 应用领域按应用领域分类，概述了RA-LLMs在各个领域的应用情况，包括它们面临的挑战和展现出的能力。

6. 当前限制与未来方向讨论了RA-LLMs目前存在的限制，并提出了未来研究可能探索的几个有前景的方向。

参考文献[1] 暂无翻译

图片

检索技术与人工智能生成内容（AIGC）

检索技术概述检索技术作为数据挖掘的基础，其核心在于理解查询并从数据源中提取信息。它广泛应用于搜索、问答和推荐系统等领域。例如，搜索引擎如Google、Bing和Baidu通过筛选和检索相关网页，帮助用户高效地找到所需信息。

检索增强生成（RAG）技术RAG技术通过整合外部数据源的信息或知识，增强了生成模型的生成结果。它首先通过检索器从数据库中提取相关文档，然后利用这些文档作为上下文来增强生成过程。

大型语言模型（LLMs）的发展近年来，LLMs因其数十亿级参数的先进架构和在大量训练语料上的预训练，展现出在语言理解和生成等方面的卓越性能。然而，LLMs也存在一些限制，如缺乏特定领域知识、幻觉问题等。

RAG在增强LLMs中的应用为了解决LLMs的限制，RAG技术被用于增强LLMs在问答、AI4Science和软件工程等任务中的能力。例如，通过动态检索科学文献的问答系统和利用RAG增强分子发现中的上下文学习能力。

检索增强大型语言模型（RA-LLMs）的综述本综述旨在提供RA-LLMs的全面概述，包括其架构、训练和应用。我们将从LLMs的背景知识开始，回顾现有研究，并讨论RAG中检索的必要性和应用频率，总结RA-LLMs的主要训练技术和应用，最后讨论关键挑战和未来方向。

RAG框架的组成部分RAG框架通常包括检索、生成和增强三个主要过程。检索过程根据LLMs输入的查询，从外部知识源提供相关信息。检索器是关键组件，衡量查询与文档之间的相关性以有效检索信息。检索流程还包括预检索和后检索过程的增强。

结论通过RAG技术，我们能够推进LLMs的发展，解决其固有限制，并在各种知识密集型任务中发挥重要作用。

图片
生成器的设计对于文本生成任务至关重要，其结构通常取决于具体的应用场景。目前，文本生成领域主要有两种架构：仅解码器和编码器-解码器结构。随着商业闭源的大型基础模型的快速发展，黑箱生成模型在RA-LLMs中占据了主导地位。本节将对这两类生成器进行简要介绍，区分为可访问参数的白箱模型和不可访问参数的黑箱模型。 白箱与黑箱模型

  • 白箱模型：这类模型的参数对用户是可见的，可以进行详细的分析和调整。
  • 黑箱模型：与白箱相对，这类模型的内部参数不对外公开，用户无法直接访问或修改。 增强设计 增强设计是RA-LLMs的核心，涉及集成检索和生成过程。本小节将介绍三种主要的增强设计方法，它们分别作用于生成器的输入、输出和中间层，如图2所示。
  1. 输入层增强：通过改进输入数据的质量和结构，提高生成器的性能。
  2. 输出层增强：优化生成结果的准确性和相关性，以满足特定需求。
  3. 中间层增强：在生成过程中的中间阶段进行调整，以增强模型的泛化能力和适应性。 每种增强设计都有其特定的应用场景和优势，合理选择和组合这些方法可以显著提升RA-LLMs的整体性能。
    图片
    在探讨检索增强型生成模型（RAG）的分类时，我们可以根据是否需要训练将其分为两大类：无需训练的方法和基于训练的方法。以下是对这两类方法的详细解析：

无需训练的方法无需训练的方法在推理过程中直接应用检索到的知识，通过将检索文本嵌入到提示中来实现高效的计算。这种方法的优势在于无需额外训练，但可能存在的缺点是检索器和生成器没有针对特定任务进行优化，这可能导致知识利用不够高效。

基于训练的方法基于训练的方法进一步细分为三种训练策略：

  1. 独立训练方法：这种方法中，RAG流程中的每个组件都是独立训练的。
  2. 顺序训练方法：先对一个模块进行训练，然后冻结该模块，用其来指导其他部分的训练。
  3. 联合训练方法：同时对检索器和生成器进行训练，以实现两者的协同优化。

综述接下来，我们将对无需训练、独立训练、顺序训练和联合训练方法进行全面回顾。这些方法的比较可以通过图 4 来直观理解。

专知便捷查看

  • 想要便捷下载相关综述，请关注专知公众号，并回复或发送消息“RGLM”，即可获得《**RAG 与 LLMs 的结合
  • 迈向检索增强的大型语言模型综述**》的下载链接。 注意：以上内容为根据原文重新编写，以提高条理性与结构性。
    图片

点击“阅读原文”，了解使用专知****，查看获取100000**+AI主题知识资料**