检索增强生成（Retrieval-Augmented Generation, RAG）技术，最早由Facebook在2020年的一篇论文中提出，旨在通过结合信息检索和生成模型的技术，引入外部知识库信息，以提升处理知识密集型NLP任务（如问答系统、文本摘要等）的效果。大型语言模型（LLMs）虽展现出强大的能力，但在特定领域或知识密集型任务中仍面临挑战，包括产生幻觉、知识过时以及推理过程的不透明性和不可追溯性。RAG技术提供了一种有前景的解决方案，它通过整合来自外部数据库的知识，增强了生成的准确性和可信度，并允许持续的知识更新及特定领域信息的整合。RAG技术的核心可以分为两个主要阶段：首先，在检索阶段，模型从外部知识库中检索与输入文本相关的信息；其次，在生成阶段，将检索到的信息作为输入，利用一个生成模型（例如Llama3），基于这些信息生成最终的响应或文本。
picture.image

高级RAG之36技

在企业级应用中，大模型RAG（Retrieval-Augmented Generation）的落地涉及多个技术要点。本文从架构、模块、技术三个维度，详细解析了RAG的全过程技术要点，包括一个框架、10个核心模块、以及36种关键技术。以下是对这些模块和技术的系统性总结：

1. Query理解（Query NLU）

  • 技术概览：利用大型语言模型（LLM）重构用户Query，提升检索质量。

  • 技术细节：包括意图识别、消歧、分解、抽象等。

  • 技术数量：共7种技术。

2. Query路由（Query Routing）

  • 技术概览：LLM支持的决策步骤，决定下一步行动。

  • 技术细节：决策过程的优化。

  • 技术数量：共1种技术。

3. 索引（Indexing）

  • 技术概览：RAG的核心模块，涉及文档处理和索引构建。

  • 技术细节：包括文档解析、文档切块、嵌入模型、索引类型等。

  • 技术数量：共8种技术。

4. Query检索（Query Retrieval）

  • 技术概览：除了向量检索，还包括图谱与关系数据库检索。

  • 技术细节：图谱与关系数据库的检索技术。

  • 技术数量：共3种技术。

5. 重排（Rerank）

  • 技术概览：对不同检索策略的结果进行重排对齐。

  • 技术细节：包括重排器类型、自训练领域重排器等。

  • 技术数量：共3种技术。

6. 生成（Generation）

  • 技术概览：解决生成过程中的重复、幻觉、通顺性等问题。

  • 技术细节：包括RLHF、偏好打分器、溯源SFT、Self-RAG等。

  • 技术数量：共7种技术。

7. 评估与框架

  • 技术概览：RAG的全链路评价体系，用于上线与迭代。

  • 技术细节：评价体系的构建与优化。

  • 技术数量：共3种技术。

8. RAG新技术

  • 技术概览：探讨RAG的未来发展方向及实现方法。

  • 技术细节：未来技术的预测与规划。

  • 技术数量：共3种技术。

全景框架图

  • 描述：一张全景框架图，梳理了10个模块，36种技术（原版图，可编辑）。

终章之Agentic RAG

  • 描述：大模型RAG问答的终章，指向Agentic RAG的发展方向。
1

向Lv2-智能体提出一个问题。 while (Lv2-智能体无法根据其记忆回答问题) { Lv2-智能体提出一个新的子问题待解答。 Lv2-智能体向Lv1-RAG提问这个子问题。 将Lv1-RAG的回应添加到Lv2-智能体的记忆中。 } Lv2-智能体提供原始问题的最终答案。

例如，Query：“与第五交响曲创作于同一世纪的交通工具是什么？”，Agent分两个子问题来解决：

  • 第一个子问题：“第五交响曲是在哪个世纪创作的？”
  • 第二个子问题：“19世纪发明的交通工具”

picture.image

RAG全景图专栏学习方式

PaperAgent团队打造的RAG全景图专栏囊括70+张图，总计5万余字，专栏之配套包括专业技术交流群、RAG流程与架构图原稿（可自由编辑）等等，专栏之详情咨询：【留言区或私信】 ，备注：RAG专栏

picture.image