2024年8月20日
Faiss向量数据库使用教程:Docker化部署与向量化执行 一、前言 Faiss(Facebook AI Similarity Search)是由Facebook AI开发的一个高效相似性搜索库和工具集。它能够支持数十亿级别的向量存储,并在毫秒级别完成相似性搜索,为推荐系统、图像和文本检索等任务提供了强大的解……
阅读全文
2024年8月20日
高性能向量检索库(milvus & faiss)简介 Milvus和Faiss都是高性能向量检索库,它们能够快速检索出与目标向量最相似的向量。本文将对这两个库进行介绍和对比,并提供Milvus和Faiss的安装及使用教程。 什么是Milvus和Faiss? Milvus是一款开源的向量数据……
阅读全文
2024年8月20日
检索增强生成技术(RAG)概述 引言生成式人工智能(GenAI)在文本生成、文本到图像生成等领域展现出强大的能力,但同时也存在一些局限性,如幻觉倾向、数学能力不足和缺乏可解释性。为了克服这些问题,**检索增强生成(Retrieval-Augmented Generation, RAG)**技术应运而生。 R……
阅读全文
2024年8月20日
检索增强生成技术(RAG)概述 1. 背景与意义检索增强生成(Retrieval Augmented Generation,简称RAG)技术是一种结合信息检索与大型语言模型的创新方法。该技术致力于解决大型模型在推理过程中可能出现的不准确问题,即所谓的“幻觉”问题。 2. 技术原理RAG技术的核心在于利用知识库来……
阅读全文
2024年8月20日
检索增强生成(RAG) 概述检索增强生成(Retrieval Augmented Generation,简称 RAG)是一种技术,它通过整合外部数据源来增强大型语言模型(LLM)的能力。RAG 技术的核心应用流程包括索引创建和检索生成两个主要步骤。 索引流程 数据获取:从各种数据源中获取所需数据。 数据索引:在……
阅读全文
2024年8月20日
大型语言模型在实际业务中的应用挑战 引言大型语言模型(LLMs)因其出色的多功能性和智能化,已深入我们生活和工作的方方面面。然而,当应用于实际业务场景时,通用的基础大模型往往难以满足具体需求,主要原因如下: 1. 知识的局限性模型的知识库完全依赖于其训练数据,而主流大模型如ChatGPT……
阅读全文
2024年8月20日
读取文件 使用的 pdf 文档是一个 地址树模型的中文地址提取方法.pdf 文档,内容截图如下: 参数说明 基本的文档处理参数如下: chunk_overlap = 50 chunk_size = 250 embed_model = 'm3e-large' vs_type = 'fassi' zh_title_enhance = False 在进行文本处理时,合理设置参数对于确保信息完整性和处理效率至关重要。以下是对几个关键参数的详细解释: 文本块重叠量 (chunk_overlap): 此参数设置为50,意味……
阅读全文
2024年8月20日
2024全球软件研发技术大会:AI大模型的工程化实践与未来展望 导读AI大模型技术的产品化和工程化正在成为业界的新焦点。随着AI工程化从概念验证迈向实际应用,其应用前景日益广阔。本文将从设计与研发的角度,深入分享360公司在AI工程化流程中的实践经验,并对AI工程化的未来发展方向提……
阅读全文
2024年8月20日
语义检索系统构建指南 概述在构建推荐系统中,召回和排序是核心环节。本次讨论的重点是使用Milvus搭建召回系统,并通过语义索引模型抽取向量进行检索,以加速索引过程。 语义搜索系列文章概览 无监督预训练语义索引召回:介绍了SimCSE和Diffcse两种方法。 阅读更多 基于in-batch……
阅读全文
2024年8月20日
要在离线环境中安装 Milvus,您可以按照以下步骤操作: 步骤 1: 下载 Docker 镜像 在联网的机器上,首先需要下载 Milvus 的 Docker 镜像。您可以通过访问 Docker Hub 或 Milvus 官方镜像库来获取。以 Milvus 2.4.5 版本为例,您可以使用如下命令进行下载: docker pull milvusdb/milvus:2.4.5 步骤 2: 准备配置文件 下载所需的配置文件,这些文件通常可以在 Milvus 的官方文档或 GitHub 仓库中……
阅读全文