2024年8月20日
在这一期中，我们延续上一期 Bert 中文短句相似度计算 Docker CPU镜像，继续使用 huggingface transformer 和 sentence-transformer 类库，并将英语句子生成 bert embedding，然后引入 faiss 类库来建立索引，最后查询最接近的句子。 Docker 镜像获取方式 本期 docker 镜像获取方式为，关注 MyEncyclopedia 公众号后回复 docker-faiss-transformer 即可获取如下完整命令。 1 docker run -p 8888:8888 myencyclopedia/faiss-demo bash -c 'jupyter notebook --allow-root --port 8888 --NotebookApp.token= --ip 0.0.0.0' 然……
阅读全文
2024年8月20日
Faiss向量数据库使用教程：Docker化部署与向量化执行 一、前言 Faiss（Facebook AI Similarity Search）是由Facebook AI开发的一个高效相似性搜索库和工具集。它能够支持数十亿级别的向量存储，并在毫秒级别完成相似性搜索，为推荐系统、图像和文本检索等任务提供了强大的解……
阅读全文
2024年8月20日
高性能向量检索库(milvus & faiss)简介 Milvus和Faiss都是高性能向量检索库，它们能够快速检索出与目标向量最相似的向量。本文将对这两个库进行介绍和对比，并提供Milvus和Faiss的安装及使用教程。 什么是Milvus和Faiss？ Milvus是一款开源的向量数据……
阅读全文
2024年8月20日
检索增强生成技术（RAG）概述 引言生成式人工智能（GenAI）在文本生成、文本到图像生成等领域展现出强大的能力，但同时也存在一些局限性，如幻觉倾向、数学能力不足和缺乏可解释性。为了克服这些问题，**检索增强生成（Retrieval-Augmented Generation, RAG）**技术应运而生。 R……
阅读全文
2024年8月20日
检索增强生成技术（RAG）概述 1. 背景与意义检索增强生成（Retrieval Augmented Generation，简称RAG）技术是一种结合信息检索与大型语言模型的创新方法。该技术致力于解决大型模型在推理过程中可能出现的不准确问题，即所谓的“幻觉”问题。 2. 技术原理RAG技术的核心在于利用知识库来……
阅读全文
2024年8月20日
检索增强生成（RAG） 概述检索增强生成（Retrieval Augmented Generation，简称 RAG）是一种技术，它通过整合外部数据源来增强大型语言模型（LLM）的能力。RAG 技术的核心应用流程包括索引创建和检索生成两个主要步骤。 索引流程 数据获取：从各种数据源中获取所需数据。 数据索引：在……
阅读全文
2024年8月20日
大型语言模型在实际业务中的应用挑战 引言大型语言模型（LLMs）因其出色的多功能性和智能化，已深入我们生活和工作的方方面面。然而，当应用于实际业务场景时，通用的基础大模型往往难以满足具体需求，主要原因如下： 1. 知识的局限性模型的知识库完全依赖于其训练数据，而主流大模型如ChatGPT……
阅读全文
2024年8月20日
读取文件 使用的 pdf 文档是一个 地址树模型的中文地址提取方法.pdf 文档，内容截图如下： 参数说明 基本的文档处理参数如下： chunk_overlap = 50 chunk_size = 250 embed_model = 'm3e-large' vs_type = 'fassi' zh_title_enhance = False 在进行文本处理时，合理设置参数对于确保信息完整性和处理效率至关重要。以下是对几个关键参数的详细解释： 文本块重叠量 (chunk_overlap): 此参数设置为50，意味……
阅读全文
2024年8月20日
2024全球软件研发技术大会：AI大模型的工程化实践与未来展望 导读AI大模型技术的产品化和工程化正在成为业界的新焦点。随着AI工程化从概念验证迈向实际应用，其应用前景日益广阔。本文将从设计与研发的角度，深入分享360公司在AI工程化流程中的实践经验，并对AI工程化的未来发展方向提……
阅读全文
2024年8月20日
语义检索系统构建指南 概述在构建推荐系统中，召回和排序是核心环节。本次讨论的重点是使用Milvus搭建召回系统，并通过语义索引模型抽取向量进行检索，以加速索引过程。 语义搜索系列文章概览 无监督预训练语义索引召回：介绍了SimCSE和Diffcse两种方法。 阅读更多 基于in-batch……
阅读全文
