https://index.zshipu.com/geek001/tags/Milvus/ Recent content in Milvus on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 20 Aug 2024 02:54:44 +0000 https://index.zshipu.com/geek001/post/20240801/Milvus-%E5%92%8C-Faiss-%E5%AE%89%E8%A3%85%E5%8F%8A%E4%BD%BF%E7%94%A8%E6%95%99%E7%A8%8B--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 20 Aug 2024 02:54:44 +0000 https://index.zshipu.com/geek001/post/20240801/Milvus-%E5%92%8C-Faiss-%E5%AE%89%E8%A3%85%E5%8F%8A%E4%BD%BF%E7%94%A8%E6%95%99%E7%A8%8B--%E7%9F%A5%E8%AF%86%E9%93%BA/ 高性能向量检索库(milvus & faiss)简介 Milvus和Faiss都是高性能向量检索库，它们能够快速检索出与目标向量最相似的向量。本文将对这两个库进行介绍和对比，并提供Milvus和Faiss的安装及使用教程。 什么是Milvus和Faiss？ Milvus是一款开源的向量数据 https://index.zshipu.com/geek001/post/20240801/%E5%9F%BA%E4%BA%8EMilvus%E7%9A%84%E8%AF%AD%E4%B9%89%E6%A3%80%E7%B4%A2%E7%B3%BB%E7%BB%9F%E6%90%AD%E5%BB%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 20 Aug 2024 02:47:44 +0000 https://index.zshipu.com/geek001/post/20240801/%E5%9F%BA%E4%BA%8EMilvus%E7%9A%84%E8%AF%AD%E4%B9%89%E6%A3%80%E7%B4%A2%E7%B3%BB%E7%BB%9F%E6%90%AD%E5%BB%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ 语义检索系统构建指南 概述在构建推荐系统中，召回和排序是核心环节。本次讨论的重点是使用Milvus搭建召回系统，并通过语义索引模型抽取向量进行检索，以加速索引过程。 语义搜索系列文章概览 无监督预训练语义索引召回：介绍了SimCSE和Diffcse两种方法。 阅读更多 基于in-batch https://index.zshipu.com/geek001/post/20240801/%E7%A6%BB%E7%BA%BF%E7%8E%AF%E5%A2%83%E4%B8%8BMilvus%E5%AE%89%E8%A3%85%E6%8C%87%E5%8D%97--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 20 Aug 2024 02:46:44 +0000 https://index.zshipu.com/geek001/post/20240801/%E7%A6%BB%E7%BA%BF%E7%8E%AF%E5%A2%83%E4%B8%8BMilvus%E5%AE%89%E8%A3%85%E6%8C%87%E5%8D%97--%E7%9F%A5%E8%AF%86%E9%93%BA/ 要在离线环境中安装 Milvus，您可以按照以下步骤操作： 步骤 1: 下载 Docker 镜像 在联网的机器上，首先需要下载 Milvus 的 Docker 镜像。您可以通过访问 Docker Hub 或 Milvus 官方镜像库来获取。以 Milvus 2.4.5 版本为例，您可以使用如下命令进行下载： docker pull milvusdb/milvus:2.4.5 步骤 2: 准备配置文件 下载所需的配置文件，这些文件通常可以在 Milvus 的官方文档或 GitHub 仓库中 https://index.zshipu.com/geek001/post/20240801/%E5%90%91%E9%87%8F%E6%A3%80%E7%B4%A2%E6%8A%80%E6%9C%AF%E8%AF%A6%E8%A7%A3%E5%8F%8A%E5%BA%94%E7%94%A8%E6%A1%88%E4%BE%8B--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 20 Aug 2024 02:42:44 +0000 https://index.zshipu.com/geek001/post/20240801/%E5%90%91%E9%87%8F%E6%A3%80%E7%B4%A2%E6%8A%80%E6%9C%AF%E8%AF%A6%E8%A7%A3%E5%8F%8A%E5%BA%94%E7%94%A8%E6%A1%88%E4%BE%8B--%E7%9F%A5%E8%AF%86%E9%93%BA/ 向量检索技术是一种高效的搜索方法，广泛应用于多个领域。以下是对这项技术的详细解析以及其应用场景的梳理。 向量检索技术概述向量检索技术允许我们在向量空间中快速找到与查询向量最相似的向量。这项技术通常基于度量方式，如欧式距离，实现相似向量的搜索。在实际应用中，非结构化数据如文本、图像和 https://index.zshipu.com/geek001/post/20240801/%E5%BC%80%E6%BA%90%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E6%AF%94%E8%BE%83%E5%88%86%E6%9E%90--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 20 Aug 2024 02:41:44 +0000 https://index.zshipu.com/geek001/post/20240801/%E5%BC%80%E6%BA%90%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E6%AF%94%E8%BE%83%E5%88%86%E6%9E%90--%E7%9F%A5%E8%AF%86%E9%93%BA/ 语义搜索和检索增强生成(RAG)的革命性影响 随着技术的不断进步，语义搜索和检索增强生成（RAG）正在彻底改变我们与互联网的互动方式。这种变革背后的核心技术之一就是向量数据库。选择合适的向量数据库对于满足特定需求至关重要。本文将提供对四个主要开源向量数据库的全面比较，以帮助您做出明 https://index.zshipu.com/geek001/post/20240801/%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E5%A5%A0%E5%9F%BA%E8%80%85Milvus%E8%A7%A3%E8%AF%BBAIGC%E5%85%83%E5%B9%B4%E5%9C%A8%E5%BA%94%E7%94%A8%E6%A8%A1%E5%9E%8B%E4%B8%8E%E6%A3%80%E7%B4%A2%E9%A2%86%E5%9F%9F%E7%9A%84%E5%BD%B1%E5%93%8D--%E7%9F%A5%E8%AF%86%E9%93%BA/ Wed, 14 Aug 2024 11:14:55 +0000 https://index.zshipu.com/geek001/post/20240801/%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E5%A5%A0%E5%9F%BA%E8%80%85Milvus%E8%A7%A3%E8%AF%BBAIGC%E5%85%83%E5%B9%B4%E5%9C%A8%E5%BA%94%E7%94%A8%E6%A8%A1%E5%9E%8B%E4%B8%8E%E6%A3%80%E7%B4%A2%E9%A2%86%E5%9F%9F%E7%9A%84%E5%BD%B1%E5%93%8D--%E7%9F%A5%E8%AF%86%E9%93%BA/ 2023年是AI应用开发领域的重要转折点，这一年里，大语言模型（LLMs）因其卓越的自然语言处理能力而受到广泛关注，同时也推动了向量数据库技术的发展。向量数据库，如Zilliz Cloud和Milvus，成为了实现高效多模态数据检索的关键技术。 关键技术与进展 大语言模型（LLMs）: https://index.zshipu.com/geek001/post/20240801/Milvus-%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E8%BF%9B%E9%98%B6%E7%B3%BB%E5%88%97%E4%B8%A8%E6%9E%84%E5%BB%BA-RAG-%E5%A4%9A%E7%A7%9F%E6%88%B7%E5%A4%9A%E7%94%A8%E6%88%B7%E7%B3%BB%E7%BB%9F-%E4%B8%8A--%E7%9F%A5%E8%AF%86%E9%93%BA/ Wed, 14 Aug 2024 11:10:55 +0000 https://index.zshipu.com/geek001/post/20240801/Milvus-%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E8%BF%9B%E9%98%B6%E7%B3%BB%E5%88%97%E4%B8%A8%E6%9E%84%E5%BB%BA-RAG-%E5%A4%9A%E7%A7%9F%E6%88%B7%E5%A4%9A%E7%94%A8%E6%88%B7%E7%B3%BB%E7%BB%9F-%E4%B8%8A--%E7%9F%A5%E8%AF%86%E9%93%BA/ 专栏/ Milvus 向量数据库进阶系列丨构建 RAG 多租户/多用户系统 (上） 2024年08月05日 18:35214浏览 · 1点赞 · 0评论 [ Milvus向量数据库进阶系列 在与社区成员的交流过程中，我们了解到大家最为关切的是如何针对具体的实战场景选择合适的向量数据库解决方案或功能组合。因此，在&quot https://index.zshipu.com/geek001/post/20240730/Milvus%E4%BD%9C%E4%B8%BAOpenAI%E5%B5%8C%E5%85%A5%E5%BC%8F%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E7%9A%84%E6%8E%A2%E8%AE%A8--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:40:50 +0000 https://index.zshipu.com/geek001/post/20240730/Milvus%E4%BD%9C%E4%B8%BAOpenAI%E5%B5%8C%E5%85%A5%E5%BC%8F%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E7%9A%84%E6%8E%A2%E8%AE%A8--%E7%9F%A5%E8%AF%86%E9%93%BA/ 目前向量数据库的种类很多，也有很多性能对比的报告，可以参考这一份：https://ann-benchmarks.com/glove-100-angular_10_angular.html 电影描述生成与搜索示例 简介本文旨在展示如何使用OpenAI生成电影描述的嵌入式数据，并在Mil https://index.zshipu.com/geek001/post/20240730/Milvus-%E5%AE%9E%E6%88%98BERT-%E4%B8%8E-Milvus-%E6%9E%84%E5%BB%BA%E6%96%87%E6%9C%AC%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:39:50 +0000 https://index.zshipu.com/geek001/post/20240730/Milvus-%E5%AE%9E%E6%88%98BERT-%E4%B8%8E-Milvus-%E6%9E%84%E5%BB%BA%E6%96%87%E6%9C%AC%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E--%E7%9F%A5%E8%AF%86%E9%93%BA/ 谷歌BERT模型及其在NLP领域的影响 BERT模型由谷歌开发，自推出以来，在自然语言处理（NLP）领域产生了深远影响。它是一个先进的语言表示模型，具备广泛的应用潜力。 项目概述本文项目旨在结合Milvus和BERT模型，构建一个高效的文本搜索引擎。通过BERT模型将文本数据转换为向 https://index.zshipu.com/geek001/post/20240730/Milvus-%E8%80%81%E5%8F%8B%E6%B1%87AI%E4%BA%91%E5%8E%9F%E7%94%9F%E4%B8%8E%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E7%9A%84%E7%A2%B0%E6%92%9E%E5%9B%9E%E9%A1%BE--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:38:50 +0000 https://index.zshipu.com/geek001/post/20240730/Milvus-%E8%80%81%E5%8F%8B%E6%B1%87AI%E4%BA%91%E5%8E%9F%E7%94%9F%E4%B8%8E%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E7%9A%84%E7%A2%B0%E6%92%9E%E5%9B%9E%E9%A1%BE--%E7%9F%A5%E8%AF%86%E9%93%BA/ 一场久违的老友对谈，一次精妙的AI探索碰撞。 近日，Milvus老友汇·Arch Meetup在上海圆满落幕。本次Meetup亮点颇多，不仅得到了KubeBlocks社区的大力支持，而且邀请了来自网易伏羲和蚂蚁集团的资深专家，他们现场分享了各自对于AI时代云原生与向量数据库的深入思考 https://index.zshipu.com/geek001/post/20240730/AI%E4%B8%8EMilvus%E7%BB%93%E5%90%88%E6%8E%A8%E5%8A%A8%E6%97%B6%E5%B0%9A%E5%BA%94%E7%94%A8%E5%8F%91%E5%B1%95--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:37:50 +0000 https://index.zshipu.com/geek001/post/20240730/AI%E4%B8%8EMilvus%E7%BB%93%E5%90%88%E6%8E%A8%E5%8A%A8%E6%97%B6%E5%B0%9A%E5%BA%94%E7%94%A8%E5%8F%91%E5%B1%95--%E7%9F%A5%E8%AF%86%E9%93%BA/ 寻找与自己穿搭风格相似的明星 在上一篇文章中，我们探索了如何使用人工智能技术，特别是开源AI向量数据库Milvus和Hugging Face模型，来寻找与自己穿搭风格相似的明星。本文将进一步介绍如何对项目代码进行微调，以获得更详细和准确的结果，并在文末提供彩蛋。 项目代码微调 1. 代码获取 https://index.zshipu.com/geek001/post/20240730/%E9%95%BF%E6%96%87%E6%9C%AC%E6%90%9C%E7%B4%A2%E5%9C%BA%E6%99%AF%E4%B8%8B%E7%9A%84Milvus%E5%90%91%E9%87%8F%E6%90%9C%E7%B4%A2%E6%8E%A2%E7%B4%A2--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:36:50 +0000 https://index.zshipu.com/geek001/post/20240730/%E9%95%BF%E6%96%87%E6%9C%AC%E6%90%9C%E7%B4%A2%E5%9C%BA%E6%99%AF%E4%B8%8B%E7%9A%84Milvus%E5%90%91%E9%87%8F%E6%90%9C%E7%B4%A2%E6%8E%A2%E7%B4%A2--%E7%9F%A5%E8%AF%86%E9%93%BA/ 大家好，我是来自广州的小井。今天，我将继续与大家深入探讨Milvus及其在文档搜索领域的应用，特别是它在处理语句和段落搜索方面的能力。在文档搜索业务中，我们经常需要处理的不仅仅是单个词汇，更多的是整个语句或段落。让我们直接切入正题。 回顾与展望 在之前的分享中，我通过将“开心”、“快 https://index.zshipu.com/geek001/post/20240730/Zilliz%E8%B6%85%E8%B6%8AMilvus%E7%9A%84%E7%9F%A5%E8%AF%86%E9%93%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:35:50 +0000 https://index.zshipu.com/geek001/post/20240730/Zilliz%E8%B6%85%E8%B6%8AMilvus%E7%9A%84%E7%9F%A5%E8%AF%86%E9%93%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ 向量数据库的崛起与Milvus的优势 在人工智能和大模型技术迅猛发展的今天，向量数据库应运而生，成为处理高维数据的关键技术。以下是对向量数据库核心观点的梳理和Milvus的详细介绍。 一、向量数据库的市场前景 头部公有云厂商的商用计划 今明两年，头部公有云厂商将正式商用自己的向量数据库产 https://index.zshipu.com/geek001/post/20240730/Milvus-%E5%AE%9E%E6%88%98%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F%E6%9E%84%E5%BB%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:34:50 +0000 https://index.zshipu.com/geek001/post/20240730/Milvus-%E5%AE%9E%E6%88%98%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F%E6%9E%84%E5%BB%BA--%E7%9F%A5%E8%AF%86%E9%93%BA/ Milvus 向量数据库 上一篇文章介绍了Milvus向量数据库安装部署，这次我们来介绍一下Milvus的应用实例。 Milvus是一款强大的向量搜索引擎，它通过相似性搜索的特性，可以广泛应用于多个领域。以下是Milvus的一些主要应用场景： 图像相似性搜索：在庞大的图像数据库中，快速检索出与查询 https://index.zshipu.com/geek001/post/20240730/%E5%81%9C%E6%AD%A2%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%B9%BB%E8%A7%89MilvusAI-Native%E6%97%B6%E4%BB%A3%E7%9A%84%E6%95%B0%E6%8D%AE%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:33:50 +0000 https://index.zshipu.com/geek001/post/20240730/%E5%81%9C%E6%AD%A2%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%B9%BB%E8%A7%89MilvusAI-Native%E6%97%B6%E4%BB%A3%E7%9A%84%E6%95%B0%E6%8D%AE%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ Milvus：AI Native时代的数据库 随着人工智能技术的飞速发展，向量数据库在大模型应用中扮演着越来越重要的角色。本文将围绕Milvus这一高性能向量数据库，探讨其在AI时代的应用和未来展望。 一、Milvus与AI时代的CVP Stack 1. Zilliz的开源+云解决方案Milvus是由 https://index.zshipu.com/geek001/post/20240730/Milvus-%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E5%85%A5%E9%97%A8%E7%9F%A5%E8%AF%86--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:32:50 +0000 https://index.zshipu.com/geek001/post/20240730/Milvus-%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93%E5%85%A5%E9%97%A8%E7%9F%A5%E8%AF%86--%E7%9F%A5%E8%AF%86%E9%93%BA/ Milvus 简介与使用指南 1. Milvus 是什么？ Milvus 是一个由深度学习社区于2019年创建的向量数据库。它主要用于存储、索引和管理由深度神经网络和其他机器学习模型生成的大量嵌入向量。Milvus 专为处理输入向量的查询而设计，能够高效地索引高达万亿级别的向量。与传统的关系数据库不同，Milvus 专注于处理 https://index.zshipu.com/geek001/post/20240730/Milvus%E6%8E%A2%E7%A9%B6%E4%B8%8E%E5%8E%8B%E6%B5%8B%E5%88%86%E6%9E%90--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 09:31:50 +0000 https://index.zshipu.com/geek001/post/20240730/Milvus%E6%8E%A2%E7%A9%B6%E4%B8%8E%E5%8E%8B%E6%B5%8B%E5%88%86%E6%9E%90--%E7%9F%A5%E8%AF%86%E9%93%BA/ 向量搜索与Milvus性能测试分析 背景 在进行向量搜索性能测试的过程中，我们深入分析了Milvus，并与社区和开源贡献者进行了沟通。我们发现了一些性能问题，并提出了解决方案，同时得到了社区的反馈。 向量搜索与Milvus 2.1 向量搜索简介 向量搜索，即ANNS（Approximate Nearest Neighbor S https://index.zshipu.com/geek001/post/20240730/Windows%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93Milvus_milvus-windows--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 06 Aug 2024 06:22:54 +0000 https://index.zshipu.com/geek001/post/20240730/Windows%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2%E5%90%91%E9%87%8F%E6%95%B0%E6%8D%AE%E5%BA%93Milvus_milvus-windows--%E7%9F%A5%E8%AF%86%E9%93%BA/ Milvus简介 概述 Milvus是一个开源的向量数据库，以其灵活性、稳定性和快速查询能力而著称。它能够处理TB级别的向量数据，支持高效的数据增删改查和近实时查询，是大规模向量数据存储与检索的理想选择。 特点 灵活性：Milvus集成了多种向量索引库，如Faiss、NMSLIB和Ann