https://index.zshipu.com/geek002/tags/Xinference/ Recent content in Xinference on 知识铺的博客 Hugo -- gohugo.io zh-CN Mon, 11 Nov 2024 06:02:51 +0000 https://index.zshipu.com/geek002/post/202411/Dify%E4%B8%8EXinference-GPU%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%B2%E5%85%A8%E6%B5%81%E7%A8%8B--%E7%9F%A5%E8%AF%86%E9%93%BA/ Mon, 11 Nov 2024 06:02:51 +0000 https://index.zshipu.com/geek002/post/202411/Dify%E4%B8%8EXinference-GPU%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%B2%E5%85%A8%E6%B5%81%E7%A8%8B--%E7%9F%A5%E8%AF%86%E9%93%BA/ 在本地 GPU 上部署 Dify 服务 在之前的文章《RAG 项目对比》中，我们探讨了多个RAG框架，并最终确定Dify作为最适合的选项。接下来，本文将详细介绍如何在本地GPU设备上部署Dify服务。 选择模型加载框架 Dify的设计理念之一是将模型的加载过程独立出来，这意味着我们需要选择一个合适的模型加 https://index.zshipu.com/geek002/post/202410/%E6%8A%98%E8%85%BE%E6%9D%82%E8%B0%88%E8%BF%90%E7%94%A8Dify+xinference+ollama%E6%9E%84%E5%BB%BA%E7%9F%A5%E8%AF%86%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 29 Oct 2024 07:56:06 +0000 https://index.zshipu.com/geek002/post/202410/%E6%8A%98%E8%85%BE%E6%9D%82%E8%B0%88%E8%BF%90%E7%94%A8Dify+xinference+ollama%E6%9E%84%E5%BB%BA%E7%9F%A5%E8%AF%86%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ 为了在本地运行一个带有重排序（Rerank）步骤的知识库问答系统，并确保该系统能在NVIDIA GeForce RTX 3060M这样的GPU上高效运作，我们可以结合使用Dify、xinference以及ollama。以下是部署此系统的步骤概述： 部署概览 不含重排序的简易配置如果不需要利用重排序来提升检 https://index.zshipu.com/geek002/post/202410/%E8%BF%90%E7%94%A8DifyXinference%E4%B8%8EOllama%E6%9E%84%E5%BB%BA%E7%9F%A5%E8%AF%86%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 29 Oct 2024 07:55:06 +0000 https://index.zshipu.com/geek002/post/202410/%E8%BF%90%E7%94%A8DifyXinference%E4%B8%8EOllama%E6%9E%84%E5%BB%BA%E7%9F%A5%E8%AF%86%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ 记录下运用Dify + xinference + ollama打造带重排序(Rerank)步骤的知识库问答，更好的是—-即使在我的3060M上其也能完全本地运行并有不错的效果！3060M本地运行llama3-9B的生成速度参照前文。 git clone https://github.com/langgenius/dify.git cd dify/docker docker compose up -d 随后访问本地的http://localhos https://index.zshipu.com/geek002/post/202410/%E5%AE%89%E8%A3%85Dify%E5%B9%B6%E9%9B%86%E6%88%90Ollama%E5%92%8CXinference--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 29 Oct 2024 07:53:06 +0000 https://index.zshipu.com/geek002/post/202410/%E5%AE%89%E8%A3%85Dify%E5%B9%B6%E9%9B%86%E6%88%90Ollama%E5%92%8CXinference--%E7%9F%A5%E8%AF%86%E9%93%BA/ liuqianglong.com 本文介绍了通过Docker安装Dify，然后集成Ollama和XInference，并利用Dify快速搭建一个基于知识库问答的应用。 一、Dify简介 Dify是一款开源的大语言模型（LLM）应用开发平台，旨在帮助开发者快速构建和部署生成式AI应用。以下是Dify的主要功能和特点[ https://index.zshipu.com/geek002/post/202410/Xinference%E6%9C%AC%E5%9C%B0%E8%BF%90%E8%A1%8C%E5%A4%A7%E6%A8%A1%E5%9E%8Bbge-reranker-v2-m3%E6%95%99%E7%A8%8B--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 29 Oct 2024 07:46:06 +0000 https://index.zshipu.com/geek002/post/202410/Xinference%E6%9C%AC%E5%9C%B0%E8%BF%90%E8%A1%8C%E5%A4%A7%E6%A8%A1%E5%9E%8Bbge-reranker-v2-m3%E6%95%99%E7%A8%8B--%E7%9F%A5%E8%AF%86%E9%93%BA/ liuqianglong.com Xinference 本地运行大模型 本文介绍了如何使用 Docker 部署 Xinference 推理框架，并演示了启动和运行多种大模型的过程，包括大语言模型、图像生成模型以及多模态模型。同时，还提供了关于嵌入和重排模型的启动指导，为后续 Dify 调用这些模型打下基础。 一、Xinference 简介 Xorbits Inference (Xinference) 是一个开源分布式推理框架，专为执行大规