https://index.zshipu.com/geek002/tags/Ollama/ Recent content in Ollama on 知识铺的博客 Hugo -- gohugo.io zh-CN Tue, 29 Oct 2024 07:56:06 +0000 https://index.zshipu.com/geek002/post/202410/%E6%8A%98%E8%85%BE%E6%9D%82%E8%B0%88%E8%BF%90%E7%94%A8Dify+xinference+ollama%E6%9E%84%E5%BB%BA%E7%9F%A5%E8%AF%86%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 29 Oct 2024 07:56:06 +0000 https://index.zshipu.com/geek002/post/202410/%E6%8A%98%E8%85%BE%E6%9D%82%E8%B0%88%E8%BF%90%E7%94%A8Dify+xinference+ollama%E6%9E%84%E5%BB%BA%E7%9F%A5%E8%AF%86%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ 为了在本地运行一个带有重排序（Rerank）步骤的知识库问答系统，并确保该系统能在NVIDIA GeForce RTX 3060M这样的GPU上高效运作，我们可以结合使用Dify、xinference以及ollama。以下是部署此系统的步骤概述： 部署概览 不含重排序的简易配置如果不需要利用重排序来提升检 https://index.zshipu.com/geek002/post/202410/%E8%BF%90%E7%94%A8DifyXinference%E4%B8%8EOllama%E6%9E%84%E5%BB%BA%E7%9F%A5%E8%AF%86%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 29 Oct 2024 07:55:06 +0000 https://index.zshipu.com/geek002/post/202410/%E8%BF%90%E7%94%A8DifyXinference%E4%B8%8EOllama%E6%9E%84%E5%BB%BA%E7%9F%A5%E8%AF%86%E5%BA%93--%E7%9F%A5%E8%AF%86%E9%93%BA/ 记录下运用Dify + xinference + ollama打造带重排序(Rerank)步骤的知识库问答，更好的是—-即使在我的3060M上其也能完全本地运行并有不错的效果！3060M本地运行llama3-9B的生成速度参照前文。 git clone https://github.com/langgenius/dify.git cd dify/docker docker compose up -d 随后访问本地的http://localhos https://index.zshipu.com/geek002/post/202410/%E5%AE%89%E8%A3%85Dify%E5%B9%B6%E9%9B%86%E6%88%90Ollama%E5%92%8CXinference--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 29 Oct 2024 07:53:06 +0000 https://index.zshipu.com/geek002/post/202410/%E5%AE%89%E8%A3%85Dify%E5%B9%B6%E9%9B%86%E6%88%90Ollama%E5%92%8CXinference--%E7%9F%A5%E8%AF%86%E9%93%BA/ liuqianglong.com 本文介绍了通过Docker安装Dify，然后集成Ollama和XInference，并利用Dify快速搭建一个基于知识库问答的应用。 一、Dify简介 Dify是一款开源的大语言模型（LLM）应用开发平台，旨在帮助开发者快速构建和部署生成式AI应用。以下是Dify的主要功能和特点[ https://index.zshipu.com/geek002/post/202410/Linux%E5%B9%B3%E5%8F%B0%E4%B8%8A%E9%83%A8%E7%BD%B2%E5%92%8C%E8%BF%90%E8%A1%8COllama%E7%9A%84%E5%85%A8%E9%9D%A2%E6%8C%87%E5%8D%97--%E7%9F%A5%E8%AF%86%E9%93%BA/ Tue, 29 Oct 2024 07:43:06 +0000 https://index.zshipu.com/geek002/post/202410/Linux%E5%B9%B3%E5%8F%B0%E4%B8%8A%E9%83%A8%E7%BD%B2%E5%92%8C%E8%BF%90%E8%A1%8COllama%E7%9A%84%E5%85%A8%E9%9D%A2%E6%8C%87%E5%8D%97--%E7%9F%A5%E8%AF%86%E9%93%BA/ Ollama的安装与配置 Ollama提供了一种简单的安装方法，只需在终端中执行以下命令即可完成安装： 1 ollama install 但是，对于那些希望更深入了解和自定义安装的用户，我们也提供了手动安装的步骤。 快速安装 Ollama的安装极为简单，只需在终端中执行以下命令： 1 ollama install 1 curl -fsSL https://ollama.com/install.sh | sh COPY 此命令将自动下载