2024年10月29日
这是来自Continue 联合创始人 Ty Dunn 的客座文章,介绍了如何设置、探索和找出同时使用Continue 和Ollama 的最佳方式。 要开始使用开源LLMs创建自己的编码助手,您可以通过继续(https://continue.dev/)在Visual Studio Code和JetBrains中轻松实……
阅读全文
2024年10月29日
在互联网时代,SEO(搜索引擎优化)对于网站的成功至关重要,SEO 已经成为网站运营者和数字营销人员必备的一项技能。无论你是新手站长还是经验丰富的 SEO 专家,拥有一套强大的 SEO 工具可以帮助你提升网站的搜索引擎排名,增加流量。为了帮助大家更好地优化网站,以下是个人在实际使用收集到的一些能用……
阅读全文
2024年10月29日
为了在本地运行一个带有重排序(Rerank)步骤的知识库问答系统,并确保该系统能在NVIDIA GeForce RTX 3060M这样的GPU上高效运作,我们可以结合使用Dify、xinference以及ollama。以下是部署此系统的步骤概述: 部署概览 不含重排序的简易配置如果不需要利用重排序来提升检……
阅读全文
2024年10月29日
记录下运用Dify + xinference + ollama打造带重排序(Rerank)步骤的知识库问答,更好的是—-即使在我的3060M上其也能完全本地运行并有不错的效果!3060M本地运行llama3-9B的生成速度参照前文。 git clone https://github.com/langgenius/dify.git cd dify/docker docker compose up -d 随后访问本地的http://localhos……
阅读全文
2024年10月29日
aaaaaaa## 引言 在构建信息检索和生成式 AI 应用时,Retrieval-Augmented Generation (RAG) 模型因其能够从知识库中检索相关信息并生成准确答案的能力而受到开发者们的欢迎。要实现端到端的本地 RAG 服务,不仅需要合适的模型,还需要集成用户友好的界面和高效的推理框架。 通过使用易于部署的 Docker 方案,我们可以简……
阅读全文
2024年10月29日
liuqianglong.com 本文介绍了通过Docker安装Dify,然后集成Ollama和XInference,并利用Dify快速搭建一个基于知识库问答的应用。 一、Dify简介 Dify是一款开源的大语言模型(LLM)应用开发平台,旨在帮助开发者快速构建和部署生成式AI应用。以下是Dify的主要功能和特点[……
阅读全文
2024年10月29日
如果你需要在 Docker 中设置 HTTP 代理,可以通过设置环境变量来实现。以下是设置代理的步骤: 设置环境变量:在你的 shell 会话中设置 HTTP_PROXY 和 HTTPS_PROXY 环境变量。例如: 1 2 export HTTP_PROXY="http://192.168.99.188:1080" export HTTPS_PROXY="http://192.168.99.188:1080" 如果你还需要设置 SOCKS 代理,可以设置 ALL_PROXY 环境变量: 1 export ALL_PROXY="socks5://192.168.99.188:1080" 配置 Docker 服务以自动使用代理设置 如果你希望 Docker 服务在启动时自动应用代理设置,你需要将相应的环……
阅读全文
2024年10月29日
Published at 2024-08-04 | Last Update 2024-08-19 本文整理一些文本向量化(embedding)和信息检索的知识,它们是如今大模型生成文本时常用的技术 —— “增强检索生成”(RAG)—— 的基础: 本文详细介绍了信息检索技术的发展阶段、不同类型的文本向量化(embedding)技术,以及如何将这些技术应用于增强检索生成(R……
阅读全文
2024年10月29日
安装 NVIDIA Container Toolkit 步骤指南 以下是在 CentOS 7 上安装 NVIDIA Container Toolkit 的详细步骤: 1. 设置存储库和 GPG 密钥 首先,您需要设置存储库和 GPG 密钥。请在终端执行以下命令: 1 distribution=$(. /etc/os-release;echo $ID$VERSION_ID) && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.repo | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo 2. 更新包列表并安装 nvidia-container-toolkit 包 接下来,更新您的包列表并安装 nvidia-container-toolkit 包及其依赖项。 1 2 sudo yum clean expire-cache sudo yum install -y nvidia-container-toolkit 3. 配置 Docker 守护进程以识别 NVIDIA 容器运行时 使用……
阅读全文
2024年10月29日
当前位置:首页 > 资讯 > 国外最受欢迎的15个健康网站 资讯 WebMD是一家提供健康信息服务的美国公司。它于1996年由Jim Clark和Pavan Nigam创建的。起初公司叫Healtheon/WebMD,后来被缩短为WebMD。其纳斯达克股票代码为WBMD,总部为美国纽约市,共有1……
阅读全文