Xinference本地运行大模型bge-reranker-v2-m3教程 -- 知识铺
liuqianglong.com Xinference 本地运行大模型 本文介绍了如何使用 Docker 部署 Xinference 推理框架，并演示了启动和运行多种大模型的过程，包括大语言模型、图像生成模型以及多模态模型。同时，还提供了关于嵌入和重排模型的启动指导，为后续 Dify 调用这些模型打下基础。 一、Xinference 简介 Xorbits Inference (Xinference) 是一个开源分布式推理框架，专为执行大规……