https://index.zshipu.com/ai001/tags/%E7%89%A9%E8%81%94%E7%BD%91/ Recent content in 物联网 on 知识铺的博客 Hugo -- gohugo.io zh-CN Sun, 30 Aug 2026 00:00:00 +0000 https://index.zshipu.com/ai001/post/20260830/14MB-%E4%BA%8C%E8%BF%9B%E5%88%B6%E5%A1%9E%E8%BF%9B-45M-%E5%8F%82%E6%95%B0%E5%B7%A5%E5%85%B7%E8%B0%83%E7%94%A8%E6%A8%A1%E5%9E%8BNeedle-2-%E5%A6%82%E4%BD%95%E8%B7%91%E5%9C%A8%E6%89%8B%E6%9C%BA%E7%AB%AF/ Sun, 30 Aug 2026 00:00:00 +0000 https://index.zshipu.com/ai001/post/20260830/14MB-%E4%BA%8C%E8%BF%9B%E5%88%B6%E5%A1%9E%E8%BF%9B-45M-%E5%8F%82%E6%95%B0%E5%B7%A5%E5%85%B7%E8%B0%83%E7%94%A8%E6%A8%A1%E5%9E%8BNeedle-2-%E5%A6%82%E4%BD%95%E8%B7%91%E5%9C%A8%E6%89%8B%E6%9C%BA%E7%AB%AF/ Needle 2 把 45M 参数的工具调用模型打包成 14MB 单一二进制，运行仅需 28MB 内存，在三星 A 系列手机上达到 300+ tok/s。Cactus Compute 开源的这个项目，直接把工具调用能力塞进端侧设备。 端侧 AI 部署一直面临内存、存储和功耗的三重限制。传统大语言模型参数量动辄几十亿甚至上千亿，量化后模型文件仍以 GB 计，普通手机