知识铺的博客

专注于Android、Java、Go语言(golang)、移动互联网、项目管理、软件架构

包含标签移动端推理的文章

14MB 二进制塞进 45M 参数工具调用模型：Needle 2 如何跑在手机端

2026年8月30日

Needle 2 把 45M 参数的工具调用模型打包成 14MB 单一二进制，运行仅需 28MB 内存，在三星 A 系列手机上达到 300+ tok/s。Cactus Compute 开源的这个项目，直接把工具调用能力塞进端侧设备。端侧 AI 部署一直面临内存、存储和功耗的三重限制。传统大语言模型参数量动辄几十亿甚至上千亿，量化后模型文件仍以 GB 计，普通手机……

2025 2025趋势 24/7部署 502错误 Adobe集成 Agent Agent Builder Agent Kit AgentKit AI AI Agent AI for Science AIGC Aion AIOps AI产品 AI代理 AI伦理 AI修图 AI创业团队 AI创作 AI创意 AI初创 AI医疗 AI发展 AI同质化 AI商业 AI图像生成 AI基准测试 AI基础设施 AI大模型 AI安全 AI工作流 AI工具 AI市场扩张 AI平台 AI广告设计 AI应用 AI应用构建 AI开发 AI开发工具 AI意识 AI技术 AI投资 AI报告 AI播客 AI收购 AI方案 AI日报 AI时代 AI智能体 AI模型 AI模型测试 AI测试 AI海报 AI漫画 AI生产力 AI生图 AI生成 AI生成图 AI用户增长 AI短视频 AI研究员 AI编程 AI自动化 AI芯片 AI行业 AI视频 AI视频生成 AI训练数据 AI设计 AI证券 AI评估 AI质量控制 AI赋能 AI辅助开发 AI运维 AI销售 AI陪伴 AI零售 AI顾问 AI预测 AltStore AMD AMD合作 Anthropic API API可靠性 API自动化 App SDK Apple Apps SDK App开发 AR眼镜 AutoML AWS Bad Gateway Bot Mode B端产品 B端设计 Candle Canva CapCut CG ChatGPT ChatKit Chrome CI/CD Claude Claude AI Claude Code Claude应用 Claude统计数据 Codex Coding Agents Connector Registry Copilot Coze CRM CUDA生态 Cursor Cursor IDE DeepMind DeepSeek Descript DevDay DevDay 2025 DevOps Dify DSL Epic Games Fediverse集成 Figure 03 Figure AI Firefox FNIRS Gemini Gemini 2.5 Flash Gemini 3 Gemini Enterprise Geoffrey Hinton Git Git Worktrees GitHub Google Google Labs Google评论 GPT-4o GPT-5 GPT-5.6 Luna GPTBots GPU Grafana Graphify Grok Imagine GUI智能体 Guru Harness 设计 Harvey AI HBM4内存 Helix神经网络 Hermes Hy4 Preview IMAX Instagram风格界面 Intel Xe IPhone替代应用市场 IP设计 Ironclad IT运维 JavaScript JPEG XL KaruHunters Kubernetes Library Genesis Linus Torvalds Linux Linux内核 LLM LLM市场分析 LLM应用 M4 M5 Pro M5芯片 M6芯片 Mac Mac Mini Mac Studio MCP Mercury Meta MI450X MiniMax Model Hardware Standard MonkeyCode MRNA疫苗 N8n Nano Banana NotebookLM Npm Nvidia OAuth令牌攻击 Opal Opal工具评测 Opal平台 OpenAI OpenRouter Pace Capital Panther Lake Pinterest Postinstall Prometheus Pura X View Quick Suite Qwen-UI-Agent RAG RAG技术 Ray-Ban Redbean Reflect Orbital Reflection AI Replit Rubin GPU SaaS Salesforce Sam Altman Scattered Lapsus$ Hunters SDK Seedream SEO Shopify Sop Sora Sora 2 Sora2评测 Sora应用 SOTA SQLite Stripe Sundar Pichai Temporal Tequila算法 Terraform Thunderbit Tokens Token成本 Transcript 日志 Twitter UI UI设计 Vercel VPN Vscode Web开发 Wi-Fi 7 Windows Workflow X.com XAI XR技术 YC孵化器 Zero语言 Z世代三期临床上下文工程专业服务自动化世界模型个性化医疗个性化治疗个性化营销中国市场中国科学家中国立场中小企业中层管理临床辅助云服务互动广告交互模式产业链产品停运产品出海产品增长产品对比产品推荐产品经理产品设计京东人工智能人工智能商业化人工智能普及人工智能生态系统人工智能监管人工智能风险人形机器人人效代理服务器代码审查代码生成代码质量仿人机器人企业AI 企业AI部署企业支出企业落地伯克利AI研究低价作品集使用技巧使用教程供应链供应链安全供应链攻击健康服务健康管理光污染免费工具免费资源全栈开发全球化布局全球扩张内容创作内容创作工具内容生产创业创业趋势创作工具创意团队创意工具创意设计创新勒索软件包管理器医学影像医疗AI 医疗健康医疗影像医疗服务医疗案例半导体华为协作协作学习卡通形象卫星星座印度AI产业即时通讯即梦即梦 4.0 即梦4.0 取消机制可查询可执行文件可灵可维护性可观测性可视化可视化工作流可视化编辑器可靠性合同管理合规风控品牌设计商业创意商业模式商业洞察团队协作固态电池图像生成图像编辑图片格式地域差异基座模型基础设施基础设施安全处理器外语教育多模态多模态AI 多模态模型多邻国大模型大模型评测大语言模型大语言模型性能天文观测太阳能发电姚顺宇学术背景宇树科技安全护栏安全研究安全策略安全网关宕机宝马实用指南实践实践指南实践案例审批门客户服务客户画像客户管理家庭机器人容器编排容错恢复对话式编程就业焦虑就业转型嵌入式智能工作台工作流工作流编排工具工具对比工具对比分析工具开发工具推荐工具教程工具测试工具盘点工具调用市场趋势带货视频干货并行开发广告创意广告营销应用应用商店垄断应用安全应用平台应用改版应用案例应用繁荣开发工具开发生态开发者开发者工作流开发者工具开发者生态开发者社区开源工具开源模型开源项目影片制作微软德勤快速原型开发性能提升手机形态扣子空间技术技术专家技术创新技术变革技术大会技术平台技术应用技术挑战技术教程技术文章技术详解技术趋势投资抖音折叠屏拖拽式开发拖拽式界面指数退避推理能力推荐提示工程提示词播客市场操作指南操作步骤操作系统支付故障排查效率工具效率提升敏捷开发教学设计教师节教程教育场景数字内容创作数字化转型数字员工数字市场法数据中心数据分析数据可视化数据导出数据抓取数据泄露文化差异文生视频技术新品发布新能源无代码开发早稻田大学早筛智能体智能体开发智能决策智能助手智能合规智能投顾智能设备智能购物车暗网交易更新最佳实践本地工作流机器人机器人维修机器人运维机器学习机械臂架构设计案例分析桌面平台检索增强生成模型对比分析模型投毒模型无关性模型采购模型量化求职面试流量红利测试资产浏览器深势科技深度学习源代码泄露潜在客户热门应用版本控制版权侵权版权诉讼物理AI 物理模拟物联网生产事故生产力工具生产环境生态战略生成式AI 用户体验电信安全电商海报电子病历电池技术电路断路器百度知识分享知识图谱知识库短视频研发流程社交媒体社交媒体营销社交应用神操作神经网络票务系统私域私域变现私域运营种子轮融资科技创新科技巨头竞争科研基础设施科研自动化移动端基准移动端推理稳定性保障竞争端侧AI 算法交易米哈游米歇尔·德沃雷系统设计红杉资本约翰·克拉克约翰·马蒂尼斯纽西兰组织变革经济指数分析结构化评测集绩效体系编程工具编程语言网络安全网络问题网页爬虫罕见病研究聊天组件肝癌诊断肿瘤疫苗脑科学腾讯腾讯混元自动化自动化工具自动驾驶自托管自然语言编程艾博生物芯片技术苏纳克英伟达英国首相英特尔英语学习苹果苹果模式药物研发获客落地应用蓝领工人虚拟伴侣虚拟助手融资视觉设计视频制作视频生成视频社交视频编辑计算机视觉设计设计展示设计工具设计细节评论管理词汇记忆语音钓鱼诺贝尔物理学奖课堂海报调试谷歌谷歌量子霸权负载均衡质量门购物体验赚钱软件包签名软件工程软件开发软件架构达摩院运维方案运维自动化迷你应用重试风暴量产量子电路量子计算量子隧穿金融数据金融科技销售工具销售漏斗销售自动化销售预测错误处理阔直板防御性编程阿里隐私保护集体诉讼零代码开发零售媒体零售科技音画同步音频生成风险投资飞书马斯克鲁宾天文台