AMD Threadripper Halo Station 工作站支持超 1T 参数模型本地运行

AMD 在 IFA 2026 上公布的 Threadripper Halo Station 工作站，基于 96 核心锐龙 Threadripper PRO 处理器，搭配两块 Instinct MI350P 显卡和 2TB 系统内存，支持参数超 1T 的大型模型本地运行。未来 4 卡配置可将 HBM3E 内存总容量提升至 576GB，所有核心算力组件均采用液冷散热。这把‘个人超级计算机’直接把万亿参数模型推理拉到桌面。

96 核 Threadripper PRO 处理器构成本地算力底座

96 核心的锐龙 Threadripper PRO 处理器是整个 Threadripper Halo Station 的计算基础。它为本地运行超 1T 参数模型提供了多线程并行处理能力。万亿参数模型在推理时需要频繁进行矩阵运算和数据调度，处理器核心数量直接决定了同时处理的线程规模。

在实际运行中，96 核设计让系统能高效拆分模型的不同层或不同批次任务。每个核心负责一部分计算负载，避免单核长时间满载导致的瓶颈。这对 T 级模型特别关键，因为这类模型的参数量巨大，单次前向传播涉及的海量浮点运算需要大量并行单元来支撑。

处理器的高核心数还提升了系统对复杂提示的响应速度。本地推理不再依赖云端排队，开发者可以实时迭代实验。信号显示这一配置是工作站级别的，意味着它不是简单堆叠核心，而是针对 AI 工作负载做了优化。

目前还不清楚具体主频和缓存细节，但 96 核的规模已经足以让桌面级设备接近小型服务器的算力输出。这为后续显卡加速打下坚实基础，没有强大的 CPU 调度，大模型的加载和预处理环节很容易卡住。

这一底座让个人用户第一次能在不依赖机房的情况下，获得足以驱动万亿参数模型的通用计算能力。相比过去只能跑百亿或千亿参数模型的消费级平台，Threadripper PRO 把门槛直接拉高了一个数量级。

双 MI350P 显卡直接提供超 1T 参数模型的算力支撑

两块 Instinct MI350P 显卡是 Halo Station 实现 T 级模型本地运行的核心加速器。AMD Instinct 系列专为高性能计算和 AI 训练推理设计，MI350P 在 FP16、BF16 等精度下具备极高的吞吐量。

万亿参数模型的计算需求主要集中在矩阵乘法和注意力机制上。双卡配置通过并行分割模型权重，让每张卡负责一部分参数计算。信号明确指出这一搭配直接支持参数超 1T 的模型本地运行，说明其算力已经达到可实际落地的水平。

在推理场景下，MI350P 的高带宽 HBM 内存能快速加载被频繁访问的权重，减少数据搬运开销。两张卡协同工作时，系统可以采用模型并行或流水线并行策略，进一步提升整体吞吐。

这套配置的意义在于把过去只能在数据中心跑的模型拉到单机。开发者无需把敏感任务上传云端，就能完成实验验证。双卡起步也为未来扩展留出空间，AMD 明确表示后续可升级到四卡。

实际使用中，双 MI350P 能让生成式任务保持可接受的延迟。信号中的“个人超级计算机”定位，表明 AMD 把这套系统定义为桌面可用的高性能方案，而非实验室原型。

2TB 系统内存与 4 卡扩展解决大模型加载瓶颈

2TB 系统内存是 Threadripper Halo Station 解决大模型加载瓶颈的关键。万亿参数模型即使量化后仍需数百 GB 内存存放权重，2TB 容量让整个模型或其主要部分能常驻内存，避免频繁从存储设备换页。

信号指出该系统未来可支持 4 卡配置，从而将 HBM3E 内存总容量提升到 576GB。这意味着除了主机内存，显卡自身的 HBM3E 高速内存也能参与模型切分。4 卡总计 576GB 的 HBM3E 为极大规模模型提供了高速缓存空间。

内存扩展路径清晰：从当前 2TB 系统内存起步，配合双卡的 HBM，再到四卡 576GB HBM3E，形成多层内存层次结构。底层系统内存存放完整模型或中间激活值，高带宽 HBM 则负责当前计算层的热数据。

这一设计直接缓解了以往本地运行大模型时显存不足的问题。过去很多开发者被迫使用 CPU 卸载或分阶段加载，速度慢且不稳定。现在 2TB 加 576GB HBM 的组合，让超 1T 参数模型的完整加载成为可能。

对实际工作流而言，这意味着开发者可以一次性加载模型，然后持续进行长上下文推理或多轮对话，而不用担心内存溢出。信号中的配置数据表明 AMD 针对本地大模型场景做了针对性优化。

液冷方案保障工作站级高负载持续稳定

所有核心算力组件均采用液冷散热，这是 Threadripper Halo Station 能长时间稳定运行 T 级模型的关键。96 核处理器、两块 MI350P 显卡在满载推理时会产生巨大热量，传统风冷难以维持长时间高性能输出。

液冷系统能将核心温度控制在较低范围，避免热节流导致的频率下降。在连续运行万亿参数模型时，系统可能需要数小时甚至数天不间断计算，液冷确保性能曲线平直。

信号特别强调“所有核心算力组件均采用液冷散热”，说明 AMD 不只给 CPU 和 GPU 液冷，还覆盖了电源、内存等关键部件。这套方案降低了噪音，同时提升了整体可靠性。

对开发者来说，稳定运行意味着实验可以通宵进行而不用担心突然降频或宕机。本地推理往往涉及多次迭代调试，液冷提供的持续高负载能力让整个流程更高效。

液冷也反映出这套工作站的定位：它不是偶尔跑跑模型的玩具，而是能承担生产级本地 AI 任务的工具。散热方案直接支撑了前面提到的算力与内存配置的实际落地。

本地 T 级模型运行在成本与隐私上对云端的替代

本地运行超 1T 参数模型在成本上与云端推理形成明显对比。云端服务按调用次数、token 量或 GPU 小时计费，长期大规模实验费用容易失控。而 Halo Station 是一次性硬件投入，后续电力和维护成本相对固定。

对于需要频繁微调、测试不同提示或处理海量私有数据的开发者来说，本地方案能显著降低长期支出。信号中支持参数超 1T 模型本地运行的事实，意味着开发者不再需要为每次实验向云厂商付费。

隐私优势更为突出。很多企业或研究机构的敏感数据无法上传云端，本地运行彻底避免了数据泄露风险。模型推理过程完全在自己控制的硬件上完成，不存在第三方日志或合规问题。

云端虽然能提供弹性算力，但排队延迟和数据安全条款常常让开发者感到受限。Halo Station 把“个人超级计算机”变为现实，让本地成为云端的切实替代选项，尤其适合对隐私有严格要求的场景。

成本与隐私的双重优势，让本地 T 级模型运行不再是遥不可及的奢侈。AMD 这一产品直接把过去只能在云上完成的实验搬到桌面，改变了开发者的工作边界。

对中国 AI 开发者开放万亿参数模型实验的新可能

Threadripper Halo Station 为国内 AI 开发者打开了万亿参数模型实验的新空间。过去受限于算力获取难度和数据合规要求，很多团队难以在本地开展 T 级模型研究。现在这套工作站把门槛降低到单机水平。

国内开发者常常面临云服务访问限制、价格波动和数据出境合规问题。本地运行让团队能完全自主控制实验环境，无需担心外部依赖。信号中 96 核处理器、双 MI350P 和大内存的组合，为独立研究提供了切实可行的硬件基础。

这对高校实验室、中小 AI 企业和个人研究者尤其重要。他们无需申请昂贵的云资源额度，就能进行长上下文理解、多模态实验或领域适配等工作。未来 4 卡 576GB HBM3E 的扩展路径，也为逐步升级留出空间。

本地实验还加速了知识积累。开发者可以反复调试模型而不必每次都上传数据，这有助于形成自主的技术路径。结合液冷保障的长时间稳定运行，国内团队能开展更系统、更深入的验证工作。

总体来看，AMD 这一工作站的出现，让万亿参数模型从云端垄断走向桌面可及。对中国 AI 生态而言，这意味着更多开发者能参与前沿实验，推动本地大模型技术的自主发展。

参考来源

• AMD 公布 Threadripper Halo Station 工作站，支持 T 级模型本地运行