美光近GPU NAND闪存让数百GB存储直达GPU

美光正研究高耐久性NAND闪存模块，计划部署在距离GPU更近的位置，而非通过多协议连接远端存储池。这一方案允许GPU直接访问数百GB NAND存储池，用于处理非低延迟高带宽工作负载。

美光把NAND直接拉近GPU的部署逻辑

传统AI训练和推理系统中，NAND闪存通常位于远端存储池，通过PCIe、NVMe或以太网等多种协议层层连接。这种架构下，GPU访问存储需要经过多次协议转换和长距离传输，延迟较高且带宽受限。

美光此次探索的近GPU NAND则彻底改变物理布局。它不再把闪存放在机柜另一端或独立存储服务器里，而是直接部署在距离GPU更近的位置，甚至可能与GPU同板或通过简化总线连接。这种“直接放置”的方式大幅缩短了数据路径，减少了协议开销。

从工程角度看，这意味着主板设计、电源分配和散热布局都要重新规划。GPU附近空间本就紧张，塞进数百GB高耐久NAND需要更紧凑的封装和更好的热管理。美光目前还在研究阶段，具体如何实现“更近”还没有公开细节，但核心思路清晰：把存储从“远端池”变成“近端池”，让GPU能以更低开销访问大容量NAND。

这一变化不是简单把硬盘挪近，而是针对AI工作负载重新定义存储层次。传统远端存储适合冷数据备份，近GPU NAND则瞄准那些需要偶尔大批量读取但不追求极致延迟的场景。物理距离缩短直接带来访问效率提升，为后续更大模型训练提供硬件基础。

近GPU NAND针对非低延迟工作负载的定位

AI计算对存储的需求高度分层。HBM等高带宽内存负责最热的数据路径，提供极低延迟和极高带宽，支撑矩阵乘法等核心运算。但HBM容量有限，通常只有几十GB，无法容纳整个大型模型。

美光明确把近GPU NAND定位于非低延迟、高带宽工作负载。这类任务包括模型参数的批量加载、检查点保存、部分激活值重计算、分布式训练中的梯度同步辅助存储等。这些操作不需要HBM那样的微秒级响应，但需要一次性搬运大量数据。

例如，在训练万亿参数模型时，经常需要把部分权重从慢速存储加载到加速器。传统方案下这一步可能需要几秒甚至更久，而近GPU NAND有望把这个时间缩短到可接受范围，同时容量远超HBM。

这种定位让近GPU NAND与现有高速内存形成清晰分工。HBM管“快而少”，近GPU NAND管“多而够快”。两者结合能让整个系统在不显著增加成本的前提下，支撑更复杂的AI工作流。美光强调该方案当前主要面向非低延迟场景，也暗示它不会取代HBM，而是作为存储层次的中间层。

存储密度与耐久性的折中方案如何实现

NAND闪存天生存在密度和耐久性的矛盾。高密度QLC/TLC闪存每单元存储更多比特，但写入寿命显著降低。AI训练中频繁的读写操作会快速消耗闪存寿命，导致可靠性问题。

美光正在开发的正是高耐久性NAND模块。它在存储密度和耐久性之间寻求折中：可能采用经过优化的控制器、特殊的纠错算法、或者选择介于TLC和QLC之间的技术路线，从而在保持较高密度同时提供远超消费级NAND的写入耐久度。

具体技术细节目前尚未披露，但从行业惯例看，这类方案通常会牺牲部分峰值密度来换取更长的程序/擦除周期。美光的目标是让NAND能在GPU附近长期可靠运行，承受AI训练中反复加载模型参数的压力。

这种折中直接服务于AI场景。传统企业级NAND追求极高耐久但密度较低，消费级NAND密度高但寿命短。近GPU NAND试图找到适合AI的平衡点，既能塞进数百GB容量，又能支撑数万次写入循环。这正是美光当前研发重点。

GPU直接访问数百GB NAND对模型规模的实际影响

当前大型AI模型规模增长迅速，但实际部署常常受限于有效可访问内存容量。GPU单卡HBM通常只有几十GB，多卡并行也难以覆盖整个万亿参数模型，导致频繁的模型切分和数据搬运。

近GPU NAND允许GPU直接访问数百GB存储池，这意味着模型参数中更大比例可以常驻在GPU可快速触达的区域。原本需要从远端存储池通过网络拉取的数据，现在可以本地访问，显著降低通信开销。

对模型规模的实际影响是：训练和推理更大模型变得更加可行。例如，原来受限于内存只能训练700B参数模型的系统，在引入近GPU NAND后，有望把有效模型容量提升到1.5T甚至更高，而无需成比例增加昂贵的HBM。

这种容量扩展不是简单堆存储，而是通过缩短访问路径实现的有效容量提升。它特别适合那些参数量极大但激活值计算相对稀疏的模型。美光方案把“支撑更大规模AI模型”作为明确目标，表明其核心价值在于突破现有内存墙，让更多参数直接服务于计算。

与HBM在AI存储层次中的角色分工

HBM以极高带宽和极低延迟著称，是AI加速器不可或缺的高速缓存。但其成本高、容量小、功耗大的特点决定了它只能覆盖最热的数据路径。

近GPU NAND在带宽上明显低于HBM，延迟也更高，但容量可达数百GB，成本则低一个数量级。它适合那些带宽需求中等、容量需求大的场景，与HBM形成清晰互补。

在完整存储层次中，HBM负责实时计算所需的最热权重和激活值，近GPU NAND负责次热数据和模型大部分参数，远端存储池则存放冷数据和检查点。这种分工让系统在性能、容量和成本之间取得更好平衡。

美光方案明确限定用于非低延迟工作负载，等于主动避开了与HBM的直接竞争。这种角色分工对AI硬件设计者意义重大：他们可以在不大幅增加HBM用量的情况下，通过增加近GPU NAND来扩展模型规模，整体系统成本更可控。

对中国AI芯片产业链的供应链启示

中国AI企业正大力发展自主GPU和加速器芯片，对大容量、高效存储的需求极为迫切。美光近GPU NAND路线如果最终落地，将为国内供应链提供新的技术参考。

国内存储厂商可借鉴其高耐久NAND优化思路，在控制器、固件和封装层面开发类似近计算存储产品。这有助于减少对进口高端HBM的依赖，同时满足国产GPU对数百GB级本地大容量存储的需求。

对GPU设计方而言，这一方案提示在芯片架构阶段就要考虑与近端NAND的协同接口。未来国产AI芯片可能需要专门的总线或协议来高效对接这类存储，从而在模型规模上与国际前沿保持同步。

从供应链安全角度看，美光的技术探索也提醒国内企业应尽早布局相关专利和生态。AI模型规模持续扩张的现实需求下，谁能率先提供成本可控的近计算大容量存储，谁就能在下一代AI硬件竞争中占据优势。中国产业链完全有条件基于自身GPU和内存技术，发展出适应本土需求的近GPU存储方案。

整体而言，美光这一探索凸显了AI时代存储架构正在从“远端池化”向“近算分层”演进。中国企业需密切跟踪并及早跟进，才能在内存墙日益突出的背景下，支撑更大规模自主AI模型的训练和部署。

参考来源