HBM，急刹车！
公众号记得加星标⭐️，第一时间看推送不会错过。 高带宽内存（HBM）一直是推动人工智能革命的关键技术。尽管HBM相对于其他类型的内存成本较高，但芯片设计人员仍然将越来越多的HBM封装到人工智能加速器中。客户在设计新一代HBM的同时，还通过增加内存立方体数量、提高堆叠密度和高度来提升每个XPU的容量。这导致HBM在DRAM晶圆总产能中所占比例越来越高，最终造成了我们今天所面临的DRAM严重短缺问题。 由于技术和供应链两方面的原因，我们正处于这一趋势转变的边缘。下一代加速器将以 8 层堆栈作为标准，而目前的标准是 12 层堆栈。英伟达已决定在 Rubin Ultra 上采用这一方案，与标准 Rubin 和 B300 相比，其单 GPU 的显存容量从 288GB 降至 192GB。SemiAnalysis 最先报道了这一变化。供应链正在为 8 层堆栈成为新标准做准备，而就在不到一年前，业界还在预期会发展到 16 层堆栈甚至更高。 然而，正如我们在内存模型中所述，我们认为这种趋势还会继续发展。对于内存带宽至关重要的推理工作负载而言，4层HBM可提供最佳的带宽性价比，从而实现最低的单芯片成本。容量在达到一定阈值之前非常重要，超过该阈值后，增加HBM容量带来的收益将递减，而这些增量比特却会带来相同的物料清单成本。这正是各大实验室的硬件团队希望从下一代HBM4开始在其ASIC项目中实现的目标。正如硬件设计人员致力于在直流电源受限的环境下最大化每瓦芯片的容量一样，4层HBM也是最大化每个HBM晶圆芯片容量（另一种稀缺资源）的有效途径。 本报告将阐述产能方程式发生变化背后的原因，证明 HBM 产能经常被闲置，并展示这如何能使实验室的总拥有成本和存储器供应商的盈利能力实现双赢。 HBM趋势已被打破 HBM一直是人工智能工作负载的主要工作内存形式，因为它在容量和带宽之间取得了良好的平衡，可用于通用芯片的训练和推理。SRAM虽然速度很快，但容量较低，因此价格昂贵且在某些任务上存在局限性。传统的DDR DRAM虽然性价比更高，但带宽却很差。 由于 AI 是一种内存密集型工作负载，因此每个加速器中的 HBM 内容一代又一代地持续增加也就不足为奇了：每个加速器更多的立方体、更密集的立方体和更高的堆栈。 每颗芯片HBM内存容量的增加也是成本上涨的主要原因之一。然而，近几个月来，这一趋势发生了逆转。下一代Rubin Ultra每个加速器仅配备192GB HBM内存，而传统Rubin甚至Blackwell Ultra的HBM内存容量都达到了288GB！这与不到一年前的预期相比，简直是巨大的倒退——当时人们还预期Rubin Ultra每个GPU将配备1TB HBM内存！公平地说，当时Rubin Ultra预计拥有4个计算芯片，而现在只有2个。即使考虑到这一点，每个GPU芯片的HBM内存容量也从256GB下降到了96GB。 降低HBM密度的决定很大程度上是出于供应方面的考虑。HBM晶圆非常稀缺。目前晶圆数量不足以满足N3逻辑和英伟达明年预定的CoWoS所需的12层立方体数量。转向8层意味着可以用有限的晶圆生产更多的立方体，从而有助于缩小供应缺口。 明年HBM成本的大幅上涨也无济于事，尽管英伟达比其他主要客户能拿到更优惠的价格。即便在GPU需求远超供应的情况下，随着组件成本的上涨（其中显存成本涨幅最大），英伟达也不得不牺牲部分利润。 HBM密度持续增长的趋势如今正在终结，这不仅是由于供应问题，还受到架构和工作负载需求变化的影响。虽然供应和成本是非常重要的因素，但如果额外的容量对客户而言是必要的，并且能够显著提升性能/总体拥有成本，那么英伟达就不会做出这样的决定。本文旨在论证，在许多情况下，增加每个GPU的HBM容量并不值得付出相应的成本，而未来的HBM 4-hi配置往往才是最佳选择。 更矮的堆栈，相同的带宽 我们想提醒读者注意一个重要的动态：降低堆叠高度虽然会减少单个GPU的容量，但带宽却丝毫不受影响。每个HBM立方体的可用带宽与堆叠高度无关。每个HBM4或HBM4e立方体包含2048个数据I/O，这些数据路径均匀分布在堆叠中所有核心DRAM芯片上。每个芯片最多可支持512个I/O，这意味着4层堆叠是能够访问所有2048个I/O并最大化带宽的最低堆叠高度。然而，供应商和最终用户的成本主要取决于每个立方体的DRAM容量。HBM定价主要取决于每个堆叠的GB数。而用户从HBM获得的价值通常是带宽。因此，降低堆叠高度意味着最终用户每带宽的成本更低，也就是说，选择较低的堆叠高度几乎相当于白送午餐。 带宽还是容量？带宽才是王道 不同的AI工作负载对容量和带宽都有不同的需求，但带宽和容量哪个更重要，则取决于具体的工作负载。我们可以将AI计算分为三大类：预训练计算、后训练/强化学习计
