买得起HBM内存,才能在AI芯片竞争中取得关键地位

明星发关于生活的照片,能让粉丝们感受到他们生活的日常,但一口气发110张照片,实属难见。今(5)日,中国影史首个主演电影票房突破百亿的85后女演员张小斐,通过微博发文称:春暖花开,适合溜达,随后发布了大量的生活照片。蹲在印花地毯上陪伴酣睡的小狗,手握咖啡逛景德镇,无拘无束地亲近大自然,自在地走...

芝能智芯出品

在当前数据中心 GPU 加速器的发展中,HBM

(High Bandwidth Memory)内存的角色变得愈发重要,特别是对于AI训练任务。

英伟达在2024财年结束时,现金和银行投资略低于260亿美元。这使得Nvidia在2024年继续增长的情况下,收入有望突破1000亿美元,其中约50%以上将以净利润的形式体现出来。财大气粗的英伟达这能够轻松购买昂贵的HBM内存,这是数据中心级GPU所需的核心关键组件。

买得起HBM内存,才能在AI芯片竞争中取得关键地位

Part 1

HBM供应紧张,价格攀升

在当前推动英伟达数据中心GPU加速器发展的诸多因素中,最重要的因素并非即将推出的“Blackwell” B100架构,也不是英伟达是否能从台积电取回数百万颗H100和B100 GPU芯片。最关键的因素是金钱,财务状况和资本投入是推动业务发展的决定性因素。

截至2024年1月,Nvidia现金和银行投资略低于260亿美元,且预计本财年的收入将突破1000亿美元,这些资金的主要用途将是为数据中心级GPU购买HBM堆栈DRAM内存所需的费用。

HBM内存的需求和供应情况对GPU加速器业务至关重要。

HBM内存的改进速度在提升,但其供应仍可能无法满足需求,导致HBM内存价格继续攀升。

随着美光科技加入供应商行列,供应量有所改善,但仍然不足以满足需求。这导致HBM内存的价格持续攀升,成为影响GPU加速器价格的重要因素。

在HBM3E市场上,SK Hynix、Micron Technology和三星都展示了其最新的产品。SK Hynix展示了16高HBM3E堆栈,提供48 GB容量和1.25 TB/秒的带宽。Micron Technology宣布开始生产其首款HBM3E内存,具有24 GB容量。而三星推出了Shinebolt HBM3E,提供36 GB堆栈和1.25 TB/秒的带宽。这些产品的推出将进一步推动HBM内存的发展。

HBM4的发布可能需要等到2025年,但目前的HBM3E技术已经在提供更大的容量和更高的带宽。

这使得HBM内存在AI训练领域的应用更加广泛,购买力将直接影响他们在数据中心GPU市场的控制权。在这场技术竞赛中,拥有HBM内存的人将更容易制定规则,掌握AI训练的关键。

Part 2

竞争对手的情况

AMD的现金和投资仅为57.8亿美元,不太可能在HBM内存上投入巨额资金。虽然英特尔有更多的闲置资金,但代工厂的建设非常昂贵,使其无法挥霍在HBM内存上。这使得英伟达在竞争中具备更大的优势。

英伟达GPU加速器业务受益于客户在GenAI繁荣时期愿意为大量数据中心GPU支付高昂费用。原始Hopper H100 GPU的价格已经超过30000美元,而新的H200 GPU有望在价格上进一步增长。这进一步巩固了Nvidia在市场上的地位。

AMD也在努力反击,推出了Antares Instinct MI300X GPU加速器,

具有更高的HBM3容量和带宽,有望通过对MI300X的高收费来保持竞争力,并甚至有可能升级到更先进的HBM3E内存,以保持对Nvidia的竞争。

小结

HBM内存的发展将在一定程度上决定GPU加速器的性能和价格。在当前的市场环境下,Nvidia凭借财务实力和对高价购买HBM内存的能力,能够在AI训练领域占据主导地位。

随着技术的不断进步和市场的竞争,未来GPU加速器和HBM内存的发展将是一个备受关注的领域。

关键词:伟达内存加速器