梦晨 西风 发自 凹非寺量子位 | 公众号 QbitAI欧洲杯体育

英伟达老黄，成了本年的圣诞老黄。

AI芯片大礼包刚刚曝光：

GPU新核弹B300，以及附带CPU的超等芯片GB300。

高算力，在居品层面上比较B200在FLOPS上提高50%

大显存，从192GB提高到288GB，亦然提高了50%。

△Grok AI绘制

包含72块GB300的“新一代联想单元”GB300 NVL72，更是被评价为“能让OpenAI o1/o3推理大模子的念念维链长度，在高batch size下达到10万tokens的独一决议”。

这与本年3月份“AI春晚”发布的B200系列只隔了几个月。

凭据SemiAnalysis爆料，从第三季度启动，很多AI巨头依然将订单从B200转念到了B300（只须还在第四季度不息购买了部分B200）。

有不少网友惊奇，更新速率确凿太快了！

既是处理了此前传说中B200因联想弱势被动推迟的问题，又是对隔邻AMD MI300系列后续居品将在2025年提高显存容量的复兴。

又一款AI核弹

既然齐是Blackwell架构莫得跨代，B300的算力提高来自那处呢？

凭据此次爆料，主要有三部分：

工艺节点，与B200使用相通的台积电4NP，可是全新流片加多功率，GB300和B300 HGX的TDP永别达到1.4KW、1.2KW，比较之下B200系列永别提高0.2KW架构微翻新，举例在CPU和GPU之间动态分派功率

除了更高FLOPS除外，B300系列的显存也作念了升级：

从8层堆叠的HBM3E升级到12层（12-Hi HBM3E）显存容量从192GB升级到288GB显存带宽保执不变，仍为8TB/s

此外居品寄托层面还有一个大变化：

GB200系列提供通盘Bianca Board，也就包括两颗GPU、一颗CPU、CPU的内存等总共组件聚首成在一块PCB版上。

△GB200主张图

GB300系列将只提供参考板（Reference Board），包括两颗B300 GPU、一颗Grace CPU、HMC（Hybrid Memory Cube），LPCAMM内存模块等组件将由客户自行采购。

这给供应链上的OEM和ODM制造商带来了新的契机。

为推理大模子打造

显存的升级对OpenAI o1/o3一类的推理大模子至关蹙迫，因为推理念念维链长度会加多KVCache，影响batch size和延长。

以一个GB300 NVL72“联想单元”为单元计划时，它使72个GPU能够以极低的延长处理疏导的问题，并分享显存。

在此基础上从GB200升级到GB300，还不错带来很多平正：

每个念念维链的延长更低兑现更长的念念维链编造推理老本处理归拢问题时，不错搜索更各样本，最终提高模子才能

为了施展这些提高，SemiAnalysis举了个更为直不雅的例子。

下图是在不同批处理大小下，使用H100和H200两种GPU处理长序列时，Llama 3.1 405B在FP8精度下的处理速率。

输入建设为1000个token、输出19000个token，由此模拟OpenAI o1和o3模子中的念念维链。

从H100升级到H200，有两个显贵矫正。

一是在总共可比较的batch size中，H200的内存带宽更大（H200 4.8TB/s，H100 3.35TB/s），从而使得处理效果大齐提高了43%。

二是H200可运行更高的batch size，这使得其每秒不错生成的token数目加多了3倍，相应地，老本也减少了约3倍。

内存加多所带来的效益远不啻名义上的这些。

无人不晓，推理模子反应技术一般更长，显贵编造推理技术不错提高用户体验和使用频率。

况兼内存升级兑现3倍性能提高，老本减少3倍，这一提高速率也远超摩尔定律。

除此除外，SemiAnalysis还分析不雅察到，才能更强和具有较着各别化的模子能收取更高的溢价——

前沿模子毛利率超70%，而还在与开源模子竞争的次一级模子毛利率不及20%。

固然，并不是独逐个家能加多内存的芯片公司，但如何英伟达还有杀手锏NVLink。

One More Thing

英伟达消耗级显卡方面，RTX5090的PCB板也初度曝光了～

就在昨天，一张RTX 5090 PCB相片在网上疯转。

特色等于超超超大号。

聚拢此前爆料称5090有可能会配备32GB大显存，有望撑执8K超高清游戏，兑现60fps的通顺游戏体验。

网友们径直坐不住。

对于5090的发布技术，大伙儿预计能够会是1月6日老黄CES演讲的技术。

参考邻接：[1]https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/[2]https://x.com/mark_k/status/1871864813913330003[3]https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/