M1 · 硬件与基建 · 第 1.2 节

显存是操作台，带宽是传送带，算力只是工人的手速

客户只会问"这卡多少 T"，但真正决定模型能不能跑、跑得多快、贵不贵的，是另外两个数。这一节教你当场把模型翻译成"要几张卡"。

约 20 分钟 7 个知识点 立场：掏钱方 / 交付方 含 1 个滑块 + 1 个计算器 + 4 道自测

这一节解决什么

客户几乎只会问一个参数："这卡多少算力？多少 T？"而现实是——决定你的模型能不能跑、跑得多快、贵不贵的，往往不是算力，是显存容量和显存带宽。显存不够，模型根本装不进去，算力再高也是零；带宽不够，推理时工人一直在等料，算力被闲置成摆设。这一节把 GPU 从"参数表上的一个数字"拆成三个可算的部件：算力（工人手速）、显存（操作台大小）、带宽（传送带宽度），然后用一套手算方法，把客户的模型翻译成"要几张卡、要什么档位"。

你将学会用三件套定位瓶颈 你将看懂FP8/FP4 的口径陷阱 你将能算显存三段账 你将能估推理速度上限

拆开一个 GPU

GPU 为什么快：不是"核心多"，是"几万条流水线同时开工"

先纠正一个认知：GPU 快，不是因为它的核心"更聪明"，而是因为它把同一件事同时交给几万个人做。这在硬件上叫 SIMT（单指令多线程）——一个指令下去，几千个线程一起动。AI 的计算恰好就是这种"无数个相同的乘加"堆出来的，天作之合。

而真正让 AI 起飞的，是 GPU 里的一类特殊单元：Tensor Core（张量核心）。它像一个专做矩阵乘法的"特种兵班组"——同样的芯片面积、同样的时间，它干 AI 的活比普通核心快几倍到几十倍。所以你看 GPU 算力时，那个大数字几乎都是 Tensor Core 贡献的；如果计算没走 Tensor Core（比如用老代码、用不支持的算子），实际速度可能只有标称的零头。

把一张卡想成一个"流水线车间"

三个部件各管一段，升级时最容易忽略的恰恰是"操作台"和"传送带"

NVLink 是车间与车间之间的内部通道（1.3 讲）；本节只盯"一个车间内部"的三个部件。

甲方最常见的自我伤害：按算力峰值买卡，按显存实际用卡

拿一张 T 数最大的卡去比，买回来发现：模型稍大一点就 OOM（显存溢出），或者并发一上来速度就崩。真正决定"能不能用、好不好用"的两个数是显存容量和显存带宽，而不是峰值算力。本节其余六个知识点，都是围绕这两个数展开的。

“GPU 快在"同时开工"，Tensor Core 是里面的特种兵；但决定实用性的，是操作台大小和传送带宽度。

读懂算力

算力与精度：同一个数字，为什么不能用同一把尺子量

先把单位说清：FLOPS = 每秒浮点运算次数，TFLOPS 是"每秒一万亿次"，PFLOPS 是"每秒一千万亿次"；TOPS 口径相同，但统计的是整数运算。客户嘴里的"这卡多少 T"，默认就是 TFLOPS。而"多少 T"这个数字本身几乎没有意义——它必须挂在"什么精度"和"稀疏还是密集"上才有意义。

"这张卡 4 P、那张卡 50 P"——这种横比几乎一定是错的。先建立一个直觉：数字精度越低，计算越快、越省显存，但"糊"的程度越高。就像记账：用"精确到分"记最准，但慢；用"精确到万"记很快，但小钱全丢了。AI 之所以能用低位宽，是因为模型对"细微误差"有一定容错——FP8 和 FP4 这两代低位宽的出现，是近两年推理成本大降的核心原因之一。

精度	每个数占位	大白话	典型用途
FP64 / FP32	8 / 4 字节	精密记账，最准最慢	科学计算、部分传统仿真；AI 几乎不用
BF16 / FP16	2 字节	AI 的"标准精度"，准与快的平衡点	训练主力、精度敏感的推理
FP8	1 字节	开始"粗记"，绝大多数场景肉眼无差	训练（配合混合精度）、高吞吐推理
FP4 / NVFP4	0.5 字节	粗略到"只记大概"，但换来成倍速度与显存节省	新一代卡的高吞吐推理；Blackwell 起的重点卖点
INT8 / INT4	1 / 0.5 字节	整数版粗记，工程上常用	量化部署，尤其是显存紧张时的保险做法

最常踩的坑：稀疏（Sparse）口径

厂商规格表里几乎都会标一个"稀疏"算力，它是利用模型里大量零值做的加速，通常接近密集（Dense）口径的 2 倍。你如果在 A 家读"稀疏"、在 B 家读"密集"，就会得出"B 家差一半"的荒谬结论。比算力前先做三件事：统一精度、统一稀疏口径、标注训练还是推理。另外，"峰值算力"永远不等于实测。

犀利观点：今天不用 FP8/FP4 口径谈算力，谈判已经落后一代

NVIDIA 从 Blackwell 起就把 FP4（NVFP4）当成头号卖点，Rubin 单卡 NVFP4 推理做到 50 PFLOPS，核心逻辑就是"用更低精度换更高吞吐"。你的话术应该是："在您这个精度要求下，这张卡实际能跑多少 tokens/秒？"——而不是"这张卡多少 P"。前者是业务语言，后者是参数表演。

“比算力先对齐三件事：精度、稀疏口径、训练还是推理；峰值不等于实测，最后一定要用真实模型压测。

第一道硬门槛

显存是操作台：它决定你的模型"能不能装得下"

这是选型里第一道硬门槛，也是"一票否决"的一关。显存不够，模型根本加载不进去，卡再多、算力再高也没用。而显存的大小主要由 HBM 决定——它是一种把内存芯片一层层叠起来、贴着 GPU 放的高级内存，成本高、产能紧，所以也是整卡最贵、最稀缺的部分之一。

HBM 代际	单堆容量（常见）	单堆带宽（量级）	它解决了什么
HBM3e	8 层 24 GB / 12 层 36 GB	约 1.2 TB/s	H200 / B200 / Blackwell Ultra 这一代的主力，把"能装下大模型"变成常态
HBM4	12 层 36 GB / 16 层最高 48 GB	最高约 3.3 TB/s（约为 HBM3e 的 2.7 倍）	接口位宽从 1024 位翻倍到 2048 位，不加电压就翻倍带宽；三星于 2026 年 2 月率先量产
HBM4E	12 层最高 48 GB	最高约 4.0 TB/s	面向 Rubin Ultra 一代；2026 年已开始送样

可交互 · 滑一滑模型多大，单卡还装得下吗

拖动滑块改变模型参数量，系统按 FP16（每个参数 2 字节）实时估算权重显存。注意：这只是第一段账，KV Cache 与缓冲还没算进去。

2B · 小模型70B · 主力大模型

26GB

单张 48 GB 级卡比较稳

权重之外还要留出 KV Cache 与 20%–40% 的缓冲余量，所以"权重能装下"不等于"这台机器能用"。

讲师讲法：显存就是厨师的"操作台"

HBM3e 是原来那张台子，HBM4 是把台子横向加宽了一倍（接口从 1024 位到 2048 位）——不是把刀磨快，而是让台面变宽，能同时摆下更多食材。这就解释了为什么 HBM4 的核心不是"跑得更快"，而是"在同样时间里能递更多东西"。台子宽了，你才能端得起更大的模型、开更多的并发。

脱敏复盘 · 部署不成功，根因是显存

"权重 140 GB，那我买 192 GB 的卡不就够了？"

场景客户买了中端卡准备跑 70B 级模型。按 FP16 算，光权重就要约 140 GB，而单卡只有几十 GB 显存，加载直接失败。

三条解法① 量化：FP16 转 FP8 或 INT4，权重大约砍到 1/2 或 1/4；② 多卡显存合并：但必须靠 NVLink 级别的互联，跨机跑会慢很多；③ 换显存更大的卡型。

最隐蔽的坑别把"模型权重的显存"当成全部。真正让显存爆掉的，往往是 KV Cache、激活值和框架开销，尤其在长上下文、高并发、长思考（Agent）场景下。只看"权重 140 GB、买 192 GB 卡"就下单，是最经典的翻车姿势——上线第一天就被上下文吃光显存。

安全做法给权重之外再留 20%–40% 的余量做缓冲。这三条路的代价，正好是 1.3（互联）与本节知识点 05（算术）的交叉点。

显存占用的具体算法见知识点 05；多卡合并的互联条件见 1.3；量化对质量的影响与验证见 1.6 / 1.12。

真正的瓶颈

显存带宽是传送带：推理快不快，八成看它

先记结论：大模型推理（尤其是聊天这种一次出一个字的场景），瓶颈通常不是算力，是显存带宽。为什么？因为生成每一个字，模型都要把整套权重从显存里读一遍。你的卡算得再快，也得等数据从传送带上送过来——传送带宽度，直接决定了"每秒能蹦出几个字"。

估速度上限

公式很朴素：理论 tokens/秒 ≈ 显存带宽 ÷ 每轮要读的数据量，而每轮要读的大致就是"模型权重的字节数"。70B 模型 FP16：权重约 140 GB；若卡带宽 4.8 TB/s（H200 量级），4800 ÷ 140 ≈ 34 tokens/秒。

看量化怎么"拓宽有效传送带"

同一模型量化到 FP8（每参数 1 字节），权重降到约 70 GB：4800 ÷ 70 ≈ 68 tokens/秒。精度减半，速度大约翻倍——所以"量化"几乎是推理上线的必有动作，不是可选项。

换更强的卡会怎样

换到带宽约 8 TB/s 一级的卡（B200 量级）：8000 ÷ 140 ≈ 57 tokens/秒；升到 HBM4、带宽约 22 TB/s 的新一代（Rubin GPU 量级），理论值可到 150 tokens/秒 以上。同样一个模型，速度差出四五倍，靠的不是算力涨了，而是传送带宽了。

判断"够不够快"

把人眼可接受的速度定个锚：单人聊天通常要 20–50 tokens/秒才"跟得上手"。于是可以反推：跑 70B@FP16、用 4.8 TB/s 的卡，单请求理论约 34 tokens/秒——够用但没余量；要同时服务 20 个人还得凑吞吐，就必须靠批处理与量化。

同样是 70B 模型，速度差在哪

batch = 1 的粗算示例 · 单位 tokens/秒 · 实际受并发、调度、算子效率影响

深色柱是 4.8 TB/s 卡上跑 FP16 的基准（约 34），teal 柱是同一张卡换成 FP8（约 68）——不加硬件、只换精度，速度就翻倍。人眼可接受的区间是 20–50 tokens/秒，超过这个区间再往上加，体验上的收益会迅速变小。

犀利观点：一句话让客户觉得你专业

"您这个场景卡在传送带上，不在工人手速上。"客户抱怨"我买了这么多 T 的卡，怎么还是慢"，九成是因为把推理当训练理解——训练是"算力密集"，推理常常是"带宽密集"。同样的预算，与其加算力，不如加带宽 / 上量化 / 加批处理，性价比高得多。

FDE 现场动作：30 秒跑完"带宽粗算"五步

① 记下模型参数量与目标精度 → ② 算出权重大小（GB）→ ③ 用目标卡带宽 ÷ 权重，得到单请求 tokens/秒的量级 → ④ 看它是否落在 20–50 的"可接受区间" → ⑤ 不够就依次考虑"量化 → 换带宽更大的卡 → 加批处理 / 多卡"。这套流程 30 秒能跑完，客户会觉得你"一眼就看到了病根"。

手算显存账

手把手算：权重 + KV Cache + 开销，三段加起来

这是本节最实用的一段：一张纸、一支笔，当着客户的面算出"你要几张卡"。显存占用分三块，缺一不可。别嫌它枯燥——算完这一遍，客户对你的信任度会直接上一个台阶，因为你把"玄学"变成了"算术"。

140GB

第 1 段 · 权重：70B 模型 FP16（每参数 2 字节）

参数量 × 每数字节

80GB

第 2 段 · KV Cache：32 人同时在线、每人 8K 上下文

2.5 GB × 32

约 250GB

示例测算 · A 方案 FP16：权重 + KV + 缓冲（余量取 20%–40%）

超过单卡上限，必须多卡或量化

约 120GB

示例测算 · B 方案 FP8：权重 70 + KV 减半 40 + 缓冲

1 张 192 GB 级卡就能覆盖

可交互 · 计算器显存三段账 + 速度上限，改数字就能重算

默认是按 70B 模型、FP16、32 人并发、每人 8K 上下文的示例。把"每参数字节"改成 1（FP8）、"每 token KV"改成 0.155，就得到 B 方案的结果。所有数字当场变，客户看着你算。

一段最朴素的算术，往往比一页产品参数表更能拿到客户的信任——因为你把"玄学"变成了他能自己复核的账。

讲师讲法：显存账就是"装修预算"

权重是主材（占大头、可量化替代）；KV Cache 是水电改造（看不见但一定超支，而且越住越懂）；缓冲余量是预留金（不留一定翻车）。客户最容易的误解是"我主材买了 140 平的，台子就够用了"——而 KV Cache 这个"水电"会在长对话、多人在线时把预算悄悄吃穿。务必强调"权重只是起步价，KV Cache 才是长期开销"。

犀利观点："要不要量化"不是技术偏好，是采购决策

上例里，一个"下不下 FP8"的选择，直接决定你买 1 张卡还是 2 张卡——按整机口径，这可能是几十万的差别。FDE 的价值就在这里：不是替客户选技术，而是替客户把"技术选择"翻译成"钱的选择"，并给出一个可验证的中间路线——先 FP8 跑起来，用真实业务数据验证质量，不行再退回 FP16 加卡。先省钱上线、再按数据加码，永远比一步买满更聪明。

横向对比

关键规格横评：显存、带宽、算力，一张表看清代际差

下面这张表是本节的知识底座。读表要点：先看显存容量（能不能装），再看带宽（跑得多快），最后才看算力（上限有多高）——这个顺序和客户习惯的顺序正好相反，这就是你要传递的专业。

卡型	显存容量	显存带宽	算力（同代口径）	定位
H200（Hopper）	141 GB HBM3e	4.8 TB/s	FP8 约 4 PFLOPS（稀疏）；FP16 约 1,979 TFLOPS	成熟主力，长上下文推理与微调性价比高
B200（Blackwell）	192 GB HBM3e	约 8 TB/s（按 8 卡整机 64 TB/s 折算）	新增 FP4；8 卡整机 FP4 约 144 PFLOPS（稀疏）	把推理单位成本大幅压低的新一代主力
Blackwell Ultra（B300 / GB300）	单芯片 279 GB HBM3E；GB300 NVL72 整柜约 20 TB	量与 B200 同代升级，整柜带宽显著提升	单芯片 FP4 推理最高约 20 PFLOPS（稀疏）	为"长思考 / Agent"的测试时扩展而设计
Rubin（Vera Rubin）	单卡 288 GB HBM4	22 TB/s	单卡 NVFP4 推理 50 PFLOPS	2026 下半年起供货；官方称 token 成本较 Blackwell 最多降约 10 倍
昇腾 910C	128 GB HBM	约 3.2 TB/s	FP16 约 800 TFLOPS（单卡口径）	信创主力；靠超节点做系统级规模（见 1.4）
昇腾 950DT（2026 Q4 规划）	144 GB	约 4 TB/s	面向 FP8 与自研 HBM 的下一代	国产路线的代际接力，为超节点提供更大域

带宽这条线，比算力更能解释"为什么换卡就快了"

单卡显存带宽，单位 TB/s · 其中 B200 为按 8 卡整机 64 TB/s 折算的示例值，非官方单卡标称

口径与免责：算力数字均按厂商公开资料，不同厂商、不同精度、稀疏与密集口径不可直接横比；昇腾 950 系列为 2025 年 9 月路线图公布的规划型号，实际规格与量产时间以官方最终发布为准。DGX B200 整机 8 卡合计显存 1,440 GB、带宽 64 TB/s，此处单卡带宽按此折算出约 8 TB/s，属折算示例而非官方单卡标称值。

犀利观点：把这张表竖着读，主线只有一条

显存容量 141 → 192 → 279 → 288 GB，带宽 4.8 → 8 → 22 TB/s，本质都是在"拓宽操作台和传送带"。算力的增长当然重要，但真正改变"能不能跑、能不能便宜跑"的，是这两个数。采购决策该跟着这条主线走：先确认显存门槛过线，再确认带宽能支撑你的并发与延迟要求，算力反而是最后的加分项。

事实案例 · HBM4 的代际意义

"每秒能传 750 部 4 GB 的电影"

三星口径其 HBM4 单堆带宽最高约 3.3 TB/s，约为 HBM3e 的 2.7 倍，相当于"每秒能传 750 部 4 GB 的电影"，且功耗相比 HBM3e 改善约 40%。

SK 海力士2026 年 6 月送样的 12 层 HBM4E：单引脚速度最高 16 Gbps、带宽最高约 4.0 TB/s、容量 48 GB。

对客户的含义同样是"买一张大显存卡"，两年后代际差带来的可能是"一套模型的速度翻倍 + 电费下降"——这也是"该不该等下一代"要算进 TCO 的原因之一（见 1.11）。

来源：Samsung Semiconductor Newsroom（HBM4 量产与规格，2026-02-12 / 2026-03-13）；SK hynix Newsroom（12 层 HBM4E 送样，2026-06-18）。

现场匹配法

四种活，四套选档逻辑，收口成一句话

把前面所有知识点压成一张"对照表"，客户一说场景，你就能给出选档方向。注意：这里给的是逻辑，不是具体型号——型号会过时，逻辑不会。

活	瓶颈在哪	选档逻辑	最容易配错的地方
训练	算力 + 显存 + 卡间互联	优先大显存、高带宽互联，卡数宁可少而强，不要多而弱	忽视互联，买了 8 张卡结果之间只有 PCIe 通路（见 1.3）
推理	显存带宽 + 并发吞吐	先算显存门槛过线，再按带宽定速度，量化是第一优先级动作	只比算力峰值，结果速度被带宽卡死
微调	显存（要装下权重 + 优化器状态）	显存需求常比推理更夸张，优先容量；可上参数高效微调降门槛	按推理的显存账估微调，一跑就 OOM
边缘	功耗 + 体积 + 稳定性	不追峰值，追"够用 + 省电 + 无人值守"；模型必须裁剪 / 量化	拿数据中心卡塞进机柜，功耗与散热直接崩

FDE 现场动作：四步定档

① 先算门槛：用知识点 05 的三段法，算出"权重 + KV + 缓冲"，确认显存能装下——装不下，后面不用谈。② 再算速度：用知识点 04 的带宽粗算，看单请求 tokens/秒是否落在 20–50 的可接受区间。③ 定精度策略：默认先上 FP8 或更低，用真实数据验证质量；不行再退精度、加卡。④ 写进方案：把"验证用的模型、数据、指标、达标线"写进交付物——这是 1.12 验收的依据。

最容易翻车的三件事

① 只按权重的显存估——上线后被 KV Cache 吃穿；② 拿不同精度的算力做对比——选出"看着强其实慢"的卡；③ 忘了量化的质量验证——省了钱但答错率上升，业务方不认。这三条，任何一条都能让一个看起来完美的方案，在验收时崩掉。

Q1 · 客户问"我到底该看算力还是看显存"，怎么一句话答清楚？

答："先看显存，再看带宽，最后看算力。"然后立刻给一个他听得懂的理由——显存决定模型装不装得下（装不下直接报错），带宽决定回答得快不快（这是聊天体验的命门），算力决定上限有多高。如果你只有时间说一句，就说："装得下 + 跑得动，比跑分高更重要。"

Q2 · 量化到 FP8 / INT4，会不会把模型"变笨"？

会有影响，但通常比客户想象的小得多——这也是行业普遍把 FP8 当默认、INT4 当常规选项的原因。正确的做法不是"辩论会不会变笨"，而是用数据说话：挑 100–200 条真实业务问题组成 Golden Set，分别在 FP16 和量化版上跑一遍，对比准确率、拒答率和人工抽检结果。差距可接受就上量化省一半显存和成本；高风险问题确实退化，就做"分级处理"——核心场景用高精度，长尾用低精度。

Q3 · 为什么我的卡算力很高，跑起来却很慢？

按可能性从高到低排查：① 是不是卡在显存带宽（推理场景最常见，用知识点 04 的公式算一下就知道）；② 计算有没有真正走 Tensor Core（用错精度、不支持的算子会掉到慢路径）；③ 并发策略是否合理（批处理没开或开太大都会浪费）；④ GPU 是否被别的东西占用（显存碎片、其他进程、PCIe 带宽不足）。标准回答：先看是被"传送带"卡住还是被"工人"卡住，90% 的情况是前者。

0–2′

开场追问

问学员："客户问你这卡多少 T，你怎么回？"引出"三个部件"框架。

2–5′

KP1 GPU 为什么快

流水线车间类比，讲清 CUDA Core / Tensor Core / 显存 / 带宽的分工。

5–8′

KP2 算力与精度

精度阶梯表，重点讲"稀疏 vs 密集"和 FP8/FP4 的读法。

8–11′

KP3 显存是操作台

HBM3e / HBM4 的代际对比，强调"加宽"而非"加速"；现场滑一遍滑块。

11–14′

KP4 带宽是传送带（高光）

现场演示"带宽 ÷ 权重"的粗算，讲清内存墙。

14–17′

KP5 手算显存账

三段法当堂演算 70B 的权重 + KV + 缓冲，得出卡数结论；打开计算器改数字给客户看。

17–20′

KP6–7 横评 + 匹配

读表三原则，四种活的选档逻辑，布置演练。

我能用"工人 / 操作台 / 传送带"讲清 GPU 的三个部件与瓶颈。

我能说清 FP16 / FP8 / FP4 的取舍，并识别"稀疏 vs 密集"的口径陷阱。

我能手算一个模型的显存占用（权重 + KV Cache + 缓冲）。

我能用带宽估算推理速度上限，并判断一个配置够不够快。

我能读懂 H200 / B200 / GB300 / Rubin / 昇腾的显存与带宽规格。

我能按"训练 / 推理 / 微调 / 边缘"四种活给出选档逻辑。

课堂演练（两人一组 · 4 分钟）

客户场景："我们要做一个 70B 级模型的内部问答助手，同时在线约 30 人，每人平均聊 8 轮、每轮上下文大概 4K，要求回答速度跟得上手。现有机器是单卡 192 GB、带宽约 8 TB/s。够用吗？"
A 扮演 FDE：用三段法算显存（分别算 FP16 与 FP8）；再用带宽粗算单请求速度；给出"够用 / 不够用 / 需量化"的结论与依据。B 扮演客户：追问"那你为什么建议量化""量化会不会变笨""如果 30 人都聊到 8K 呢"，逼 A 把余量和风险讲清楚。互评：A 有没有按"显存→带宽→算力"的顺序作答？有没有给出可验证的质量验证方案？

“先算显存能不能装下，再算带宽能不能跑快，算力最后看。硬件选型的专业性，从来不在记住多少型号，而在能否把参数翻译成客户听得懂的算术。

✓

下课前自测

4 道题，点一下就知道掌握没

1给客户讲 GPU 时，"先看显存、再看带宽、最后看算力"这个顺序的理由是？

装不下就直接报错，算力再高也是零；带宽不够，推理时工人一直在等料。所以顺序是：显存容量 → 显存带宽 → 算力。一句话版本："装得下 + 跑得动，比跑分高更重要。"

2厂商规格表里的"稀疏（Sparse）算力"，正确的读法是？

在 A 家读"稀疏"、在 B 家读"密集"，会得出"B 家差一半"的荒谬结论。比算力前先做三件事：统一精度、统一稀疏口径、标注训练还是推理。而且峰值永远不等于实测，最后一定要用自己的模型压测。

370B 模型、FP16、32 人并发、每人 8K 上下文，显存账大概是？

三段账缺一不可：权重（主材）+ KV Cache（水电，最容易被低估）+ 缓冲（预留金，20%–40%）。合计约 250 GB 量级，而 B 方案换 FP8 后权重 70 + KV 减半 40 + 缓冲 ≈ 120 GB 左右，1 张 192 GB 级卡就能覆盖。

4客户说"我买了这么多 T 的卡，跑推理怎么还是慢"，最可能的病根是？

生成每个字都要把整套权重从显存读一遍，所以 理论 tokens/秒 ≈ 显存带宽 ÷ 权重大小。同预算下，与其加算力，不如加带宽、上量化、加批处理。这就是"您这个场景卡在传送带上，不在工人手速上"。

已完成 0 / 4 题

延伸资料与来源

事实出处

NVIDIA：H200 Tensor Core GPU 规格（141 GB HBM3e、4.8 TB/s、FP8 约 4 PFLOPS 稀疏、FP16 约 1,979 TFLOPS），nvidia.com，2026。
NVIDIA：DGX B200 技术规格与用户指南（8× Blackwell 合计 1,440 GB 显存、64 TB/s HBM3e 带宽、NVLink 14.4 TB/s），nvidia.com / docs.nvidia.com，2026。
NVIDIA：Blackwell Ultra 与 HGX B300 / GB300 NVL72 规格（单芯片 279 GB HBM3E、GB300 NVL72 整柜约 20 TB HBM3E、FP4 推理最高约 20 PFLOPS 稀疏、整柜合计 1.44 EFLOPS FP4），nvidia.com，2026。
NVIDIA Newsroom：《NVIDIA Kicks Off the Next Generation of AI With Rubin》（2026-01-05）——单卡 288 GB HBM4 / 22 TB/s / NVFP4 推理 50 PFLOPS，token 成本较 Blackwell 最多降约 10 倍。
Samsung Semiconductor Newsroom：《Samsung Ships Industry-First Commercial HBM4 With Ultimate Performance for AI Computing》（2026-02-12）与 HBM4 规格解读（2026-03-13）——2048 位接口、单堆最高约 3.3 TB/s、较 HBM3e 带宽约 2.7 倍、能效改善约 40%。
SK hynix Newsroom：《SK hynix Ships Samples of 12-Layer Next-Gen HBM4E》（2026-06-18）——16 Gbps 引脚速度、约 4.0 TB/s、48 GB 容量、热阻改善约 17%。
华为：2025 全联接大会昇腾路线图（910C → 950PR / 950DT → 960 → 970，2025-09-18）——910C 单卡 128 GB HBM / 约 3.2 TB/s / FP16 约 800 TFLOPS；950DT 规划 144 GB / 约 4 TB/s。
本课程联动：整机拓扑与互连见 1.3；国产适配与实测见 1.4；TCO 与代际等待决策见 1.11；验收与压测见 1.12。

上一节 · M1 硬件与基建

← 1.1 算力硬件全景：选型先看架构差异

下一节 · M1 硬件与基建

1.3 企业级服务器选型：拓扑与互连 →