卡与卡之间那条路，决定整机能不能用
客户最贵的浪费，不是买错了卡，而是买对了卡、却用一条慢路把它们连了起来。这一节把"拓扑与互连"讲成可核查的动作。
这一节要扭正一个几乎人人都会犯的错：把 GPU 当成可以随意拼装的零件。真相是——同样是 8 张一模一样的卡，卡间是走 NVLink 还是走 PCIe、跨机是走 InfiniBand 还是走普通以太网，实际训练与推理性能可以差出几倍。拓扑与互连不增加一分算力，却决定你的算力能不能被真正用起来。这一节教你三件事：看清卡间那条路（NVLink / NVSwitch）、看清机器之间那条路（InfiniBand / RoCE）、看清整柜与机房那条路（供电、散热、承重）。
从单卡到整机：为什么"买 8 台工作站"凑不出训练集群
先破一个省钱幻想：客户常说"我先买两台 4 卡的图形工作站，以后再慢慢加"。这在推理小场景或许能凑合，在训练场景几乎注定失败。原因不在单机算力，而在机器与机器之间那条路太慢——训练要求所有卡"步调一致"，任何一条慢路都会让快的卡等慢的卡。
这就是"服务器"和"工作站"的本质区别：工作站是为一个人的活设计（图形渲染、少量计算），服务器是为"一群卡协同干一件事"设计。8 卡服务器（业内常见形态如 HGX 平台整机、DGX 一体化整机）内部装了专门的高速交换芯片，让 8 张卡像一张卡那样协同；而工作站靠的是普通主板总线，卡与卡之间得绕远路。
- 卡间互联：走普通主板总线（PCIe）
- 设计目标：单人交互、图形渲染
- 供电散热：普通插座、风冷
- 管理能力：基本没有
- 卡间互联：专用高速互联 + 交换芯片
- 设计目标：多人共享、长时间满载协同
- 供电散热：工业级供电、风冷或液冷
- 管理能力：带外管理、健康监控、日志
“买 8 卡服务器，买的不是 8 张卡，是卡与卡之间那条路；训练是高频同步，路慢一切慢。
NVLink 与 PCIe：差的不是一点，是十几倍
卡与卡之间传输数据，有两条路：一条是通用的 PCIe 总线（电脑主板上那种），另一条是 NVIDIA 自己造的高速互联 NVLink。这两条路的速度差多少？在当代产品上，大约是十几倍——这个倍数，就是"多卡能不能当一台机器用"的分水岭。
| 通道 | 单卡带宽（量级） | 大白话 | 典型影响 |
|---|---|---|---|
| PCIe 5.0 ×16 | 约 128 GB/s | 市政主干道，通用、便宜、所有设备都能上 | 卡间通信慢，多卡协同效率低，训练几乎不可用 |
| NVLink 第 5 代 | 约 1.8 TB/s（即约 1,800 GB/s） | 车间内部专属走廊，直连、极快 | 8 卡整机可当"一台大机器"用，训练效率成倍提升 |
| NVLink 第 6 代 | 约 3.6 TB/s | 走廊再加宽一倍 | 新一代平台（Rubin）的整柜级协同基础 |
把倍数算出来
NVLink 5 每卡约 1,800 GB/s，PCIe 5.0 ×16 双向约 128 GB/s：1,800 ÷ 128 ≈ 14 倍。
看整机怎么合起来
以 8×B200 整机为例：内置 2 颗第 5 代 NVSwitch 交换芯片，整机聚合 NVLink 带宽约 14.4 TB/s（8 × 1.8 TB/s）——任意两张卡之间都能近乎满速对话。
判断客户这台机器在哪一档
问三句：① 卡间是 NVLink 还是只走 PCIe？② 有没有 NVSwitch？③ 整机聚合带宽多少？出现"只走 PCIe"或"没有交换芯片"，做训练基本没戏。
InfiniBand 与 RoCE：两条路各有脾气
当集群从 8 卡扩到几十、几百、上千卡，卡之间的通信就要跨过机器边界走网络。在 AI 集群里，网络不是"顺便用的基础设施"，而是决定集群效率的一等公民——大量训练时间其实花在"卡与卡之间同步数据"上，这条路一慢，所有卡一起等，钱就白烧了。
| 路线 | 代际与速率 | 它好在哪 | 它的代价 / 注意点 |
|---|---|---|---|
| InfiniBand | NDR：单口 400 Gb/s | 专为高性能计算设计，低延迟、零丢包、生态成熟 | 贵；与普通以太网生态不完全通用，需要独立运维能力 |
| InfiniBand | XDR：单口 800 Gb/s | 当前最新一代，单口速率翻倍，适合超大训练集群 | 网卡、交换机、光模块同步升级，成本进一步上升 |
| RoCE | 通常 400 / 800 Gb/s | 跑在标准以太网上，能用现有网络团队与工具，成本相对可控 | 要在以太网上"调出"无损传输，配置与调优要求高，调不好会抖动 |
Scale-up vs Scale-out：做大，还是做多？
这是架构层面最重要的一对概念。Scale-up 是把一台机器做得更大（几十上百卡绑成"一台计算机"），Scale-out 是把机器做得更多（几千卡靠网络协作）。两者的瓶颈完全不同，成本曲线也完全不同。
为什么大厂现在痴迷 Scale-up？因为卡在同一个高速域里，沟通成本极低；一旦跨出这个域，就得走网络，效率立刻打折。于是行业的方向是：把"域"越做越大——从 8 卡整机（机内 NVLink），到整柜 72 卡（机柜级 NVLink 域），再到更大规模。
| 规模形态 | "域"有多大 | 互联方式 | 它的问题在哪 |
|---|---|---|---|
| 单机 8 卡 | 8 张卡 | 机内 NVLink + NVSwitch（聚合约 14.4 TB/s） | 域太小，模型稍大或卡数需求一多就出域 |
| 整柜超节点（如 GB200 / GB300 NVL72） | 72 张卡 + 36 颗 CPU | 机柜级 NVLink 域，整柜约 130 TB/s；液冷整柜 | 整柜功率与制冷是硬门槛，对机房改造要求高 |
| 整柜超节点（新一代 Rubin NVL72） | 72 张卡 | 升级到第 6 代 NVLink，整柜约 260 TB/s | 更新一代的平台，供货节奏决定能否选 |
| 跨机 Scale-out | 几千至十万级卡 | InfiniBand 或以太网（RoCE / 专用以太网） | 网络成为瓶颈，带宽、延迟、拓扑都要精心设计 |
“Scale-up 是把机器做大，Scale-out 是把机器做多，两者每卡带宽差近 20–36 倍；"域"比单卡算力更值钱。
拓扑：同一批卡，组网不同差出几倍
这一条最能体现"专业度"，也最容易被客户忽略：硬件清单完全一样，网络拓扑不同，性能可以差几倍。原因在于 AI 训练有一种特定的通信模式：所有卡经常要"全体对全体"地交换信息（工程师叫它集合通信）。如果拓扑设计和它不匹配，就会出现"部分链路拥堵、部分链路空转"。
| 拓扑要点 | 大白话 | 做好了会怎样 | 做砸了会怎样 |
|---|---|---|---|
| 东西向流量 | 卡与卡之间"横向"互传的数据量（不是跟外部服务器上下的"南北向"） | 把东西向通道专门规划出来，横向通信不挤占对外链路 | 东西向和南北向混跑，训练流量被存储 / 管理流量挤死 |
| 带宽收敛比 | 上行带宽与下行带宽的比例有没有留够 | 高负载下仍接近满速 | 一上并发就互相抢带宽，效率腰斩 |
| 胖树 / 多级交换 | 多层路网，每层都留冗余 | 规模越大越稳，扩展性好 | 层级一多就出现瓶颈层 |
| 轨道优化 | 让"同一列"的流量走专用道，避免全撞一起 | 大集群通信效率显著提升 | 全网流量互撞，训练周期延长 |
| 多平面设计 | 每张卡同时接多条独立网络平面 | 可靠性高、可扩展到十万级卡 | 单平面受限，规模天花板低 |
供电、散热与承重：一台 8 卡整机就是一个小机房
这是"技术方案"落地时最硬的一堵墙，也是最常见的时间黑洞。一台 8 卡 AI 训练整机，已经不是"一台电脑"，而是"一个小机房"——它的功耗、重量、发热，都和普通服务器不在一个量级。
| 物理约束 | 典型量级（示例） | 为什么是坑 | 核查要点 |
|---|---|---|---|
| 整机功耗 | 8 卡训练整机约 14 kW 级（示例：DGX B200 标称最大约 14.3 kW） | 普通机柜常见配置无法承载单机 14 kW，通常两三个机柜的供电才够一台 | 机柜进线容量、UPS 余量、配电与插座规格（该机型用 6 路 3.3 kW 电源、5+1 冗余） |
| 整机重量 | 约 140 kg 级（示例：DGX B200 最大约 142 kg、10U 机箱） | 普通办公楼地板与机柜导轨承重可能不足，搬运也需要专用设备 | 楼板承重、机柜静态与动态载荷、电梯与通道门宽 |
| 散热方式 | 风冷；冷板液冷 / 浸没液冷 | 功率密度一高，风冷就压不住，机房温度飙升触发降频 | 机房送风能力与回风路径；若上液冷，还要确认是否有水系统与防漏方案 |
| 整柜功率 | 机柜级超节点进入 100 kW 量级（行业公开资料常见口径，属量级示例） | 远超传统数据中心单柜设计标准，往往需要专用机房改造 | 是否走液冷整柜方案；机房是否具备高密机柜的配电与制冷条件 |
从 BOM 到"打流"：把六步压成一张能签字的清单
最后一步，把前面六条压成一条流水线，交给客户一张能签字、能追溯、能验收的清单。好的交付不是"货送到了"，而是"证据齐了、数据达标了"。
定拓扑
先定"域要多大"：单机 8 卡、整柜 72 卡，还是跨机上千卡。这一条决定后面全部预算结构。
定卡间互联
确认是否走 NVLink / NVSwitch、整机聚合带宽是多少。问不到这一层等于没问。
定跨机网络
InfiniBand（NDR / XDR）还是 RoCE？单卡网卡速率与整机对外带宽是多少？
定机房条件
完成"查电、查重、查门、查冷"四查，把结论写进方案。
定 BOM 与到货
列全整机、网卡、交换机、光模块、线缆、机柜、PDU，注明型号、数量、到货周期与替代方案。
定验收标准
写清用哪些工具、跑什么"打流"测试、达到什么数字算通过。
① 单机 8 卡 · 训练
卡间互联是底线
② 单机 8 卡 · 推理
互联可省，显存不能省
③ 跨机上千卡 · 训练
网络是一等公民
④ 跨机上千卡 · 推理
吞吐与单位成本优先
① 单机 8 卡 · 训练：必须 NVLink 全互联
这台机器做的是"高频同步"的活，卡间那条路就是它的生死线。8 卡整机（带 NVSwitch，聚合约 14.4 TB/s）是底线；只走 PCIe 的 8 卡机做训练基本没戏。验收时要打流测卡间实测带宽，看它是否接近规格值。
② 单机 8 卡 · 推理：互联可以省，显存与带宽不能省
如果 8 张卡各干各的活（模型能塞进单卡、不需要跨卡切分），NVLink 的价值确实不明显，PCIe 也可以接受。但只要出现"模型要跨卡切分、要跑高并发批量推理"，卡间就必须够快——判断句："只要这 8 张卡需要商量着干一件事，它们之间的路就必须够快。"
③ 跨机上千卡 · 训练：网络是一等公民
规模一上去，网络就从"基础设施"变成瓶颈本身。走 InfiniBand（NDR 400G / XDR 800G）或专用 AI 以太网，配胖树 / 多平面拓扑与轨道优化。千卡级训练集群里，网络与存储的投入通常要占总预算的两到三成，低于这个数就要警惕瓶颈。
④ 跨机上千卡 · 推理：吞吐与单位成本优先
推理对延迟的容忍度比训练高，但对"每次回答的成本"极其敏感。常见组合是多台 8 卡推理整机 + RoCE / IB 组网 + 量化压成本；拓扑好坏不看配置单，看集群实测的吞吐与作业完成时间。多平面设计在这里同样是扩展性的关键。
| 验收动作 | 大白话 | 看什么数字算过 |
|---|---|---|
| 单机内打流 | 让 8 张卡互相传数据，看"通道"是不是真宽 | 实测卡间带宽是否接近规格值（例如 8 卡整机 NVLink 聚合约 14.4 TB/s 量级） |
| 集合通信 / NCCL 打流测试 | 跑集群通信基准（业界常用 NCCL 测试工具），看"全城同时出行"堵不堵 | 带宽利用率、延迟是否符合预期；是否随卡数增加明显衰减 |
| 作业实测 | 用真实模型跑一个真实任务，看端到端时间 | 训练步时 / 推理 tokens/秒 是否达到约定基线 |
| 长稳与故障演练 | 连续跑几十小时，并故意模拟掉线 | 是否稳定不掉线；掉线后能否自动恢复、作业能否续跑 |
开场设问
抛问题："配置单一模一样的两台机器，为什么性能差一倍？"引出"拓扑与互连"。
KP1 单卡到整机
抬桌子类比，讲清"工作站凑不出训练集群"的原因。
KP2 卡间通道（重点）
NVLink 5 约 1.8 TB/s vs PCIe 5.0 约 128 GB/s，当堂算"约 14 倍"。
KP3 跨机专线
货运高速 vs 专用车道类比，讲 NDR / XDR 与 RoCE 的取舍。
KP4 做大 vs 做多
当堂算"域内 vs 跨机"约 18–36 倍，强调 Gb/s 与 GB/s 的单位坑。
KP5–6 拓扑与物理约束
早高峰类比讲拓扑；机房"四查"清单，强调最贵的坑是搬不进去。
KP7 选型与验收
六步清单 + 打流验收表，收口并布置演练。
A 扮演 FDE：先算总功率（按单机约 14 kW 级估算），对照旧机房常规机柜容量，判断"能放几台"；再逐条走"四查"；最后给出"能上几台 + 需要哪些改造"的结论。B 扮演客户 IT 负责人：追问"为什么不能 8 台都上""改造要花多久""风冷行不行""能不能先用 4 台"。互评：A 有没有把功率、承重、制冷三条物理约束都覆盖？有没有给出"分阶段上机"的可执行方案？
“定拓扑 → 定卡间互联 → 定跨机网络 → 定机房条件 → 定 BOM → 定验收；没打流验收的集群，等于没交付。
4 道题，点一下就知道掌握没
事实出处
- NVIDIA：DGX B200 技术规格与用户指南（8× Blackwell、整机 NVLink 聚合 14.4 TB/s、2× 第 5 代 NVSwitch、最大功率约 14.3 kW、10U、最大重量约 142.4 kg、6× 3.3 kW 电源 5+1 冗余），nvidia.com / docs.nvidia.com，2026。
- NVIDIA：GB200 NVL72 官方规格页（36 Grace CPU + 72 Blackwell GPU、整柜 NVLink 域约 130 TB/s、13.4 TB HBM3e、液冷整柜），nvidia.com，2026。
- NVIDIA Newsroom：《NVIDIA Kicks Off the Next Generation of AI With Rubin》（2026-01-05）——Rubin NVL72 第 6 代 NVLink、整柜约 260 TB/s、ConnectX-9 SuperNIC（1,600 Gb/s/GPU）。
- NVIDIA：Spectrum-X 以太网平台官方页面与 FAQ（2026）——较通用以太网性能提升约 1.6 倍；多平面可扩展到约 128,000 张 GPU 的两层拓扑（约为单平面的 64 倍）；Spectrum-XGS 跨数据中心 NCCL 性能约 1.9 倍；Spectrum-6 ASIC 单芯片 102.4 Tb/s。
- NVIDIA 开发者博客：《Giga-Scale AI and the Ethernet Evolution: How Spectrum-X Ethernet Rewrites the Rules》（2026-08-24）与《Scaling Power-Efficient AI Factories with NVIDIA Spectrum-X Ethernet Photonics》（2026-01-06）。
- NVIDIA 官方博客：《NVIDIA Spectrum-X — the Open, AI-Native Ethernet Fabric — Sets the Standard for Gigascale AI, Now With MRC》（2026-05-06）——Spectrum-X 支撑 xAI 约 10 万张 Hopper GPU 集群；MRC 成为开放规范。
- 本课程联动：显存与带宽的算账见 1.2；国产方案的整集群评估见 1.4；混合云与网络连接见 1.10；集群压测与验收细则见 1.12；LLMOps 全流程运维见 1.15。