M1 · 硬件与基建 · 第 1.1 节
别被参数表牵着走：选算力，先问"这是什么活"
绝大多数买贵了、买错了的算力，都不是因为参数看少了，而是一开始就问错了问题。这一节给你一套从业务反推硬件的动作。
这一节解决什么
客户张口就是"我要几张 H200"，而不是"我这活是什么活、跑多大规模、多少人同时用、数据能不能出机房"。硬件是给业务干活的工具，不是比大小的奖杯。先把活的性质定下来（训练还是推理、延迟优先还是吞吐优先），架构差异才有意义。同一笔钱，选对架构能多干三倍的活；选错架构，就是买了一堆插不上电、跑不满的机器。这一节我们用"工人"和"吃饭方式"两个类比，把 CPU/GPU/NPU/ASIC/FPGA、五种交付形态、NVIDIA 一年一代的路线图，以及一套能拍在客户桌上的选型动作，一次讲透。
01
认清工具
算力家族五兄弟：先搞清谁是什么"工人"，再谈选谁
客户一问"该买什么卡"，很多人就急着报价。但选型的第一步不是选产品，是认人——CPU、GPU、NPU、ASIC、FPGA 是五种完全不同的"工人"，各有各的脾气。认错人，后面全是白费。
一句话打底：CPU 是几个什么都会但手慢的老师傅，GPU 是一群只会做重复计算但手速极快的工人。AI 为什么离不开 GPU？因为神经网络的活儿，本质就是海量的"同样的乘法加法重复几万遍"——这正是 GPU 的舒适区，也是 CPU 的噩梦。
| 角色 | 它是什么"工人" | 强在哪 / 弱在哪 | 典型用在哪儿 |
|---|---|---|---|
| CPU | 几个老师傅 | 会做复杂判断、串行逻辑强；并行计算慢、吞吐低 | 操作系统、调度、数据预处理、数据库，什么活都插一手 |
| GPU | 一群手速极快的工人 | 同时开几万条流水线，矩阵乘法无敌；单条逻辑一般 | AI 训练与推理的主力，通用性最好 |
| NPU | 专门训练过的班组 | 为神经网络而生的加速器，能效比高；生态与通用性弱于 GPU | 国产 AI 加速卡（昇腾、寒武纪等），信创场景常见 |
| ASIC | 一条固定流水线 | 只干一件事，效率与功耗极致；但改不了，模型一变可能报废 | 大厂自研芯片、推理专机、视频编解码 |
| FPGA | 能现场改线的电路板 | 可编程、延迟极低；开发门槛高、单位成本贵 | 金融高频、网络加速、定制化预处理 |
同一个工地，两种工人
AI 的活约 99% 是"搬砖"（矩阵运算）——所以工头多聪明不重要，工人数量与传送带宽度才重要
"搬砖工地"是讲清延迟核与吞吐核最省力的类比：为 AI 干活的是临时工数量，不是工头聪不聪明。
最常踩的坑：把 NPU / ASIC 当成"更便宜的高性能 GPU"
它们在特定算子、特定模型上确实能效更高，但代价是生态与通用性：一个新开源模型出来，GPU 阵营往往当天就能跑，NPU/ASIC 可能要等算子适配、等工具链更新。选 NPU 之前先问一句："我的模型和框架，在它上面是现成的，还是要现写算子？"
犀利观点：拿 CPU 的思维买 GPU，是选型最贵的错误
"核心数越多越好""主频越高越好"——这套逻辑在 GPU 上基本失效。真正要看的是显存多大、显存带宽多宽、卡与卡之间连得多快。一台 8 卡的机器，瓶颈十有八九不在算力，而在"货搬不到工人面前"。
“CPU 是几个老师傅，GPU 是一群手速极快的工人；AI 的活是搬砖，所以工人数量与传送带宽度，比老师傅聪不聪明更重要。
02
分清活的性质
训练 vs 推理：一个是从零盖楼，一个是天天开门迎客
这是本节最重要的一条分界线。同样叫"跑大模型"，训练和推理对硬件的取舍几乎是相反的。很多项目算错预算，就错在把这两件事混成一件事。
| 维度 | 训练（Teaching） | 推理（Inference） | 怎么影响选型 |
|---|---|---|---|
| 干什么 | 从零学会本事，反复试错、更新参数 | 用学好的本事，回答一个具体问题 | 训练是临时工程，推理是长期生意 |
| 最缺什么 | 显存 + 卡间互联 | 吞吐 + 单次成本 + 首 token 延迟 | 训练拼"集群能不能一起干活"，推理拼"一张卡能不能榨干" |
| 典型规模 | 几十到上千张卡，跑几天到几周 | 几张到几十张卡，7×24 小时常开 | 训练一次性投入大，推理是长期电费与折旧 |
| 中断的代价 | 极高，一张卡掉线可能拖垮整个任务 | 中，可降级、可排队、可扩容 | 训练集群对稳定性、带外管理要求更狠 |
训练 · 从零盖一栋楼
- 要一整套脚手架：集群协同是第一位的
- 要几百个工种同时配合：卡间互联必须够快
- 要保证材料随时送到每个工人手上：显存要装得下图纸
- 一张卡掉线，可能整个任务重来
推理 · 楼盖好，天天开门迎客
- 客人来了要秒级响应：首 token 延迟是硬指标
- 一天接待多少人：并发与吞吐决定卡数
- 每次接待成本几分钱：单位 token 成本是老板真正关心的
- 7×24 常开：电费与折旧才是长期大头
犀利观点：市面上约 80% 的"我们要做 AI 大模型"，真实需求是推理
而且是少量卡就能跑起来的推理。但客户常被"训练大模型"的故事吓住，一上来就要建千卡集群——结果卡买回来，跑的是每天几千次问答，利用率不到 5%。FDE 的价值就在这里：敢跟客户说"你这个需求，先用 2 张卡把推理跑通、把业务验证了，再谈要不要训练"。
脱敏复盘 · 立项词把预算带偏了
立项写的是"训一个行业大模型"，真实交付物是"每天两千次问答"
背景某制造企业要上"设备故障智能诊断"，最初按"训练一个行业大模型"立项，预算按百卡集群报。
拆解FDE 介入后拆场景：真实需求是"每天约 2,000 次单轮问答 + 少量多轮追问"，属于典型的高并发小规模推理。
结果改用 2 台 8 卡推理整机 + 一个开箱可用的开源模型微调，首期投入约为原方案的十分之一，效果反而更快上线。
教训立项词是"训模型"，真实交付物是"推理服务"——别让立项词决定硬件清单。
案例为 FDE 交付常见场景的脱敏复盘；推理侧单位成本口径与 token 成本算法见 1.11 与主课 Day69。
“训练是盖楼（拼显存和互联），推理是开门迎客（拼吞吐和单次成本）；别让客户的立项词，替你把硬件清单定了。
03
定交付形态
五种交付形态：租、买、搬进客户家，代价完全不同
同一个"8 卡算力"，可以有五种拿法。它们不是谁比谁高级，而是谁适合什么阶段。FDE 常犯的错是只推一种（通常是自家卖的那种），忽略客户真实的现金流、合规和运维能力。
| 形态 | 大白话 | 适合谁 | 代价与风险 |
|---|---|---|---|
| 公有云 GPU | 中央厨房点单，用完就走 | 验证期、峰谷波动大、不想一次性掏钱 | 长期单价高；数据出域；热门机型排队、随时可能被回收 |
| 裸金属租用 | 租一整间厨房，只有你一个人用 | 推理常开、需要稳定性能与隔离 | 按整机计费，利用率低时烧钱；仍受机房产能约束 |
| 自建机房 | 自己盖房子、装厨房、请厨师 | 体量大、长期稳定、数据绝对不出域 | CapEx 重、周期长；要解决供电、制冷、承重、运维 |
| 私有化一体机 | 把成套厨房整体搬进客户家，插电就用 | 政企、金融、制造，要求断网可用、有人负责 | 单套溢价高；升级与扩容要跟着厂商节奏 |
| 边缘部署 | 分店后厨，就近出餐 | 低延迟、断网可跑、数据不出厂区 | 算力小、环境恶劣、无人运维，模型必须裁剪 |
1
外卖
公有云。最快最省事，但贵、看人脸色、菜可能凉。
2
包场
裸金属。稳定私密，但空着也照样收钱。
3
自建食堂
自建机房。一开始最贵最麻烦，但人多的时候最便宜。
4
预制菜礼盒
一体机。开箱即热、省心，但比自己做贵。
5
工位微波炉
边缘。随时能热一口，但只能加热小份。
可交互 · 选型器这单该租、该买，还是搬进客户机房
按客户的真实约束逐题点选，系统给出主形态建议。注意：边缘部署通常是补充形态，和三条主线并行，而不是替代。
坑：别默认客户机房"装得下"
一台 8 卡训练整机的整机功率可达约 14 kW 级（示例：DGX B200 标称最大约 14.3 kW，10U 机箱、整机重量约 142 kg），这已经超出很多普通办公楼机柜的供电与承重上限，风冷也常常压不住。签合同前必须先踩点：进线容量、UPS、地板承重、制冷方式、噪声与消防——这几项不确认，到手就是搬不进去的一堆铁。
04
从业务反推
选型先看业务不看芯片：五个问题，反推出硬件清单
FDE 与客户第一次聊硬件，正确的开场不是"我们有什么机型"，而是"我能不能先问您五个问题"。这五个问题答完，硬件清单其实已经露出一大半了；答不出来，给什么配置都是猜。
1
模型多大、哪来的
开源还是自研微调？参数规模直接决定显存门槛：FP16 下每 10 亿参数约需 2 GB 显存，70B 模型光权重就约 140 GB。
2
多少人同时用
并发数决定要几张卡、要不要多机；日均调用量决定电费与折旧的分摊。500 个客服同时在线，和 5 个内测账号，是两套配置。
3
首 token 要几秒
最容易被漏掉、又最影响体验的指标。客服类通常要求 1–3 秒内；离线批处理可以慢但吞吐要大。
4
数据能不能出机房
这一条往往一票否决公有云。金融、政务、医疗、军工通常要求数据不出域甚至断网——形态被锁定在自建或一体机。
5
预算与节奏
一次性 CapEx 还是按年 OpEx？这个季度上线还是明年规划？现金流的形态，常常比技术指标更能决定方案。
参数表能告诉你"它能跑多快"，但五个业务问题才能告诉你"你需要跑多快"。前者是产品的属性，后者是客户的约束。
FDE 现场动作：把"五问卡"拍在桌上，逐条填、填完签字
① 模型规模与来源；② 并发与日调用量；③ 首 token 延迟要求；④ 数据出域与否（是否要求断网）；⑤ 预算形态与上线时间。这不是流程主义——它是你后面所有报价的依据，也是"客户改口"时你唯一能拿出来的证据。
犀利观点：没有最好的卡，只有最合适的卡
一个 7B 的客服模型跑在 8 卡旗舰机上，和跑在 1 张中端卡上，客户体验的差别小到可以忽略，但价格差三五倍。FDE 的专业度，恰恰体现在敢于推荐"比你想要的更低"的配置——省下来的钱，客户会在第二个项目上还给你。
“先问五个业务问题，再谈芯片；敢推荐更低的配置，才是真专业。
05
看清供应节奏
NVIDIA 路线图：一年一代，代际差到底差在哪
AI 硬件现在是一年一代的节奏。这对客户意味着一个非常现实的问题：今天下单，明年会不会被新一代"降维打击"？FDE 必须能说清每一代到底提升了什么、什么客户该等、什么客户别等。
| 代际 | 时间 | 显存与带宽 | 算力与精度 | 它解决什么问题 |
|---|---|---|---|---|
| Hopper H200 | 2024 起 | 141 GB HBM3e / 4.8 TB/s | FP8 约 4 PFLOPS（稀疏）；FP16/BF16 约 1,979 TFLOPS | 显存比 H100 近翻倍，长上下文推理与微调的主力成熟款 |
| Blackwell B200 | 2024–2025 | 192 GB HBM3e（单卡） | 新增 FP4（NVFP4）低位宽，第二代 Transformer Engine | 把推理成本大幅压低；8 卡 HGX B200 整机约 1.4 TB 显存 |
| Blackwell GB200 NVL72 | 2025 | 整柜约 13.4 TB HBM3e / 576 TB/s | 整柜 NVFP4 约 1,440 PFLOPS（稀疏）；NVLink 域 130 TB/s | 72 卡绑成"一台大机器"，液冷整柜，攻万亿参数级推理与训练 |
| Blackwell Ultra GB300 / B300 | 2025–2026 | Blackwell Ultra 单芯片 279 GB HBM3E；HGX B300 整机 > 2 TB | 单芯片 FP4 推理最高约 20 PFLOPS（稀疏）；注意力性能约 2 倍 | 专为"思考型推理 / Agent"的测试时扩展（长思考、多轮）而生 |
| Rubin（Vera Rubin） | 2026 下半年起供货 | 单卡 288 GB HBM4 / 22 TB/s；NVL72 整柜 NVLink 约 260 TB/s | 单卡 NVFP4 推理 50 PFLOPS；NVLink 升级到第 6 代 3.6 TB/s/卡 | 官方口径：推理 token 成本较 Blackwell 最多降约 10 倍，训练 MoE 用卡数最多少 4 倍 |
显存容量：一年一代，涨得最实在的就是这一栏
单卡 / 单芯片 HBM 容量，单位 GB · 来源：NVIDIA 官方规格页与 CES 2026 Rubin 发布信息
口径说明：以上算力均按厂商公开的"稀疏 / 密集"标注，稀疏算力通常是密集的近 2 倍；不同代际、不同精度（FP8 / FP4）不可直接横比。NVIDIA 官方同时给出"每年一代"的节奏承诺，Rubin 已进入量产、伙伴产品自 2026 年下半年起陆续供货；再下一代 Rubin Ultra / NVL576 属 2027 年规划，尚未量产。
事实案例 · CES 2026 一次发六颗芯片
"降 10 倍成本"与"少 4 倍用卡"，到底该信哪句
发布NVIDIA 在 2026 年 1 月 CES 发布 Rubin 平台，一次带来六颗芯片：Vera CPU、Rubin GPU、NVLink 6 交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 以太网交换机。
口径官方明确：推理 token 成本较 Blackwell 最多降约 10 倍、训练 MoE 用卡数最多少 4 倍；首批云上实例预计 2026 年内由 AWS、Google Cloud、Microsoft、OCI 等陆续提供。
含义如果你的项目 2026 下半年才需要大规模算力，可以等 Rubin；但这个季度就要上线验证的，别等，先用手上现成的成熟代际把业务跑通。
启示厂商的"最多"是实验室条件下的上限，采购决策要用你自己的模型和数据实测——POC 口径见 1.12。
来源：NVIDIA Newsroom "NVIDIA Kicks Off the Next Generation of AI With Rubin"（2026-01-05）；NVIDIA HGX / GB200 NVL72 / Blackwell Ultra 官方规格页（2026）。
“硬件永远有下一代，业务窗口只有一次；该等的人等 Rubin，该跑的人今天就用手上的成熟代际把业务跑通。
06
认清牌桌
非 N 阵营与国产概览：桌上不止一张牌
在信创、供应链安全、成本敏感的场景里，非 NVIDIA 方案不是"备胎"，而常常是必选项。这里只做全景定位，不展开迁移细节——那是 1.4「国产算力方案」的正题。
| 阵营 | 代表 | FDE 该怎么看它 |
|---|---|---|
| AMD 加速卡 | Instinct MI 系列 | 显存容量与性价比有竞争力，软件栈（ROCm）生态在追赶；适合愿意投入适配成本、追求整体成本优化的客户 |
| 华为昇腾 | Ascend 910B / 910C、Atlas 900 / CloudMatrix 384 超节点 | 信创主力。走"系统级制胜"路线：单卡算力不及顶级 GPU，但用超节点把几百张卡绑成一台机器。公开口径中 CloudMatrix 384（384 卡 + 192 鲲鹏 CPU）约 300 PFLOPS 密集 BF16，总显存约超 GB200 NVL72 的 3.6 倍 |
| 寒武纪 | 思元（MLU）系列 | 国内较早的 AI 芯片路线，特定推理场景性价比可用；生态与算子覆盖需逐个模型验证 |
| 海光 DCU | 深算系列 | 兼容类 CUDA 编程模型，迁移成本相对可控；常出现在信创服务器整机方案里 |
最容易误判的一件事：拿"单卡算力排位赛"评价国产方案
国产的竞争逻辑是"系统换单点"——用超节点、光互联、集群调度，把单卡上的差距用系统规模补回来。你只盯着"单卡跑分"，会得出完全错误的结论；要按整套集群的实际吞吐、显存总容量、互联带宽，以及"我的模型在上面能不能跑、跑得好不好"来评。评分方法与 POC 测法见 1.4、1.12。
FDE 现场动作：谈国产替代，先问清三个问题
① 是"必须国产"（合规强制），还是"可以国产"（成本 / 供应考量）？② 上层的模型、框架、推理引擎是自研还是开源？③ 迁移窗口有多长、有没有双轨并行的条件？这三个答案决定了是"直接上国产"还是"先并行观察"——方案形状完全不同。
07
收口与现场动作
FDE 选型决策流程：把需求一句话，翻译成一张硬件清单
把前面六个知识点串成一条流水线：需求 → 活的性质 → 交付形态 → 硬件档位 → 验证方式。走完这五步，你交出的不是一份参数表，而是一份"客户能签字"的决策记录。
1
① 定性
训练活还是推理活？延迟优先还是吞吐优先？这一步决定后面全部取舍。
2
② 定形
云 / 裸金属 / 自建 / 一体机 / 边缘，选一个主形态 + 一个备用形态（比如"自建为主、峰值上云"）。
3
③ 定档
按"显存门槛 + 并发量"估算卡数与整机数：先算出最低能跑通的配置，再算舒适配置。
4
④ 定界
把数据出域、断网、信创、等保这些硬约束标出来，圈掉不允许的选项。
5
⑤ 定验
写明用什么数据、什么指标、多久、谁来判定"这套配置够用"——不写验证标准的方案，验收一定扯皮。
脱敏复盘 · 客户说要"AI 大模型算力平台"
按五步走完，规模缩到客户最初设想的三分之一，他反而更认可
场景某城商行要上"信贷材料智能预审"，需求原话是"要一套 AI 大模型算力平台"。
定性推理活、首 token 要求 3 秒内、日调用约 5,000 次。
定形数据不出域、断网可用，锁定私有化一体机。
定档模型为 70B 级量化后推理，显存门槛算出约 2 台 8 卡推理整机即可覆盖峰值。
定界 / 定验额外满足信创与等保要求；用 200 条真实历史材料做 Golden Set，约定首 token 与准确率口径。
结果最终方案规模约为客户最初设想的三分之一，客户反而更认可——因为他第一次看清了"钱花在哪、标准是什么"。
案例为 FDE 交付常见场景的脱敏复盘；显存门槛的具体算法见 1.2，估值与验证口径见 1.12。
犀利观点：胜负手不是"你懂多少硬件"
而是"你能不能让客户自己把结论说出来"。把五问卡、五步清单摆在客户面前，让他一条条填、一条条确认——当你什么都没推销，他自己得出"先上两台推理机"的结论时，这个方案就已经赢了。硬件选型卖的不是配置，是一套客户信得过的决策过程。
把五问卡和五步清单变成白板上的两列字——客户现场的选型会，最有效的工具往往不是 PPT，是一块白板和一支笔。
“需求 → 定性 → 定形 → 定档 → 定界 → 定验：把选型做成一份客户能签字的决策记录，而不是一份参数表。
0–2′
开场：一个"买错"的真事
抛出"立项词是训模型、真实需求是推理"的案例，问学员：这单该按什么配？
2–5′
KP1 算力家族
搬砖工地类比，讲清 CPU/GPU/NPU/ASIC/FPGA 是谁、擅长什么。
5–9′
KP2 训练 vs 推理（重点）
盖楼 vs 迎客，讲清两种活对硬件的相反取舍。
9–12′
KP3 五种交付形态
吃饭五方式类比，强调"混合是常态"，提醒机房踩点。
12–15′
KP4 五问反推
现场演示一张"五问卡"，用算例说明显存门槛怎么估。
15–18′
KP5 NVIDIA 路线图
逐代对比表，讲清"该等的人等、该跑的人跑"。
18–20′
KP6–7 国产 + 决策流程
国产看整集群不看跑分；五步清单收口，布置演练。
我能用"工人"类比讲清 CPU/GPU/NPU/ASIC/FPGA 的分工。
我能判断一个需求是训练活还是推理活，并说出它对硬件的相反取舍。
我能从五种交付形态里挑出主形态 + 备用形态，并说明理由。
我能背出"五问卡"，并用它反推出一份初步硬件清单。
我能说出 H200、Blackwell、Blackwell Ultra、Rubin 各解决什么问题。
我能解释"国产要看整集群、不看单卡跑分"这句话。
课堂演练（两人一组 · 3 分钟）
客户原话："我们想把公司所有制度文档都交给 AI 问答，员工有 2,000 人，要求数据绝对不能出公司，最好今年就能上线，预算没想好。"A 扮演 FDE：用五问卡逐条补齐缺失信息，把能确定的先填上。B 扮演客户技术负责人：给噪声信息（"我们想用最好的卡""听说要训个大模型"），并反问 A 为什么不能一步到位买顶配。互评：A 有没有把"立项词"和"真实交付物"分开？有没有给出主形态 + 备用形态？
✓
下课前自测
4 道题，点一下就知道掌握没
1客户说"要买 GPU"，按本节的说法，最该先看的三件事是？
拿 CPU 的思维买 GPU 是选型最贵的错误。"核心数越多越好、主频越高越好"这套逻辑在 GPU 上基本失效——一台 8 卡的机器，瓶颈十有八九不在算力，而在货搬不到工人面前。
2"训练"和"推理"对硬件最缺的东西，分别是？
盖楼 vs 迎客。训练拼"集群能不能一起干活"，所以显存与卡间互联是第一位的；推理拼"一张卡能不能榨干"，所以吞吐、单位 token 成本、首 token 延迟才是老板真正关心的。把两件事混成一件事，是算错预算的头号原因。
3客户要上一套"7×24 常开、数据绝对不能出域"的推理服务，主形态应该倾向于？
"混合"才是常态，纯云和纯自建都是少数人的选择。数据不出域 + 长期常开，把主形态锁定在自建或一体机；但"敏感的、稳态的放自己机房，爆发的、临时的走云"这条默认推荐，往往一次就说到客户心里。
4客户纠结"要不要等下一代 Rubin 再买"，比较专业的回应是？
"等下一代"是采购里最常见、也最贵的拖延症。硬件永远有下一代，业务窗口只有一次。该等的人等 Rubin（比如 2026 下半年才需要大规模算力），该跑的人今天就用手上的成熟代际把业务跑通。
已完成 0 / 4 题
延伸资料与来源
事实出处
- NVIDIA：H200 Tensor Core GPU 官方规格（141 GB HBM3e、4.8 TB/s、FP8 约 4 PFLOPS，TDP 最高 700 W），nvidia.com，2026。
- NVIDIA：GB200 NVL72 官方规格（36 Grace CPU + 72 Blackwell GPU、13.4 TB HBM3e、576 TB/s、NVLink 域 130 TB/s、NVFP4 约 1,440 PFLOPS 稀疏），nvidia.com，2026。
- NVIDIA：Blackwell Ultra Datasheet 与 GB300 NVL72 / HGX B300 规格（单芯片 279 GB HBM3E、整柜 20 TB HBM3E、ConnectX-8 800 Gbps），resources.nvidia.com，2026。
- NVIDIA Newsroom：《NVIDIA Kicks Off the Next Generation of AI With Rubin——Six New Chips, One Incredible AI Supercomputer》，2026-01-05；HGX Rubin NVL8 规格（单卡 288 GB HBM4 / 22 TB/s、NVLink 6）。
- NVIDIA：DGX B200 技术规格（8× Blackwell、1,440 GB 显存、64 TB/s、整机最大约 14.3 kW、10 RU、约 142 kg），nvidia.com / DGX B200 User Guide，2026。
- SemiAnalysis / 华为：CloudMatrix 384（384 颗昇腾 910C + 192 鲲鹏 CPU、约 300 PFLOPS 密集 BF16、总显存约为 GB200 NVL72 的 3.6 倍，2025）；华为全联接大会 2025 昇腾路线图（910C→950PR/DT→960→970，2025-09-18）。
- 本课程联动：显存门槛与算力精度见 1.2；整机拓扑与互连见 1.3；国产适配与 POC 评分见 1.4；TCO 与自建 / 云对比见 1.11。