B300 训练推理怎么选:3 看点

01 / 先看定位

B300 是「内存优先」的 Ultra

B300 即 Blackwell Ultra，单卡 288GB HBM3e、带宽约 8TB/s、密集 NVFP4 约 15 PFLOPS、注意力处理约为 B200 的两倍。和 B200 摆在一起看，差异很集中：显存多五成、NVFP4 算力提升约一半、注意力近乎翻倍，但内存带宽与 B200 持平，仍是约 8TB/s。

一句话总结：B300 不是把 B200 全面拉快，而是把推理和长上下文最卡的三道关——显存容量、NVFP4、注意力——一起拉满。   

注意：带宽没涨，意味着「数据吞吐速度」不是它升级的重点；它升级的是「能装多少、低精度算得多快、注意力多利索」。   

02 / 推理：B300 的主场

大模型推理与长上下文最受益

大模型推理，尤其是 70B 级往上、上下文动辄上百 K 的场景，B300 的 288GB 让更大 batch、更长 KV cache 留在显存里，直接少做模型分片、少付张量并行开销。DGX B300 单系统推理算力约 144 PFLOPS FP4；在 MLPerf Inference v6.0 里，Blackwell Ultra 系统跑 DeepSeek-R1 达到约 250 万 token/s，较半年前同类提交提升约 2.7 倍。

对 agentic 与长上下文（128K 输入）这类负载，GB300 NVL72 较 GB200 NVL72 在长上下文成本上更有优势，NVFP4 吞吐约为上一代 H100/H200 FP8 的数倍——这正是 B300/GB300 被大量部署到低延迟、长上下文场景的原因。

注意：70B 以下小模型，B200 的显存已经够用，两者实际推理延迟差距会明显收窄，不必为「大」而大。   

03 / 训练：不是「更猛」，是「更省卡」

FP8 训练两者等价，优势只在两处

标准 FP8 训练下，B300 和 B200 同代、密集 FP8 算力接近，集群分布式训练吞吐基本按同样方式线性扩展。B300 的训练收益只出现在两种情况：一是用上 NVFP4 训练；二是模型装不进单卡 192GB 时——比如超大 MoE，288GB 让更多 expert 常驻，减少占训练大头时间的 all-to-all 通信。

一句话总结：B300 做训练，要的是「用更少 GPU 跑同样大的模型」，不是「把训练时间砍半」。   

04 / 科学计算：B300 的反面教材

双精度任务请绕行

B300 把近乎全部 FP64 性能让了出去，去换 NVFP4 的低精度余量。公开规格里，B200 的 FP64 约 37 TFLOPS，而 B300 降到约 1.25 TFLOPS——差了快两个数量级。分子动力学、气候模拟、依赖双精度的科学计算，B200 才是 Blackwell 这一代里的正确选项。

注意：若你的工作负载里 FP64 占比高，上 B300 几乎是自废武功，该选 B200 或专门的 HPC 卡。   

05 / 采购三看法

按负载买，不按「新」买

一、主负载是推理、长上下文、超大 MoE → 上 B300（DGX/HGX B300 或 GB300 整柜），显存与 NVFP4 直接变现。

二、主负载是 FP8 训练、预算敏感、模型能进 192GB → B200 仍很香，性价比窗口还在。

三、负载含大量 FP64 科学计算 → 别碰 B300，选 B200 或 HPC 向加速卡。

一句话总结：B300 不是「买新不买旧」，是「按负载买」。先看主负载长什么样，再决定要不要为那 288GB 和 NVFP4 买单。   

FAQ · 常见问题

Q1 B300 比 B200 全面快吗？

不全是。内存带宽两者持平、FP8 训练等价；B300 只在推理吞吐、显存容量、NVFP4、注意力这几项明显领先。若你的负载卡在带宽或 FP8 训练，B300 给不了额外惊喜。

Q2 我们跑 70B 模型，要上 B300 吗？

看并发和上下文。若 FP16/FP8 能进 192GB、并发不高，B200 已经够；要更长上下文、更高并发、更少分片，288GB 才显价值。

Q3 科学计算能用 B300 吗？

FP64 从约 37 TFLOPS 砍到约 1.25 TFLOPS，双精度任务基本不建议。这类负载应优先考虑 B200 或专门 HPC 卡。

NEXT · 下一步

关注「Token算力观察」，持续更新 GPU 服务器一线

更多 B300 / H200 / 5090 的选型、交付与部署实况会持续更新在这里。涉及具体机型与落地，公众号简介里留了对接方式，有需要可以自行查看。