Google那篇关于FP8的论文里说能省50%显存,但当我把Llama 3搬上Blackwell B200时,我的Loss却炸了

上周三,实验室的采购部门终于把那台挂着 “B200” 标签的 DGX H100 拖进了机房。说实话,拆开那层防静电包装的时候,我有点恍惚。这就是 NVIDIA 刚发布的 Blackwell 架构吗?相比上一代 Hopper,这东西给我的第一感觉不是“升级”,而是“换血”。我们…