我们把推理成本砍了一半，工厂老板终于同意继续用 AI 了：Blackwell FP8 稀疏化实战复盘
上个月，我去一家做汽车零部件的工厂调研。客户李总坐在满是油污的办公室里，手里拿着一张比A4纸还长的账单，眉头紧锁。他说：“沈工，我也想用 Llama 4 做实时质检，但云端的 API 费用每个月要烧掉五万美金，这 ROI 我算不过来账。” 这就是我们做 AI+制造业遇到的典型困境：技术够先进了，但成…
Transformer Engine
我用Blackwell B200重构了公司大模型推理链路，显存降了一半但踩了几个致命坑
我盯着监控屏幕上的红色警告已经三小时了。公司自研的Sage大模型推理服务集群，正在经历一场前所未有的显存风暴。每个Blackwell B200 GPU的显存占用率都在95%以上，队列堆积如山，P99延迟从正常的200ms飙到了1200ms。运维那边已经把所有能调的参数调到极限，但显存瓶颈就像一堵墙，…
Google那篇关于FP8的论文里说能省50%显存，但当我把Llama 3搬上Blackwell B200时，我的Loss却炸了
上周三，实验室的采购部门终于把那台挂着 “B200” 标签的 DGX H100 拖进了机房。说实话，拆开那层防静电包装的时候，我有点恍惚。这就是 NVIDIA 刚发布的 Blackwell 架构吗？相比上一代 Hopper，这东西给我的第一感觉不是“升级”，而是“换血”。我们…
Blackwell Ultra推理调优手记：我为何押注FP8量化与MIG分区，却差点输给显存带宽
去年年底，我们拿到第一批Blackwell Ultra工程样卡时，整个团队都在算账：官方宣称FP8推理性能相比BF16翻倍，如果真能兑现，我们的在线推理集群规模可以砍掉60%的节点。但作为架构师，我见过太多“实验室性能”跟“线上跑起来的性能”之间的鸿沟。于是，我带着两个工程师，花了一整个迭代周期，从…