我用Blackwell B200重构了公司大模型推理链路，显存降了一半但踩了几个致命坑
我盯着监控屏幕上的红色警告已经三小时了。公司自研的Sage大模型推理服务集群，正在经历一场前所未有的显存风暴。每个Blackwell B200 GPU的显存占用率都在95%以上，队列堆积如山，P99延迟从正常的200ms飙到了1200ms。运维那边已经把所有能调的参数调到极限，但显存瓶颈就像一堵墙，…
HBM3e
为什么 HBM3e 的价格战正在淘汰 90% 的 AI 芯片初创企业：Blackwell B200 的 FP4 是真突破还是营销噱头？
作为一名在投资机构摸爬滚打五年的技术顾问，我看过上百份 AI 项目的 BP。绝大多数都在讲「算法」、「模型」和「场景」，仿佛只要有了模型，世界就会改变。但我更关心的是硬件成本，特别是显存（HBM）成本。过去一年，我见证了无数 AI 初创公司因为算力成本过高而倒闭，也见证了云厂商为了争夺 HBM3e …
HBM3e 短缺正在杀死 80% 的 AI 初创公司：Blackwell B200 的 FP4 与 Transformer 引擎如何重新定义 ROI
作为一个在投资机构干了5年的技术顾问，我看过上百个AI项目的BP。绝大多数创业者的技术路线图都犯了一个致命错误：他们假设算力是无限的，或者至少是可以按需购买的。在GPT-4.5发布后的这半年里，我反复验证了一个残酷的事实——HBM3e内存短缺正在成为AI行业的“达摩克利斯之剑”。这不仅仅是供应链问题…
Google那篇关于FP8的论文里说能省50%显存，但当我把Llama 3.1跑在Blackwell上时，我的Loss却炸了
上周在实验室组会上，老板扔给我一张 Blackwell 架构的架构图，问我：“韩知行，这玩意儿真的能解决我们现在的显存墙问题吗？”我盯着那张图看了五分钟，脑子里想的不是晶体管数量，而是我们那帮搞分布式训练的兄弟又要掉多少头发。说实话，从 Hopper 到 Blackwell，NVIDIA 这次玩了一…