英伟达 Blackwell 架构:当 H100 集群沦为推理瓶颈,我为何押注 GB200 NVL72 的双 Chiplet 赌局
2026 年 10 月,凌晨两点。我的监控大屏上,Llama 4 的推理集群延迟曲线在 50ms 处剧烈波动。这是典型的 KV Cache 溢出信号。我们试图在一个 H100 集群上跑满 2M 上下文的 Llama 4 Pro,结果显存带宽直接被吃空,推理吞吐量跌破了 10 TPS。作为架构师,我必…
2026 年 10 月,凌晨两点。我的监控大屏上,Llama 4 的推理集群延迟曲线在 50ms 处剧烈波动。这是典型的 KV Cache 溢出信号。我们试图在一个 H100 集群上跑满 2M 上下文的 Llama 4 Pro,结果显存带宽直接被吃空,推理吞吐量跌破了 10 TPS。作为架构师,我必…
作为一名在投资机构摸爬滚打五年的技术顾问,我看过上百份 AI 项目的 BP。绝大多数都在讲「算法」、「模型」和「场景」,仿佛只要有了模型,世界就会改变。但我更关心的是硬件成本,特别是显存(HBM)成本。过去一年,我见证了无数 AI 初创公司因为算力成本过高而倒闭,也见证了云厂商为了争夺 HBM3e …