英伟达 Blackwell 架构:当 H100 集群沦为推理瓶颈,我为何押注 GB200 NVL72 的双 Chiplet 赌局
2026 年 10 月,凌晨两点。我的监控大屏上,Llama 4 的推理集群延迟曲线在 50ms 处剧烈波动。这是典型的 KV Cache 溢出信号。我们试图在一个 H100 集群上跑满 2M 上下文的 Llama 4 Pro,结果显存带宽直接被吃空,推理吞吐量跌破了 10 TPS。作为架构师,我必…
2026 年 10 月,凌晨两点。我的监控大屏上,Llama 4 的推理集群延迟曲线在 50ms 处剧烈波动。这是典型的 KV Cache 溢出信号。我们试图在一个 H100 集群上跑满 2M 上下文的 Llama 4 Pro,结果显存带宽直接被吃空,推理吞吐量跌破了 10 TPS。作为架构师,我必…