DeepSeek-V3 MoE路由的诡异行为:我调了6个参数后,推理吞吐涨了3倍,但负载均衡差点把GPU集群干崩
这件事要从上个月的一次凌晨3点的PagerDuty告警说起。我们的核心代码补全服务突然开始大量5xx,延迟从平时的300ms直接飙到12秒。应改为通过`kubectl exec`进入Pod执行`nvidia-smi`或使用GPU监控工具(如DCGM)查看显存状态。。这不对劲——我们跑的是DeepSe…
这件事要从上个月的一次凌晨3点的PagerDuty告警说起。我们的核心代码补全服务突然开始大量5xx,延迟从平时的300ms直接飙到12秒。应改为通过`kubectl exec`进入Pod执行`nvidia-smi`或使用GPU监控工具(如DCGM)查看显存状态。。这不对劲——我们跑的是DeepSe…
那天凌晨3点14分,PagerDuty把我从梦里拽出来。告警消息写着:「proof-verification-pipeline失败率飙升,过去5分钟连续7次数学归纳法证明包含无效推导。」我眯着眼打开Grafana,看见那条代表“证明完备性得分”的曲线直接跌到0.3,正常阈值是0.85。我第一反应是A…