我让Cursor写了一套KEDA规则和Spot切换器，推理成本从8万暴跌到1.7万——但挂了两次生产
今年三月份，我坐在工位上打开AWS Cost Explorer，差点把手里的咖啡洒在键盘上。我们那条大模型推理API管线的月账单，悄无声息地窜到了8.2万美元，而我们整个公司的月度营收才刚过25万。换句话说，光是跑模型推理就吃掉了三分之一的现金。更扎心的是，CFO发来的那封邮件里，只有一句话：“我们…
KEDA
我给GPU集群接上了优先级队列和KEDA，高优推理请求的P99延迟终于从3.2秒砸到120ms
去年年底，我们那条模型推理管线的告警，几乎每天都把我从工位上薅起来。不是推理服务挂了，而是“慢”——客服机器人突然卡了超过两秒，业务方在群里@我说用户开始骂人了。我打开Grafana一看，同一时刻有几百个离线批处理请求涌进来，把在线请求的GPU显存和算力全部挤占。那些批处理是给后台运营同事生成报表用…