从“省着点花”到“精确到每token成本”——我在云账单里翻到的秘密

2026年5月8日 94 次浏览

一张翻了倍的云账单让我痛下决心重构推理基础设施。我拆解出每token的真实成本，用Spot实例混合按需、连续批处理、时间切片替代MIG，甚至给Envoy加了压缩，最终把月GPU费用从8400美元砍到3100美元。这篇文章记录了我踩过的每一个坑和每一步优化代码，适合被GPU推理成本压得喘不过气的工程师阅读。

标签：