用竞价实例跑GPU推理:我把成本砍了67%,同时稳住了99.95%的可用性——一份被Spot中断逼出来的架构手记
把GPU推理成本砍掉67%的同时保持99.9%可用性,这听起来像天上掉馅饼。但我在帮一个日活30万的短视频平台做架构优化时发现,Spot实例的中断不是意外而是确定性事件——关键是在2分钟窗口内完成检测、摘除、迁移。这篇文章记录了从预热池设计到多区域切换的完整踩坑过程,以及三个让可用性从99.87%提升到99.96%的关键修复。
把GPU推理成本砍掉67%的同时保持99.9%可用性,这听起来像天上掉馅饼。但我在帮一个日活30万的短视频平台做架构优化时发现,Spot实例的中断不是意外而是确定性事件——关键是在2分钟窗口内完成检测、摘除、迁移。这篇文章记录了从预热池设计到多区域切换的完整踩坑过程,以及三个让可用性从99.87%提升到99.96%的关键修复。