我用 AWS Trainium 2 重构了公司大模型推理链路,显存省了三分之一但踩了几个致命坑
📅 更正说明(2026-10-13):本文初版存在事实错误已修正:①Trainium 2 于 2023 年 re:Invent 预览、2024 年 12 月 GA,官方规格为单芯片 96GB HBM3、dense FP8 1300 TFLOPS、带宽 2.9TB/s,初版时间与规格均有误;Infer…
📅 更正说明(2026-10-13):本文初版存在事实错误已修正:①Trainium 2 于 2023 年 re:Invent 预览、2024 年 12 月 GA,官方规格为单芯片 96GB HBM3、dense FP8 1300 TFLOPS、带宽 2.9TB/s,初版时间与规格均有误;Infer…
看着Prometheus上那条几乎贴着地面的CPU使用率曲线,我经常有一种“被割韭菜”的错觉。这就是Kubernetes在云原生时代最大的痛点:为了那1%的突发流量,我们往往要为99%的时间支付100%的资源成本。以前我总觉得Serverless是AWS Lambda这种公有云的专利,直到我深入研究…
我叫沈青锋,正在做第三个创业项目——用AI做汽车零部件的表面缺陷检测。我们给长三角十几家中小型汽配厂部署质检工位,摄像头拍下零件,模型实时判断有没有划痕、气泡。这些模型跑在Azure的GPU虚拟机(NCas_T4_v3系列),数据存储在Blob Storage,推理服务托管在AKS集群上。客户产线2…