🏷️ Trainium2

DeepSeek-V4 论文里的稀疏路由,在生产环境里差点把我的集群搞崩——AWS SageMaker HyperPods 实战血泪与优化重构

2026年11月,如果你还在用H100堆叠推理集群,那你大概率已经被隔壁搞金融科技的卷死了。大模型部署早已过了“把模型扔上去就能跑”的野蛮生长时代,现在拼的是延迟的毫秒级控制和Token生成的边际成本。最近我在AWS上折腾了一波最新的SageMaker HyperPods和Lambda LLM Ru…

我在Trn2上训了个130亿模型,然后重新算了一笔账——Trainium2的ROI被高估了

我叫方瑾,在一家硬科技基金做了五年技术顾问。我的日常工作就是看BP、拆团队、审架构、算账。五年里我见过上百个AI项目,多数是“PPT AI”——演示的时候跑得欢,一上生产环境ROI就碎成渣。所以我养成了一个习惯:只看真实跑过、能交出完整成本账单的案例。三个月前,一个做垂直行业大模型的被投企业找到我,…