我在Trn2上训了个130亿模型，然后重新算了一笔账——Trainium2的ROI被高估了
我叫方瑾，在一家硬科技基金做了五年技术顾问。我的日常工作就是看BP、拆团队、审架构、算账。五年里我见过上百个AI项目，多数是“PPT AI”——演示的时候跑得欢，一上生产环境ROI就碎成渣。所以我养成了一个习惯：只看真实跑过、能交出完整成本账单的案例。三个月前，一个做垂直行业大模型的被投企业找到我，…
大模型训练成本
我赌上6年独立开发的尊严，把千亿模型训练账单从$340万砍到$89万——Trn2这匹黑马让我又爱又恨
讲真，当我第一次看到AWS Trn2实例的报价时，我的第一反应是：这玩意儿该不会是来搞笑的吧？毕竟我们这群独立开发者已经被各种云厂商的“下一代AI芯片”忽悠了太多次。但你猜怎么着？这次我真的把宝押上去了。我用Trn2集群完整跑了一次千亿参数模型的预训练，从采购、迁移、调优到最终的账单核算，整个过程简…
Blackwell Ultra的算力倍增神话：为什么我赌这张芯片不会成为下一个被高估的VC筹码
我桌上摆着三份投资备忘录。第一份是2021年某AI芯片初创公司的BP，PPT里写着“算力超英伟达A100”，上个月这家公司已经进入清算程序。第二份是2022年某大模型公司的融资材料，承诺“6个月内追平GPT-4”，现在他们还在为现金流发愁。第三份是今天早上刚到的——一家头部云厂商的GPU采购评估报告…