🏷️ 大模型部署

SageMaker 这么好用,为什么我还得在 EC2 上调半天参数?

各位好,我是韩知行。今天咱们不聊那些花里胡哨的新模型架构,咱们来聊聊 AWS 这两年最让我头疼但也最离不开的东西——Amazon SageMaker。现在的环境是 2026 年 9 月,SageMaker 已经从当年的“工具箱”进化成了真正的“操作系统”。以前我们觉得把模型从 Jupyter Not…

Google那篇关于FP8的论文里说能省50%显存,但当我把Llama 3.1跑在Blackwell上时,我的Loss却炸了

上周在实验室组会上,老板扔给我一张 Blackwell 架构的架构图,问我:“韩知行,这玩意儿真的能解决我们现在的显存墙问题吗?”我盯着那张图看了五分钟,脑子里想的不是晶体管数量,而是我们那帮搞分布式训练的兄弟又要掉多少头发。说实话,从 Hopper 到 Blackwell,NVIDIA 这次玩了一…