在Trainium2上微调Llama 3 8B,我实际跑了216轮实验,每token成本压到A100的41%

我叫许彦,在机器人行业泡了5年,机械臂、人形、腿足都摸过一遍。按理说,一个搞ROS和具身智能的工程师突然写云上LLM微调,有点不务正业。但去年公司接了个内部知识库项目,需要微调私有化部署的Llama 3 8B,老板给的成本红线直接把我这个做硬件出身的人逼上了AWS Trainium2的货架。我带着“…