我把Qwen2.5-72B扔进法律咨询聊天框，LoRA微调出的那些沉默和爆发
去年秋天的一个深夜，我看着屏幕上那行“根据相关法律法规，你的问题需要进一步分析”的回复，差点把键盘砸了。这是我们内部用原生Qwen2.5-72B搭建的律师助手原型——客户问“离婚时婚前房产婚后共同还贷怎么分”，模型却像在背法条目录。我关掉终端，打开Jupyter，决定从零开始做一次垂直领域对话系统的…
LLM 微调与部署实战
在Trainium2上微调Llama 3 8B，我实际跑了216轮实验，每token成本压到A100的41%
我叫许彦，在机器人行业泡了5年，机械臂、人形、腿足都摸过一遍。按理说，一个搞ROS和具身智能的工程师突然写云上LLM微调，有点不务正业。但去年公司接了个内部知识库项目，需要微调私有化部署的Llama 3 8B，老板给的成本红线直接把我这个做硬件出身的人逼上了AWS Trainium2的货架。我带着“…
Qwen2.5-72B的128K上下文，我用10万份法律判决书测出了它的中文长文本天花板
上周组会，我带了一份很“长”的东西给大家看——不是年终总结，而是把10万份中国裁判文书网上的民事判决书灌进了Qwen2.5-72B，让它做摘要。跑完以后我盯着屏幕上的ROUGE分数愣了很久，脑子里反复回放的不是结果，而是大半年前读Qwen技术报告时，那张漂亮的128K上下文“大海捞针”测试图。报告里…
我差点把公司机房的电闸烧了，才把Qwen2.5-72B的推理速度拉到300 token/s
说出来你可能不信，上个月我差点因为一个模型被客户拉黑。事情是这样的：一家金融客户死活不肯把合同数据送进公有云，非要我在他们内网塞一个能读合同、会做条款风险分析的AI。我一开始觉得简单，“不就是部署个开源模型嘛，Qwen2.5-72B刚好是中文天花板。”结果，从模型落地到真正能上线，我踩过的坑比前五年…
72B参数挤进消费级显卡：我用QLoRA在RTX 4090上驯服法律版Qwen2.5的显存博弈
我桌上这台机器只有一张RTX 4090，24GB显存。三个月前，领导丢过来一句话：“咱们能不能自己做一个法律咨询助手？别老调OpenAI的API，数据安全过不了审。”我盯着显卡的显存容量，又看了看Qwen2.5-72B的权重文件——138GB，FP16。那一刻脑子里蹦出的第一个念头是：这玩意儿连加载…
用竞价实例跑GPU推理：我把成本砍了67%，同时稳住了99.95%的可用性——一份被Spot中断逼出来的架构手记
把GPU推理成本砍掉67%的同时保持99.9%可用性，这听起来像天上掉馅饼。但我在帮一个日活30万的短视频平台做架构优化时发现，Spot实例的中断不是意外而是确定性事件——关键是在2分钟窗口内完成检测、摘除、迁移。这篇文章记录了从预热池设计到多区域切换的完整踩坑过程，以及三个让可用性从99.87%提升到99.96%的关键修复。