我差点把公司机房的电闸烧了，才把Qwen2.5-72B的推理速度拉到300 token/s
说出来你可能不信，上个月我差点因为一个模型被客户拉黑。事情是这样的：一家金融客户死活不肯把合同数据送进公有云，非要我在他们内网塞一个能读合同、会做条款风险分析的AI。我一开始觉得简单，“不就是部署个开源模型嘛，Qwen2.5-72B刚好是中文天花板。”结果，从模型落地到真正能上线，我踩过的坑比前五年…
通义千问2.5
72B参数挤进消费级显卡：我用QLoRA在RTX 4090上驯服法律版Qwen2.5的显存博弈
我桌上这台机器只有一张RTX 4090，24GB显存。三个月前，领导丢过来一句话：“咱们能不能自己做一个法律咨询助手？别老调OpenAI的API，数据安全过不了审。”我盯着显卡的显存容量，又看了看Qwen2.5-72B的权重文件——138GB，FP16。那一刻脑子里蹦出的第一个念头是：这玩意儿连加载…