72B参数挤进消费级显卡：我用QLoRA在RTX 4090上驯服法律版Qwen2.5的显存博弈

2026年5月19日 190 次浏览

我桌上这台机器只有一张RTX 4090，24GB显存。三个月前，领导丢过来一句话：“咱们能不能自己做一个法律咨询助手？别老调OpenAI的API，数据安全过不了审。”我盯着显卡的显存容量，又看了看Qwen2.5-72B的权重文件——138GB，FP16。那一刻脑子里蹦出的第一个念头是：这玩意儿连加载…

标签：