单张RTX 3090驯不服Code Llama 70B:一笔QLoRA显存账,让我放弃了”消费卡训大模型”的幻想
📅 更正说明(2026-10-13):本文初版核心前提有误:单张 RTX 3090(24GB)无法 QLoRA 微调 Code Llama 70B——70B×4bit÷8=35GB,仅权重就超过整卡显存(社区 QLoRA 微调 70B 通常需 48GB 起),初版“量化后 70B 权重约 12GB”…
📅 更正说明(2026-10-13):本文初版核心前提有误:单张 RTX 3090(24GB)无法 QLoRA 微调 Code Llama 70B——70B×4bit÷8=35GB,仅权重就超过整卡显存(社区 QLoRA 微调 70B 通常需 48GB 起),初版“量化后 70B 权重约 12GB”…
我桌上这台机器只有一张RTX 4090,24GB显存。三个月前,领导丢过来一句话:“咱们能不能自己做一个法律咨询助手?别老调OpenAI的API,数据安全过不了审。”我盯着显卡的显存容量,又看了看Qwen2.5-72B的权重文件——138GB,FP16。那一刻脑子里蹦出的第一个念头是:这玩意儿连加载…