我在单张RTX 3090上驯服Code Llama 70B:QLoRA调优让补全准确率飙升33%,并让我彻底放弃外部API
团队里有人问我,为什么放着成熟的GitHub Copilot Enterprise不用,非要折腾一个70B的开源代码模型。表面看,这是自讨苦吃。Copilot Enterprise按席位收费,开箱即用,背后有微软的庞大推理集群。我们要做的是相反的事:从私有Git仓库里提取训练数据,在一张消费级显卡上…
团队里有人问我,为什么放着成熟的GitHub Copilot Enterprise不用,非要折腾一个70B的开源代码模型。表面看,这是自讨苦吃。Copilot Enterprise按席位收费,开箱即用,背后有微软的庞大推理集群。我们要做的是相反的事:从私有Git仓库里提取训练数据,在一张消费级显卡上…
说来离谱,上周我妈突然问我能不能教她写个网页。她开了个小烘焙工作室,想在朋友圈发个像样的展示页。我正准备说”你先学HTML基础”,结果看到了GitHub Copilot Chat免费开放的消息。我直接把电脑推给她:”来,用普通话说你想做什么。” 十分钟…