🏷️ LoRA微调

我在AI芯片公司帮硬件工程师用Code Llama写RTL,半年后我们放弃了“替代”幻想

那天下班前,隔壁数字前端组的张博拍了拍我肩膀:“林默,听说你天天用AI写Python,能不能帮我们搞点Verilog?我们模块级设计太重复了,FIFO、仲裁器、状态机,一遍遍手写,出错率还高。” 我当时在键盘上敲Cursor敲得正欢,满口答应。心想无非是把Python代码生成换成Verilog,换个…

免费T4的30分钟术语注射:4-bit量化+LoRA把Llama 3从随机猜测提到89%准确率,200条问答就够了

我是周明远,一个在嵌入式设备上榨干每一KB内存的AI部署工程师。去年我还在Jetson Orin上给YOLOv8做INT8量化,把推理延迟从22ms砍到9ms;今年公司让我给一个医疗咨询小程序注入专业术语——没有预算、没有A100,手头只有Google Colab的免费T4和一台吃灰的树莓派5。起初…