Google那篇关于RAG的原始论文里假设了一个“无限吞吐”的向量数据库，但我的Jetson Orin NX只给了8GB内存
大家好，我是韩知行。今天不想聊什么大模型微调的Loss曲线，也不聊Transformer架构的数学推导，我想和大家聊聊一个特别“土”但特别刚需的话题——在边缘端（Edge）跑RAG。 大家可能都看过那篇2019年的经典论文《Retrieval-Augmented Generation for Lar…
Llama 3
免费T4的30分钟术语注射：4-bit量化+LoRA把Llama 3从随机猜测提到89%准确率，200条问答就够了
我是周明远，一个在嵌入式设备上榨干每一KB内存的AI部署工程师。去年我还在Jetson Orin上给YOLOv8做INT8量化，把推理延迟从22ms砍到9ms；今年公司让我给一个医疗咨询小程序注入专业术语——没有预算、没有A100，手头只有Google Colab的免费T4和一台吃灰的树莓派5。起初…