Google DeepMind那篇关于大模型量化的论文里提到，INT4能省75%显存，但我把Llama 3搬上AWS Graviton4 R8g后发现，编译器的坑比显存坑还多
大家好，我是韩知行。作为在大厂摸爬滚打多年的 AI 研究员，最近我们团队在做一个成本敏感的项目——给一个初创公司的内部知识库加 RAG（检索增强生成）功能。预算有限，老板指着云账单问：“能不能别买 GPU 实例了？CPU 上跑模型不行吗？” 说实话，这问题问得我很尴尬。学术界那篇 Google De…
ARM架构
我把Llama推理从x86移到Graviton4省了23%，但半夜那三个坑差点让服务裸奔
去年四季度账单出来的时候，CFO在Slack里直接@我：“咱们AI微服务的EC2开销怎么比数据库集群还贵？”我点开Cost Explorer一看，跑Qwen-7B推理的M7i.4xlarge预留实例，一天吞掉将近400美元。同期流量没涨，模型也没换，纯粹是请求延迟的要求从P99 800ms压到300…