Google那篇关于RAG延迟的论文里假设了“无限带宽”，但我的Jetson Orin NX的内存带宽只够喝汤
上周在实验室组会上，我抛出了个观点：现在大家都在卷RAG的检索精度，但很少有人聊“把RAG搬下云端”这件事有多难。就在上周，Google DeepMind上个月发的那篇关于“System 2 Reasoning”的论文里提到，大模型推理的延迟主要瓶颈在于KV Cache的读写。当时我就在想，这理论在…
延迟
我在Jetson Orin上压测DeepSeek-V3：代码生成吞吐翻倍，但真实机械臂延迟抖动让抓取失败43次
做机器人这5年，我对“仿真很美好，真实世界很残酷”这句话有切身体会。半年前，我们把一个大语言模型部署到机器人上做实时任务规划——仿真里指令生成延迟稳定在180ms，抓取动作行云流水；搬到真机第一天，xArm 6机械臂就在我面前硬生生把一个玻璃量杯拍到地上。原因不是什么算法缺陷，只是推理响应偶尔从20…