Google那篇关于RAG延迟的论文里假设了“无限带宽”，但我的Jetson Orin NX的内存带宽只够喝汤

2026年7月28日 46 次浏览

上周在实验室组会上，我抛出了个观点：现在大家都在卷RAG的检索精度，但很少有人聊“把RAG搬下云端”这件事有多难。就在上周，Google DeepMind上个月发的那篇关于“System 2 Reasoning”的论文里提到，大模型推理的延迟主要瓶颈在于KV Cache的读写。当时我就在想，这理论在…

标签：