Google那篇关于RAG的论文里假设了一个“无限吞吐”的向量数据库,但我的Jetson Orin NX只给了8GB内存
大家好,我是韩知行。今天咱们不聊那些花里胡哨的新架构,聊聊一个很实在的问题:为什么我们在云端跑得飞起的RAG(检索增强生成),一到边缘端就变得像拖拉机一样慢? 最近大厂都在推边缘大模型,我也在研究怎么把RAG从云端搬到Jetson上。这事儿看着简单,真上手了才发现,中间隔着好几道硬件和软件的“鬼门关…
大家好,我是韩知行。今天咱们不聊那些花里胡哨的新架构,聊聊一个很实在的问题:为什么我们在云端跑得飞起的RAG(检索增强生成),一到边缘端就变得像拖拉机一样慢? 最近大厂都在推边缘大模型,我也在研究怎么把RAG从云端搬到Jetson上。这事儿看着简单,真上手了才发现,中间隔着好几道硬件和软件的“鬼门关…