从15fps削到0.2fps,我把GPT-4o实时视频问答塞进Jetson Orin NX,一家店每天成本不到两美元
我叫周明远,前几年一直在搞嵌入式视觉——给产线质检相机写C++驱动,在STM32上抠内存。后来公司觉得AI落地是个好生意,我就被一脚踹进了模型部署的坑。这一年多我干的最磨人的活儿,就是在资源卡脖子的边缘设备上,让大模型挤出一点实用价值。这个项目的起因很简单:一家区域连锁便利店品牌找到我们,想要一套轻…
我叫周明远,前几年一直在搞嵌入式视觉——给产线质检相机写C++驱动,在STM32上抠内存。后来公司觉得AI落地是个好生意,我就被一脚踹进了模型部署的坑。这一年多我干的最磨人的活儿,就是在资源卡脖子的边缘设备上,让大模型挤出一点实用价值。这个项目的起因很简单:一家区域连锁便利店品牌找到我们,想要一套轻…