GPT-4o实时视频API成本实录(2024):从15fps削到0.2fps的Jetson Orin NX部署复盘

我叫周明远,前几年一直在搞嵌入式视觉——给产线质检相机写C++驱动,在STM32上抠内存。后来公司觉得AI落地是个好生意,我就被一脚踹进了模型部署的坑。这一年多我干的最磨人的活儿,就是在资源卡脖子的边缘设备上,让大模型挤出一点实用价值。这个项目的起因很简单:一家区域连锁便利店品牌找到我们,想要一套轻…