把推理塞进 Serverless：我的低资源 AI 部署实战
大家好，我是周明远。从嵌入式系统转行做 AI 推理部署这些年，我最大的感受就是：每一KB内存、每一毫秒延迟，都是真金白银。以前在单片机上跑模型，我得为几十 KB 的闪存、几百 KB 的内存精打细算；现在到了云端，虽然资源看似无限，但成本和性能的权衡依然无处不在。尤其是最近几年，Serverless …
模型部署
Jetson Orin推理优化：我把YOLOv8延迟从45ms压到8ms，但功耗翻车了
在Jetson AGX Orin上部署YOLOv8，从45ms延迟艰难优化到8ms。详细记录了TensorRT层融合、INT8量化的校准集精度陷阱、DLA加速器的隐藏坑，以及用共享内存多模型流水线把吞吐拉到45fps的全过程。还有差点烧坏板子的散热教训和生产环境的自动恢复设计。
机器人视觉系统部署实战：2026年我把识别延迟从120ms干到28ms的七次迭代
给仓储分拣机器人做视觉系统升级时，客户要求把识别延迟从120ms压到25ms。经过七轮优化包括INT8量化、CUDA预处理、模型剪枝和多线程改造，最终稳定在28ms。过程中踩过的坑比成果更有价值：量化校准集必须包含极端光照、OpenCV的resize居然是性能黑洞、TensorRT多线程的内存泄漏…