🏷️ TensorRT

给工厂装上本地SD:我们如何让Jetson Orin跑通图像生成并省下每月的API账单

我是沈青锋,一个在制造业AI化这条路上踩过两次坑的连续创业者。我们的第三个项目是做AI+制造业,主要解决工厂里的视觉质检和设计辅助问题。在做了前两个项目后,我有一个深刻的体会:**技术再牛,如果不能在离线环境跑通,在工厂里就是废铁。** 最近,我们接到了一个很典型的B端需求:一家拥有五条精密模具生产…

Jetson Orin推理优化:我把YOLOv8延迟从45ms压到8ms,但功耗翻车了

在Jetson AGX Orin上部署YOLOv8,从45ms延迟艰难优化到8ms。详细记录了TensorRT层融合、INT8量化的校准集精度陷阱、DLA加速器的隐藏坑,以及用共享内存多模型流水线把吞吐拉到45fps的全过程。还有差点烧坏板子的散热教训和生产环境的自动恢复设计。