把GPT-4o mini塞进树莓派5（2024）：量化、NPU并行和三次半夜告警的全记录
我叫赵一帆，做了8年DevOps，K8s和CI/CD是我的饭碗。我的人生哲学很简单：生产环境要么稳得像死水，要么监控得响得像火警——因为被半夜叫醒的次数多了，自然就对“稳定”二字有了条件反射式的偏执。所以当团队说“我们准备在树莓派5上跑GPT-4o mini多模态交互，延迟得压在500ms以下”时，…
边缘AI
Jetson Orin推理优化：我把YOLOv8延迟从45ms压到8ms，但功耗翻车了
在Jetson AGX Orin上部署YOLOv8，从45ms延迟艰难优化到8ms。详细记录了TensorRT层融合、INT8量化的校准集精度陷阱、DLA加速器的隐藏坑，以及用共享内存多模型流水线把吞吐拉到45fps的全过程。还有差点烧坏板子的散热教训和生产环境的自动恢复设计。