把GPT-4o mini塞进树莓派5（2024）：量化、NPU并行和三次半夜告警的全记录
我叫赵一帆，做了8年DevOps，K8s和CI/CD是我的饭碗。我的人生哲学很简单：生产环境要么稳得像死水，要么监控得响得像火警——因为被半夜叫醒的次数多了，自然就对“稳定”二字有了条件反射式的偏执。所以当团队说“我们准备在树莓派5上跑GPT-4o mini多模态交互，延迟得压在500ms以下”时，…
边缘 AI 部署
24GB显存，6秒视频：我用Stable Video Diffusion把Jetson Orin跑成幻灯片后，拆解了Sora的扩散Transformer
两年前我从嵌入式系统跳到了AI部署组，每天面对的都是些“小东西”——Jetson Nano、树莓派4B、手机NPU。当我第一次看到Sora生成的视频时，我的第一反应不是惊叹其逼真程度，而是立刻在心里估算：如果把这个模型塞进Jetson Orin，会烧掉几块芯片？ 于是我动手了。在Jetson Ori…
凌晨两点，我的Jetson Orin突然闭嘴了：Gemma 2端侧部署的血泪调优实录
我叫赵一帆，干了8年DevOps，被报警短信吵醒的次数比我女儿半夜哭闹还多。这次的项目是在一台巴掌大的Jetson Orin上跑Gemma 2对话模型，要求延迟低于500毫秒、每秒至少输出20个token，而且必须是本地推理，数据不能出设备。领导的原话是：“边缘设备嘛，就是要又快又准，别跟上次K8s…
我用0.05M参数的轻量VAD给唤醒词模型守门，功耗直降80%，电池终于能撑一天了
为了在电池供电的ESP32上实现全天候语音唤醒，我设计了一个0.05M参数的轻量CNN VAD作为唤醒词模型的前置守门员。通过两级流水线——能量检测初筛加神经网络细判，误唤醒率从每小时5次降到0.3次，平均功耗下降72%，电池续航从17小时延长到31小时。文章分享了模型砍参数、INT8量化校准、TFLite Micro内存分配的血泪经验，展示了超低资源MCU上语音AI的极限部署策略。
我在边缘设备上部署YOLOv8，差点被功耗和延迟逼疯——一份用六位数学费换来的AI芯片选型指南
本想用树莓派加 Coral TPU 低成本搞定边缘 AI，却被端到端延迟、功耗和多路视频流折磨到怀疑人生。我通过实测 Jetson Orin、RK3588 和 Intel 平台，结合客流摄像和 AGV 两个真实场景，整理出一套基于软件链、压力测试和长期供货的选型铁律，帮你避开那些销售绝不会说的坑。
Jetson Orin推理优化：我把YOLOv8延迟从45ms压到8ms，但功耗翻车了
在Jetson AGX Orin上部署YOLOv8，从45ms延迟艰难优化到8ms。详细记录了TensorRT层融合、INT8量化的校准集精度陷阱、DLA加速器的隐藏坑，以及用共享内存多模型流水线把吞吐拉到45fps的全过程。还有差点烧坏板子的散热教训和生产环境的自动恢复设计。