🏷️ TensorRT

把GPT-5.5 Instant塞进骁龙845:我的边缘AI部署血泪与性能极限

2026年9月,AI大模型的浪潮已经从云端涌向了边缘。作为从嵌入式转过来的AI部署工程师,我每天都在和资源受限的设备打交道。最近,OpenAI发布了GPT-5.5 Instant,号称在保持GPT-5.5能力的同时,将推理延迟GPT-5.5 Instant宣称推理延迟降低了约20%。听起来很诱人,但…

谷歌Med-PaLM 2医疗诊断实测:把A100的精度塞进Jetson Orin NX的生存指南

半年前,我还在嵌入式Linux团队里跟RTOS死磕,为了省那几KB的栈空间,能把一个函数拆成三段写。现在转岗做AI部署,面对的是动辄几百亿参数的模型。这种反差让我养成了一个职业病:看到任何模型,第一反应不是“哇,多牛”,而是“这玩意儿吃多少显存?推理延迟多少?能不能塞进那台边缘设备里?” 最近在医疗…

给工厂装上本地SD:我们如何让Jetson Orin跑通图像生成并省下每月的API账单

我是沈青锋,一个在制造业AI化这条路上踩过两次坑的连续创业者。我们的第三个项目是做AI+制造业,主要解决工厂里的视觉质检和设计辅助问题。在做了前两个项目后,我有一个深刻的体会:技术再牛,如果不能在离线环境跑通,在工厂里就是废铁。 最近,我们接到了一个很典型的B端需求:一家拥有五条精密模具生产线的汽车…

Jetson Orin推理优化:我把YOLOv8延迟从45ms压到8ms,但功耗翻车了

在Jetson AGX Orin上部署YOLOv8,从45ms延迟艰难优化到8ms。详细记录了TensorRT层融合、INT8量化的校准集精度陷阱、DLA加速器的隐藏坑,以及用共享内存多模型流水线把吞吐拉到45fps的全过程。还有差点烧坏板子的散热教训和生产环境的自动恢复设计。