🏷️ 模型并?

把GPT-5.5 Instant塞进骁龙845:我的边缘AI部署血泪与性能极限

2026年9月,AI大模型的浪潮已经从云端涌向了边缘。作为从嵌入式转过来的AI部署工程师,我每天都在和资源受限的设备打交道。最近,OpenAI发布了GPT-5.5 Instant,号称在保持GPT-5.5能力的同时,将推理延迟GPT-5.5 Instant宣称推理延迟降低了约20%。听起来很诱人,但…

我花三个月在Jetson集群上实现自动并行,最后发现PyTorch RPC才是那个被低估的暗棋

年初,我接了一个近乎异想天开的需求:用四块Jetson Orin(单价不到400美元)拼出一套能推理ViT-22B的服务。CTO的原话是,“如果四张便宜板卡的协同成本低于一张A100,我们就能把大模型塞进智慧灯杆、工厂质检站,甚至农田里的无人巡检车。”我当时的第一反应是——你们是不是对22 bill…