🏷️ vLLM

把GPT-5.5 Instant塞进Jetson Orin NX:2026年边缘部署的生存指南

2026年9月,我的办公室里没有A100,也没有H200。摆在桌上的只有一块NVIDIA Jetson Orin NX,8GB显存,16GB内存。老板要求在工业现场的PLC控制器旁部署一个实时语音交互系统,既要像GPT-5.5 Instant那样聪明,又要像GPT-5.5 Turbo那样快,还得控制…

工厂老板不肯买云端AI,我把Llama 3塞进工控机后,代码审查效率翻了三倍

2026年9月,我坐在位于苏州工业园区的车间里,看着工控机屏幕上跳动的代码行。这是我第三个AI创业项目,专门做AI+制造业。前两次创业,我分别在SaaS和医疗AI领域踩过坑,深知技术如果不落地到具体场景,就是一堆废铁。现在的客户——一家拥有30年历史的精密齿轮制造商,他们的痛点非常典型:代码库有30…

我们把推理成本砍了一半,工厂老板终于同意继续用 AI 了:Blackwell FP8 稀疏化实战复盘

上个月,我去一家做汽车零部件的工厂调研。客户李总坐在满是油污的办公室里,手里拿着一张比A4纸还长的账单,眉头紧锁。他说:“沈工,我也想用 Llama 4 做实时质检,但云端的 API 费用每个月要烧掉五万美金,这 ROI 我算不过来账。” 这就是我们做 AI+制造业遇到的典型困境:技术够先进了,但成…