我们把推理成本砍了一半,工厂老板终于同意继续用 AI 了:Blackwell FP8 稀疏化实战复盘
上个月,我去一家做汽车零部件的工厂调研。客户李总坐在满是油污的办公室里,手里拿着一张比A4纸还长的账单,眉头紧锁。他说:“沈工,我也想用 Llama 4 做实时质检,但云端的 API 费用每个月要烧掉五万美金,这 ROI 我算不过来账。” 这就是我们做 AI+制造业遇到的典型困境:技术够先进了,但成…
上个月,我去一家做汽车零部件的工厂调研。客户李总坐在满是油污的办公室里,手里拿着一张比A4纸还长的账单,眉头紧锁。他说:“沈工,我也想用 Llama 4 做实时质检,但云端的 API 费用每个月要烧掉五万美金,这 ROI 我算不过来账。” 这就是我们做 AI+制造业遇到的典型困境:技术够先进了,但成…
以前我搞本地部署,那是真的受罪。为了跑通一个 Llama 4 的微调,我把自己电脑的系统搞崩了三次,重装 Windows 的次数比换女朋友还勤。那时候的我坚信“环境隔离”是个伪命题,觉得只要把依赖装齐了,世界就是和平的。直到2026年,当 DeepSeek V4 Pro Pro 的推理速度在本地跑起…