我把GPT-4o mini塞进iPhone，量化后只剩800MB，但第一次打开摄像头App就直接崩了（2024）
这项目我从头到尾肝了快两个月，起因特别简单：有个客户想做一款能看懂眼前画面、又能用自然语音交流的助盲 App，数据不能离开手机，推理延迟必须低于 300 毫秒。云端 API 的 GPT-4o minio mini 他们嫌贵，还担心网络不稳定。客户原话是：“苏晚，你不是独立开发者嘛，能不能把一个多模态…
GPT-4o mini
把GPT-4o mini塞进树莓派5（2024）：量化、NPU并行和三次半夜告警的全记录
我叫赵一帆，做了8年DevOps，K8s和CI/CD是我的饭碗。我的人生哲学很简单：生产环境要么稳得像死水，要么监控得响得像火警——因为被半夜叫醒的次数多了，自然就对“稳定”二字有了条件反射式的偏执。所以当团队说“我们准备在树莓派5上跑GPT-4o mini多模态交互，延迟得压在500ms以下”时，…