🏷️ 模型量?

把GPT-5.5 Instant塞进骁龙845:我的边缘AI部署血泪与性能极限

2026年9月,AI大模型的浪潮已经从云端涌向了边缘。作为从嵌入式转过来的AI部署工程师,我每天都在和资源受限的设备打交道。最近,OpenAI发布了GPT-5.5 Instant,号称在保持GPT-5.5能力的同时,将推理延迟GPT-5.5 Instant宣称推理延迟降低了约20%。听起来很诱人,但…

把GPT-5.5 Instant塞进麒麟990:我的边缘AI部署血泪与性能极限

2026年9月,边缘AI的战场已经变了天。两年前的GPT-4o热度尚存,但现实是,预算和功耗预算依然像两座大山压在头顶。我,周明远,从嵌入式系统转行搞AI部署,深谙每一KB内存和每一毫秒延迟的代价。这次,我接到了一个不可能的任务:把GPT-5.5 Instant塞进麒麟990芯片的4GB LPDDR…

谷歌Med-PaLM 2医疗诊断实测:把A100的精度塞进Jetson Orin NX的生存指南

半年前,我还在嵌入式Linux团队里跟RTOS死磕,为了省那几KB的栈空间,能把一个函数拆成三段写。现在转岗做AI部署,面对的是动辄几百亿参数的模型。这种反差让我养成了一个职业病:看到任何模型,第一反应不是“哇,多牛”,而是“这玩意儿吃多少显存?推理延迟多少?能不能塞进那台边缘设备里?” 最近在医疗…

把3B模型塞进Jetson Orin Nano:我的AI医疗诊断工具实战复盘

作为一名从嵌入式系统转战AI部署的工程师,我的日常工作就是和资源限制搏斗。在医疗领域,这意味着要在性能、功耗和成本之间找到那个极其狭窄的平衡点。最近,我们团队开发的一款基于AI的肺结节检测工具,就让我深刻体会到了这一切。这篇文章,我想以第一人称的视角,分享这个项目的实战经历,尤其是如何在资源受限的设…

把7B模型塞进4GB内存的挣扎:云原生 DevOps 工具链集成 AI 能力的全自动化流程实战

大家好,我是周明远。从嵌入式摸爬滚打转到 AI 部署,这几年我最大的感悟就是:每一KB内存、每一ms延迟都是需要斤斤计较的。特别是在资源受限的设备上跑模型,那种对算力的极致压榨,简直是一场与硬件的博弈。今天我想跟大家聊聊,如何在云原生 DevOps 工具链中集成 AI 能力,实现全自动化流程优化,并…

我把GPT-4o mini塞进iPhone,量化后只剩800MB,但第一次打开摄像头App就直接崩了(2024)

这项目我从头到尾肝了快两个月,起因特别简单:有个客户想做一款能看懂眼前画面、又能用自然语音交流的助盲 App,数据不能离开手机,推理延迟必须低于 300 毫秒。云端 API 的 GPT-4o minio mini 他们嫌贵,还担心网络不稳定。客户原话是:“苏晚,你不是独立开发者嘛,能不能把一个多模态…

我读完高通Hexagon NPU那篇“秘密白皮书”,在Snapdragon X Elite上实操一个月,端侧AI的纸面数据和物理世界之间至少隔着三道坎

我不是在高通骁龙峰会现场。我是在一个普通的周三下午,从顺丰纸箱里拆出那台联想Yoga Slim 7x,系统信息显示“Snapdragon X Elite – X1E-84-100”,旁边贴着一张A4纸,用马克笔写着“NPU性能对标M3,能跑大模型”。我第一个念头不是“哦,终于有能跟苹果打一打的ARM…