把7B模型塞进4GB内存的挣扎：云原生 DevOps 工具链集成 AI 能力的全自动化流程实战
大家好，我是周明远。从嵌入式摸爬滚打转到 AI 部署，这几年我最大的感悟就是：每一KB内存、每一ms延迟都是需要斤斤计较的。特别是在资源受限的设备上跑模型，那种对算力的极致压榨，简直是一场与硬件的博弈。今天我想跟大家聊聊，如何在云原生 DevOps 工具链中集成 AI 能力，实现全自动化流程优化，并…
Jetson Orin Nano
在Jetson Orin Nano上跑零样本导航的代价：生成式仿真省了300小时数据采集，但推理延迟从22ms涨到41ms
我是周明远，做嵌入式AI部署三年多，大部分时间都在跟内存和延迟掰手腕。去年公司接了一个中型物流仓库的AMR改造项目，要求机器人能在动态变化的托盘堆中自主导航，从A点到B点搬货。起初我想，这不就是一个Nav2 + 激光SLAM配上规则避障吗？结果第一次现场测试，机器人就把一摞歪放的塑料托盘撞倒了——仓…