🏷️ Jetson Orin Nano

把3B模型塞进Jetson Orin Nano:我的AI医疗诊断工具实战复盘

作为一名从嵌入式系统转战AI部署的工程师,我的日常工作就是和资源限制搏斗。在医疗领域,这意味着要在性能、功耗和成本之间找到那个极其狭窄的平衡点。最近,我们团队开发的一款基于AI的肺结节检测工具,就让我深刻体会到了这一切。这篇文章,我想以第一人称的视角,分享这个项目的实战经历,尤其是如何在资源受限的设…

把7B模型塞进4GB内存的挣扎:云原生 DevOps 工具链集成 AI 能力的全自动化流程实战

大家好,我是周明远。从嵌入式摸爬滚打转到 AI 部署,这几年我最大的感悟就是:每一KB内存、每一ms延迟都是需要斤斤计较的。特别是在资源受限的设备上跑模型,那种对算力的极致压榨,简直是一场与硬件的博弈。今天我想跟大家聊聊,如何在云原生 DevOps 工具链中集成 AI 能力,实现全自动化流程优化,并…

在Jetson Orin Nano上跑零样本导航的代价:生成式仿真省了300小时数据采集,但推理延迟从22ms涨到41ms

我是周明远,做嵌入式AI部署三年多,大部分时间都在跟内存和延迟掰手腕。去年公司接了一个中型物流仓库的AMR改造项目,要求机器人能在动态变化的托盘堆中自主导航,从A点到B点搬货。起初我想,这不就是一个Nav2 + 激光SLAM配上规则避障吗?结果第一次现场测试,机器人就把一摞歪放的塑料托盘撞倒了——仓…