别再只会写函数了:我把Agent塞进Jetson Orin NX的实战与坑
2026年9月,我坐在工位上,手里拿着一杯早已凉透的速溶咖啡。窗外是深圳深夜的霓虹,但我的注意力全在面前这块黑色的开发板上——NVIDIA Jetson Orin NX 16GB。这块板子只有手掌大小,但跑着Llama 4 70B参数的4-bit量化模型。作为从嵌入式系统转行AI部署的工程师,我比任…
2026年9月,我坐在工位上,手里拿着一杯早已凉透的速溶咖啡。窗外是深圳深夜的霓虹,但我的注意力全在面前这块黑色的开发板上——NVIDIA Jetson Orin NX 16GB。这块板子只有手掌大小,但跑着Llama 4 70B参数的4-bit量化模型。作为从嵌入式系统转行AI部署的工程师,我比任…
上周三晚上十一点,我的 Jetson Orin NX 开发板还在疯狂散热,屏幕上显示着 98% 的显存占用。这是我在重构公司那套老旧的嵌入式 C++ 驱动程序时遇到的场景。在资源受限的边缘设备上,每一行代码都关乎内存溢出的风险,每一次 API 调用都关乎云端推理的成本。当时我手里只有两把“枪”:An…
我这周在组里做了个内部分享,本来只是想把Copilot Chat最近那个“@workspace”能力的实现原理扒一扒,结果扒完之后发现,它背后的上下文感知架构和学术界那套代码检索论文的对应关系,比我想得拧巴多了。我们读论文的时候,觉得基于AST做仓库级嵌入、用抽象语法树构建全局依赖图是件挺纯粹的事。…