我们给汽车零件厂上了AI视觉质检，半年后怎样了
大家好，我是沈青锋。搞过两次创业，现在在琢磨怎么用AI把制造业的效率盘活。这行当太旧了，流水线上的问题发现靠人盯，效率低得可怜。我第三个项目，就是用AI+制造业做点事。最近Rust 1.81发布了，我琢磨着这东西能不能用在AI基础设施上。不是画饼，是实在的工程问题。 编译器优化与安全修复：Rust …
?计算
Token 成本减半，Bug 修复率提升 40%（2024）：Claude 3.5 Sonnet 在边缘推理上的极限压测
上周三晚上十一点，我的 Jetson Orin NX 开发板还在疯狂散热，屏幕上显示着 98% 的显存占用。这是我在重构公司那套老旧的嵌入式 C++ 驱动程序时遇到的场景。在资源受限的边缘设备上，每一行代码都关乎内存溢出的风险，每一次 API 调用都关乎云端推理的成本。当时我手里只有两把“枪”：An…
Cursor 1.0 暴力重构我的上下文窗口：从边缘推理到 IDE 架构师，我的技能树重构手记
昨晚，当 Cursor 1.0 正式发布时，我正盯着 Jetson Nano 的终端，试图把一个 7B 的模型参数量化到 4-bit 以节省那仅剩的 4GB 显存。屏幕上闪烁的红色报错信息让我烦躁不已——内存溢出。就在我准备重启设备，重新调整量化参数时，Cursor 1.0 的更新推送弹了出来。它声…
我们用AI Agent重构了汽车零件厂的质检线，ROI是预期外的
大家好，我是沈青锋。第三个创业项目做AI+制造业，踩过的坑比家珍。今天不聊虚的，只说实在的——我们怎么把一个Chatbot改造成能自主跑完整个质检流程的AI Agent，以及在这个过程中踩的几个大坑。 从「会说话」到「能干活」：为什么制造业需要AI Agent 去年我们接了江浙一家汽车零件厂的活。那…
GPT-5.5 推理模型吃掉我的显存：从写代码到画架构的代价
凌晨三点，NVIDIA Jetson Orin NX 的散热风扇像直升机一样在头顶嗡嗡作响。屏幕上，vLLM 的日志在不断滚动，显示着 `Out of Memory` 的红色警告。我盯着那行报错，手里握着的不是咖啡，而是即将断电的边缘设备。 这不仅仅是一次部署失败，这是我对“从代码生成到架构规划”这…
给工厂装上本地SD：我们如何让Jetson Orin跑通图像生成并省下每月的API账单
我是沈青锋，一个在制造业AI化这条路上踩过两次坑的连续创业者。我们的第三个项目是做AI+制造业，主要解决工厂里的视觉质检和设计辅助问题。在做了前两个项目后，我有一个深刻的体会：**技术再牛，如果不能在离线环境跑通，在工厂里就是废铁。** 最近，我们接到了一个很典型的B端需求：一家拥有五条精密模具生产…
Google那篇关于RAG的原始论文里假设了一个“无限吞吐”的向量数据库，但我的Jetson Orin NX只给了8GB内存
大家好，我是韩知行。今天不想聊什么大模型微调的Loss曲线，也不聊Transformer架构的数学推导，我想和大家聊聊一个特别“土”但特别刚需的话题——在边缘端（Edge）跑RAG。 大家可能都看过那篇2019年的经典论文《Retrieval-Augmented Generation for Lar…
英特尔 Lunar Lake vs M4：为什么90%的AI开发者忽略了边缘算力的真实ROI
在投资机构的会议室里，我们看过太多关于「GPU算力短缺」的BP，也听过无数关于「云端推理成本」的抱怨。但作为看了五年AI项目的技术顾问，我必须指出一个被严重忽视的商业事实：对于绝大多数非大模型训练场景的开发者来说，把数据传到云端跑，本身就是一种低效且昂贵的行为。 最近，我手里拿到了两款极具代表性的移…
GPT-4o实时视频API成本实录（2024）：从15fps削到0.2fps的Jetson Orin NX部署复盘
我叫周明远，前几年一直在搞嵌入式视觉——给产线质检相机写C++驱动，在STM32上抠内存。后来公司觉得AI落地是个好生意，我就被一脚踹进了模型部署的坑。这一年多我干的最磨人的活儿，就是在资源卡脖子的边缘设备上，让大模型挤出一点实用价值。这个项目的起因很简单：一家区域连锁便利店品牌找到我们，想要一套轻…
GPT-4.5接RTSP流的72小时：帧采样从5fps降到0.5fps，我终于在Jetson Orin上把单路视频分析成本压到$0.03/小时
我叫周明远，做了六年嵌入式开发，最近两年在边缘设备上折腾AI部署。去年Q4接手一个零售门店的项目：客户在北京有12家连锁便利店，想用现有摄像头做客流分析和行为识别。传统方案报价单我看了——每家店要部署一台$2000的边缘服务器跑YOLO+DeepSORT，还得雇标注团队针对每个门店的货架布局重新标注…