AWS Lambda 新计费模式：我用“按需付费”策略省下 30% 服务器成本，但踩了一个大坑
在嵌入式 AI 部署领域，我们习惯了与资源极限搏斗——每一 KB 的内存都要精打细算，每一毫秒的延迟都关乎用户体验。转战云端部署后，我发现这种“资源焦虑症”并没有消失，只是从显存变成了美元。最近 AWS Lambda 推出了新的计费架构，特别是“按需付费”策略的调整，直接改变了我们这种高内存消耗型 …
Python
关于Python的文章标签
Google那篇关于RAG延迟的论文里假设了“无限带宽”，但我的Jetson Orin NX的内存带宽只够喝汤
上周在实验室组会上，我抛出了个观点：现在大家都在卷RAG的检索精度，但很少有人聊“把RAG搬下云端”这件事有多难。就在上周，Google DeepMind上个月发的那篇关于“System 2 Reasoning”的论文里提到，大模型推理的延迟主要瓶颈在于KV Cache的读写。当时我就在想，这理论在…
别只盯着ChatGPT：ESP32-S3跑TinyLlama 2bit，我找到了LLM的最低硬件底线
当你还在为GPT-5.5的上下文长度焦虑，或者纠结H100的租用价格时，我刚刚把一个1.1B参数的小模型，塞进了一块几十块钱的MCU里。这不是为了炫技，而是为了回答一个残酷的问题：AI的尽头，真的是云端算力堆叠吗？还是说，真正的爆发，在于那些连Wi-Fi都断开、永远不需要联网的“超边缘”设备？ 我手…
Google那篇关于FP8的论文里说能省50%显存，但当我把Llama 3.1跑在Blackwell上时，我的Loss却炸了
上周在实验室组会上，老板扔给我一张 Blackwell 架构的架构图，问我：“韩知行，这玩意儿真的能解决我们现在的显存墙问题吗？”我盯着那张图看了五分钟，脑子里想的不是晶体管数量，而是我们那帮搞分布式训练的兄弟又要掉多少头发。说实话，从 Hopper 到 Blackwell，NVIDIA 这次玩了一…
别只盯着H100：ESP32-S3跑TinyLlama 2bit，我找到了LLM的最低硬件底线
从科技媒体转行做技术博主这三年，我发现一个很有趣的现象：大家都在谈论H100算力、多模态大模型，仿佛AI的尽头就是堆砌GPU。但我更着迷于“减法”的艺术——把几百GB的模型塞进几MB的内存里，看看硅基智能的底线到底在哪里。 最近我搞了个疯狂的实验：让ESP32-S3这个只有400MHz主频的MCU，…
Google那篇关于RAG的原始论文里假设了一个“无限吞吐”的向量数据库，但我的Jetson Orin NX只给了8GB内存
大家好，我是韩知行。今天不想聊什么大模型微调的Loss曲线，也不聊Transformer架构的数学推导，我想和大家聊聊一个特别“土”但特别刚需的话题——在边缘端（Edge）跑RAG。 大家可能都看过那篇2019年的经典论文《Retrieval-Augmented Generation for Lar…
我们给宝马装了人形机器人，Figure 02 在产线上的实战复盘
站在宝马里约的工厂车间里，看着那台Figure 02（二代人形机器人）笨拙但坚定地夹起一颗螺丝，再精准地旋入装配孔位时，我手里那杯还在冒热气的咖啡差点洒出来。这不是电影场景，这是发生在真实工业产线上的第47次尝试。作为连续创业者，这是我第三个AI+制造业的项目。前两个项目，一个因为供应链管理不善挂了…
我们给宝马装了人形机器人，半年后效率提升40%——Figure 02工业应用的实战拆解
我是沈青锋，连续创业者。第三个项目做AI+制造业，踩过的坑比数不清的螺丝钉还多。这次我们不聊虚的，就聊聊Figure 02怎么进宝马工厂，拆解人形机器人进入真实产线的技术坎儿。我是从0到1经历过三次创业，见过技术从实验室到产品的全过程，所以今天说的都是真刀真枪干过的活儿，没有那套PPT里的套话。 宝…
英特尔 Lunar Lake vs M4：为什么90%的AI开发者忽略了边缘算力的真实ROI
在投资机构的会议室里，我们看过太多关于「GPU算力短缺」的BP，也听过无数关于「云端推理成本」的抱怨。但作为看了五年AI项目的技术顾问，我必须指出一个被严重忽视的商业事实：对于绝大多数非大模型训练场景的开发者来说，把数据传到云端跑，本身就是一种低效且昂贵的行为。 最近，我手里拿到了两款极具代表性的移…
Google DeepMind那篇论文里提到的”价值可见化”，为什么我的老板看了直摇头
大家好，我是韩知行。今天想跟大家聊聊一个特别有意思的话题——向上管理。别误会，不是那种拍马屁的把戏，而是怎么让你的老板真正成为你职业发展的推手，而不是那个给你画饼、给你添堵的存在。我在大厂做AI研究，两边都沾点，学术论文读了不少，模型复现过，工程落地也踩过坑。我发现，很多理论听起来很美，但落地的时候…