🏷️ ESP32-S3

别只盯着ChatGPT:ESP32-S3跑TinyLlama 2bit,我找到了LLM的最低硬件底线

当你还在为GPT-5.5的上下文长度焦虑,或者纠结H100的租用价格时,我刚刚把一个1.1B参数的小模型,塞进了一块几十块钱的MCU里。这不是为了炫技,而是为了回答一个残酷的问题:AI的尽头,真的是云端算力堆叠吗?还是说,真正的爆发,在于那些连Wi-Fi都断开、永远不需要联网的“超边缘”设备? 我手…

别只盯着H100:ESP32-S3跑TinyLlama 2bit,我找到了LLM的最低硬件底线

从科技媒体转行做技术博主这三年,我发现一个很有趣的现象:大家都在谈论H100算力、多模态大模型,仿佛AI的尽头就是堆砌GPU。但我更着迷于“减法”的艺术——把几百GB的模型塞进几MB的内存里,看看硅基智能的底线到底在哪里。 最近我搞了个疯狂的实验:让ESP32-S3这个只有400MHz主频的MCU,…