🏷️ LLM推理

别只盯着H100:ESP32-S3跑TinyLlama 2bit,我找到了LLM的最低硬件底线

从科技媒体转行做技术博主这三年,我发现一个很有趣的现象:大家都在谈论H100算力、多模态大模型,仿佛AI的尽头就是堆砌GPU。但我更着迷于“减法”的艺术——把几百GB的模型塞进几MB的内存里,看看硅基智能的底线到底在哪里。 最近我搞了个疯狂的实验:让ESP32-S3这个只有400MHz主频的MCU,…

我照着苹果私有云的白皮书搭了个山寨版,无状态设计差点让我把请求状态全丢了

我从系统架构师角度拆解了Apple Private Cloud Compute:威胁模型直接假设数据中心管理员是内鬼,通过Swift on Server和Secure Enclave实现请求即焚的无状态推理;差分隐私在大模型上的噪声注入让我在延迟和准确率之间反复摇摆;最后聊聊二进制透明日志如何让第三方审计一个看不见代码的“黑盒”云。