别只盯着H100：ESP32-S3跑TinyLlama 2bit，我找到了LLM的最低硬件底线
从科技媒体转行做技术博主这三年，我发现一个很有趣的现象：大家都在谈论H100算力、多模态大模型，仿佛AI的尽头就是堆砌GPU。但我更着迷于“减法”的艺术——把几百GB的模型塞进几MB的内存里，看看硅基智能的底线到底在哪里。 最近我搞了个疯狂的实验：让ESP32-S3这个只有400MHz主频的MCU，…
技术洞察
AI 产业深度观察：从投资视角拆解 AI 芯片、大模型、具身智能等赛道的技术真相与商业逻辑。基于 37+ 份融资 BP 和 300+ 项目审查经验，拒绝 PPT 泡沫，只讲技术本质。
骁龙8 Gen3实测Qwen2.5-3B：手机NPU跑LLM的真实延迟与发热边界
大家好，我是许彦，一个在具身智能领域摸爬滚打5年的机器人工程师。过去一年，我们团队在尝试将大模型植入机器人大脑时，遭遇了一个尴尬的现实：服务器算力虽然强，但带不动；边缘端（如Jetson Orin）虽然合适，但功耗和散热是个大问题。于是，我的目光转向了手机——特别是搭载最新NPU的旗舰机。我手里正好…
给工厂装上本地SD：我们如何让Jetson Orin跑通图像生成并省下每月的API账单
我是沈青锋，一个在制造业AI化这条路上踩过两次坑的连续创业者。我们的第三个项目是做AI+制造业，主要解决工厂里的视觉质检和设计辅助问题。在做了前两个项目后，我有一个深刻的体会：**技术再牛，如果不能在离线环境跑通，在工厂里就是废铁。** 最近，我们接到了一个很典型的B端需求：一家拥有五条精密模具生产…
树莓派5硬刚Phi-3-mini：边缘推理的ROI真相，不是跑得快，是省下的API钱比电费贵
作为看了一百多个AI项目BP的投资人，我最烦听到的词就是“赋能”和“生态”。上周有个团队跟我吹他们的“端侧大模型解决方案”，核心逻辑是“把GPT-4搬到手机里”。我问他成本，他说“硬件成本很低”。我让他拿出数据，他拿不出。这就是目前90%边缘AI项目的死法：技术炫技有余，商业算账不足。 最近我把目光…
仿真跑了100%通过，实测B200+4NP仅72%——我的具身智能踩坑记
大家好，我是许彦。在机器人领域摸爬滚打了五年，从机械臂到人形机器人，我深刻理解一个道理：仿真很美好，真实世界很残酷。今天，我想和大家聊聊NVIDIA最新的Blackwell B200芯片，以及它背后的技术革新如何影响我们这些搞具身智能的。我会把我的实验数据、硬件配置、踩坑经历都摆出来，不搞虚的。 B…
英特尔 Lunar Lake vs M4：为什么90%的AI开发者忽略了边缘算力的真实ROI
在投资机构的会议室里，我们看过太多关于「GPU算力短缺」的BP，也听过无数关于「云端推理成本」的抱怨。但作为看了五年AI项目的技术顾问，我必须指出一个被严重忽视的商业事实：对于绝大多数非大模型训练场景的开发者来说，把数据传到云端跑，本身就是一种低效且昂贵的行为。 最近，我手里拿到了两款极具代表性的移…
骁龙 X Elite 的本地大模型部署：我用 7B 中文模型踩了一周的坑，才明白 ARM64 真的不是 x86 的补丁
上个月，我收到一台搭载 Snapdragon X Elite (Oryon) 的笔记本。这不是一台普通的笔记本，它是微软 Copilot+ PC 的基石。作为一个从科技媒体转行的技术博主，我手里已经测试过十几款消费级显卡，但在打开终端准备跑大模型的那一刻，我感到了久违的陌生感——因为这台机器的 CP…
Meta 的 Toolformer 论文让我对工具调用充满幻想，直到我用 Vercel AI SDK 3.0 在流式UI上连栽三个跟头
我是韩知行，在厂里搞 AI 研究，日常就是读论文、复现、再想办法把那些漂亮的数字变成能扛住真实流量的代码。上个月，我想给内部工具搭一个带实时流式输出的聊天助手，正好看到 Vercel AI SDK 3.0 发布了，文档里写着“useChat 一行搞定流式”，再翻到 Meta 之前那篇 Toolfor…
用Fleet AI和上海的同事结对写预测维护代码，省了120小时，但第一天就让工厂停了4小时
我叫沈青锋，这是我的第三个创业项目，做AI+制造业。现在公司给汽车零部件供应商上预测性维护系统，传感器数量大的能到5万点，边缘加云端混跑。团队一劈两半：算法和数据在上海，工厂对接和嵌入式在慕尼黑。两边时差6小时，实际同步窗口只有下午4点到晚上8点。这种分布式开发，代码评审和知识沉淀一直是个流血点。今…
VS Code的本地AI重命名，是微软写给合规部门的一封密信
事情要从两周前讲起。一家医疗影像软件团队的架构师给我打了一通电话，语气像刚被合规部门扣了一顶“数据泄露风险”的帽子——他们用 GitHub Copilot 做代码重构，结果 AI 生成的变量名建议被传到云端，安全审计直接亮红灯。他问我：“有没有一种办法，能在完全断网的环境下，让 AI 帮我做项目级的…