骁龙8 Gen3实测Qwen2.5-3B：手机NPU跑LLM的真实延迟与发热边界
大家好，我是许彦，一个在具身智能领域摸爬滚打5年的机器人工程师。过去一年，我们团队在尝试将大模型植入机器人大脑时，遭遇了一个尴尬的现实：服务器算力虽然强，但带不动；边缘端（如Jetson Orin）虽然合适，但功耗和散热是个大问题。于是，我的目光转向了手机——特别是搭载最新NPU的旗舰机。我手里正好…
边?
给工厂装上本地SD：我们如何让Jetson Orin跑通图像生成并省下每月的API账单
我是沈青锋，一个在制造业AI化这条路上踩过两次坑的连续创业者。我们的第三个项目是做AI+制造业，主要解决工厂里的视觉质检和设计辅助问题。在做了前两个项目后，我有一个深刻的体会：**技术再牛，如果不能在离线环境跑通，在工厂里就是废铁。** 最近，我们接到了一个很典型的B端需求：一家拥有五条精密模具生产…
树莓派5硬刚Phi-3-mini：边缘推理的ROI真相，不是跑得快，是省下的API钱比电费贵
作为看了一百多个AI项目BP的投资人，我最烦听到的词就是“赋能”和“生态”。上周有个团队跟我吹他们的“端侧大模型解决方案”，核心逻辑是“把GPT-4搬到手机里”。我问他成本，他说“硬件成本很低”。我让他拿出数据，他拿不出。这就是目前90%边缘AI项目的死法：技术炫技有余，商业算账不足。 最近我把目光…
Google那篇关于RAG的原始论文里假设了一个“无限吞吐”的向量数据库，但我的Jetson Orin NX只给了8GB内存
大家好，我是韩知行。今天不想聊什么大模型微调的Loss曲线，也不聊Transformer架构的数学推导，我想和大家聊聊一个特别“土”但特别刚需的话题——在边缘端（Edge）跑RAG。 大家可能都看过那篇2019年的经典论文《Retrieval-Augmented Generation for Lar…
英特尔 Lunar Lake vs M4：为什么90%的AI开发者忽略了边缘算力的真实ROI
在投资机构的会议室里，我们看过太多关于「GPU算力短缺」的BP，也听过无数关于「云端推理成本」的抱怨。但作为看了五年AI项目的技术顾问，我必须指出一个被严重忽视的商业事实：对于绝大多数非大模型训练场景的开发者来说，把数据传到云端跑，本身就是一种低效且昂贵的行为。 最近，我手里拿到了两款极具代表性的移…
GPT-4o实时视频API成本实录（2024）：从15fps削到0.2fps的Jetson Orin NX部署复盘
我叫周明远，前几年一直在搞嵌入式视觉——给产线质检相机写C++驱动，在STM32上抠内存。后来公司觉得AI落地是个好生意，我就被一脚踹进了模型部署的坑。这一年多我干的最磨人的活儿，就是在资源卡脖子的边缘设备上，让大模型挤出一点实用价值。这个项目的起因很简单：一家区域连锁便利店品牌找到我们，想要一套轻…
GPT-4.5接RTSP流的72小时：帧采样从5fps降到0.5fps，我终于在Jetson Orin上把单路视频分析成本压到$0.03/小时
我叫周明远，做了六年嵌入式开发，最近两年在边缘设备上折腾AI部署。去年Q4接手一个零售门店的项目：客户在北京有12家连锁便利店，想用现有摄像头做客流分析和行为识别。传统方案报价单我看了——每家店要部署一台$2000的边缘服务器跑YOLO+DeepSORT，还得雇标注团队针对每个门店的货架布局重新标注…
在90分贝噪音和2Mbps带宽下，我把GPT-5.5的多模态延迟压到了487ms
我叫周明远，三年前还在写STM32的固件，整天对着寄存器手册抠那几百字节的RAM。后来AI浪潮一来，我半路出家搞模型部署，在Jetson上跑过YOLO，在RK3588上量化过BERT。去年底接了一个工业远程辅助的项目，要把多模态大模型塞进一个90分贝噪音、2Mbps共享带宽的冲压车间里，给现场维修工…
我花三个月在Jetson集群上实现自动并行，最后发现PyTorch RPC才是那个被低估的暗棋
年初，我接了一个近乎异想天开的需求：用四块Jetson Orin（单价不到400美元）拼出一套能推理ViT-22B的服务。CTO的原话是，“如果四张便宜板卡的协同成本低于一张A100，我们就能把大模型塞进智慧灯杆、工厂质检站，甚至农田里的无人巡检车。”我当时的第一反应是——你们是不是对22 bill…