骁龙8 Gen3实测Qwen2.5-3B:手机NPU跑LLM的真实延迟与发热边界
大家好,我是许彦,一个在具身智能领域摸爬滚打5年的机器人工程师。过去一年,我们团队在尝试将大模型植入机器人大脑时,遭遇了一个尴尬的现实:服务器算力虽然强,但带不动;边缘端(如Jetson Orin)虽然合适,但功耗和散热是个大问题。于是,我的目光转向了手机——特别是搭载最新NPU的旗舰机。我手里正好…
大家好,我是许彦,一个在具身智能领域摸爬滚打5年的机器人工程师。过去一年,我们团队在尝试将大模型植入机器人大脑时,遭遇了一个尴尬的现实:服务器算力虽然强,但带不动;边缘端(如Jetson Orin)虽然合适,但功耗和散热是个大问题。于是,我的目光转向了手机——特别是搭载最新NPU的旗舰机。我手里正好…