LLM.int8()论文说8bit无害,但我把Qwen-7B搬到Arm上才发现功耗确实减半,延迟却暗藏杀机——基于Neoverse V3的K8s部署深度复盘
上个月,我在公司内部的周五技术分享会上,当着CTO的面把一块功耗计插在了x86推理服务器和一台刚到的Arm云实例之间。当时我说:“同样的Qwen-7B,同样的INT4量化,咱们跑一个小时的locust压测,电表会告诉我们真相。”会议室里一半人觉得我在作秀,另一半人已经打开了手机计时器。结果出来后,我…
上个月,我在公司内部的周五技术分享会上,当着CTO的面把一块功耗计插在了x86推理服务器和一台刚到的Arm云实例之间。当时我说:“同样的Qwen-7B,同样的INT4量化,咱们跑一个小时的locust压测,电表会告诉我们真相。”会议室里一半人觉得我在作秀,另一半人已经打开了手机计时器。结果出来后,我…