死磕AI推理芯片三年：从Groq的SRAM狂想曲到昇腾的达芬奇迷局，我被内存墙撞得头破血流
搞AI推理这么多年，GPU内存墙是我最想砸电脑的问题。A100标称2039 GB/s的带宽实际只有1600多，计算单元90%的时间在等数据。去年试了Groq LPU，220MB纯SRAM架构把延迟干到0.54ms，但只能跑小模型。昇腾910B的达芬奇架构异构计算确实有两把刷子，但CANN软件栈差点让我加班到凌晨三点成了常态。这篇文章是我用2000条真实数据实测出来的结论，附上能跑的代码和选型决策树。
华为昇腾