🏷️ 推理性能

大家好，我是沈青锋。搞AI这行，我创过两次业，第一次是搞图像识别，第二次是做智能客服。这两次创业让我明白一件事：技术再牛，如果不能落地到具体场景里解决问题，那就是一堆废铜烂铁。现在，我正在做第三个项目，是AI+制造业。这次，我们直接把目光锁定在NVIDIA B200芯片上。为啥？因为我知道，制造业最…

我花三周深度对比了AMD MI350和NVIDIA H100、L40S在Llama 3-70B推理上的表现，从延迟、吞吐、功耗到TCO逐一拆解。MI350的能效惊艳，但软件栈的坑差点让我通宵重装系统。这篇文章适合正在做推理芯片选型的高级工程师，看完你会清楚MI350到底该不该上。