🏷️ 推理服务

为了搞掉在线教育平台批改服务的延迟和内存问题，我用Rust重写了推理网关。结果吞吐暴增5倍，p99延迟从510ms压到42ms，但开发过程几乎让我放弃——Session不支持Send、编译时间漫长、错误信息无法理解。这篇文章记录了我如何手写线程池、用Axum+ONNX Runtime趟过生产坑，以及最终为什么还说“Rust值得，但要用在刀刃上”。