为什么我最终把 Transformer 换成了 Mamba：Mistral Codestral Mamba 在 256K 代码上下文中的架构决策

2026年7月16日 37 次浏览

在过去的十年里，我一直坚信 Transformer 架构是解决序列建模问题的“银弹”。无论是处理高并发请求的 Java 后端，还是分析复杂的代码依赖关系，Self-Attention 机制都展现出了统治力。然而，随着业务规模的指数级增长，我最近在处理一个拥有 50 万行代码的大型单体仓库时，遇到了一…