为什么我最终换掉了Transformer:Mistral Codestral Mamba在256K上下文代码生成中的架构决策
我去年主导了我们内部代码助手的重构。原来的方案是基于StarCoder2‑15B加上一套RAG管线,但长上下文仓库级补全的延迟像在拨号,成本也让基础设施团队不停敲我的门。换模型不是逛菜市场,我得在推理效率、上下文利用率和幻觉控制之间找到新的平衡点。直到我把Mistral的Codestral Mamb…
我去年主导了我们内部代码助手的重构。原来的方案是基于StarCoder2‑15B加上一套RAG管线,但长上下文仓库级补全的延迟像在拨号,成本也让基础设施团队不停敲我的门。换模型不是逛菜市场,我得在推理效率、上下文利用率和幻觉控制之间找到新的平衡点。直到我把Mistral的Codestral Mamb…