凌晨两点,线上模型开始胡言乱语,因为有人改了我的Prompt注释——于是我把MLflow塞进了LLM实验流水线
凌晨2点17分,手机开始疯狂震动。我眯着眼看到PagerDuty上跳出来的告警:“rag-qa-service的答案偏离度超过阈值,当前偏离度0.72”。冲到电脑前翻日志,用户问“如何修改密码”,模型给出的回答里却夹杂着大段系统提示词,甚至打印出了内部文档的markdown语法。这已经是我们组三个月…
凌晨2点17分,手机开始疯狂震动。我眯着眼看到PagerDuty上跳出来的告警:“rag-qa-service的答案偏离度超过阈值,当前偏离度0.72”。冲到电脑前翻日志,用户问“如何修改密码”,模型给出的回答里却夹杂着大段系统提示词,甚至打印出了内部文档的markdown语法。这已经是我们组三个月…