把它做成生产功能之前,需要先拆开协议事实、产品承诺和运行成本,三者混在一起很容易得到错误结论。 分诊的第一步是确定性聚合:时间窗口、共同 release、区域和 errorCode。模型适合帮助排序与摘要,不应自行执行回滚或封禁。
数据与模型只能在明确目的、最小输入和可重复评测下进入决策链。确定性规则负责权限和副作用,模型提供带证据与置信度的辅助结论,并允许安全拒答。
落地方案的关键部件
先把下面几项写成可评审的规则,而不是散落在回调和界面判断里。规则越清楚,后续扩容、兼容和排错越少靠猜。
- 规则生成 evidence bundle 的计数与脱敏样本,模型输出 hypothesis、supporting/contradicting signals 和 confidence;值班人员确认后才触发动作。
- 所有输入都设置大小、次数和时间预算,并在超限时返回可操作的稳定错误码。
- 兼容性通过显式能力协商决定,旧客户端得到可解释的降级路径,而不是进入半可用状态。
“自动日志分诊:先用确定规则收敛,再让模型辅助归因”的交付标准是正常路径可用、异常路径收敛、资源有界,并且用户能理解系统为何采用当前状态。 这样得到的不是演示代码,而是能解释、能降级、能回滚的生产能力。
别让错误假设进入生产
生产问题往往发生在两个正确动作同时到达时。需要逐条检查迟到消息、重复执行、资源耗尽和版本交叉,而不是只补当前堆栈显示的那一行。
- 只给模型一段最新日志容易把相关当因果;把全部原始日志发外部服务又泄露身份和内部结构。
- 刷新或网络切换同时触发两条恢复路径,重复副作用被误当成两次真实用户操作。
- 只在理想数据量下测试,真实的大文件、长会话或高并发会越过隐含上限并产生级联故障。
发布闸门应该检查什么
发布闸门应包含确定性回归、随机时序探索和真实浏览器组合。发现一次失败后保存 seed 与状态轨迹,让它永久成为可重放用例。
- 用已知发布回归、区域 TURN 故障、客户端噪声和两个并发事故评测 top-k 命中、误合并、证据引用与安全拒绝。
- 用乱序、重复和延迟消息驱动状态机,确认旧版本被丢弃且显式停止不会被自动恢复覆盖。
- 发布前记录成功率、p50/p95/p99 延迟、错误分类和资源高水位,并为回退条件设定明确阈值。
当实现能够安全降级、重复执行不产生额外副作用、故障指标早于投诉出现时,这项能力才算具备长期维护价值。