当前位置:首页 > 科研成果库

技术复盘方法:别把事故写成故事,把它做成证据链

2026-11-20 10:08:25小研科研成果库8
0923,南京,雨不大,但足够让软件谷的玻璃幕墙糊成一片。凌晨两点十七分,告警群响了。不是第一次。值班同学在群里丢了一句:“订单服务 5xx 飙升。”随后是沉默,然后是一连串“收到”。这种场景,做过线上系统的人都懂。真正麻烦的不是修好它,是第二天下午的复盘会——如果那还能叫复盘的话。 很多团队把技术复盘方法简化成“写文档、定责任人、列改进项”。这三件事都重要,但顺序和逻辑常常反了。文档不是复盘本身,它只是复盘的残留物。责任人不是因果链的起点,通常只是因果链末端被看见的那个人。改进项如果没有可检验的假设,就只是一张许愿清单。

先区分事实、推断和叙事

事故发生后,人脑会自动生成故事。这是认知捷径,不是道德缺陷。工程师说“数据库连接池被打满了”,产品说“活动流量超预期”,运维说“监控没覆盖”。每一句都可能是真的,也都可能混入了推断。复盘的第一步,不是统一口径,而是把三类东西分开:事实是能被日志、指标、trace、变更记录复现的观察;推断是对观察的解释;叙事是把推断串成有因果感的故事。故事让人舒服,但舒服的因果往往经不起反事实检验。 可以用一张表,或者白板。左边写时间戳,中间写证据来源,右边写当时行动者的认知状态。注意,是“当时的认知状态”,不是“现在知道结果后的合理判断”。这两者差别巨大。后见之明偏差会让复盘变成聪明人指责当时不够聪明的人。可当时没人知道下一秒会发生什么。 南京软件谷线上故障复盘会议白板时间线照片南京软件谷线上故障复盘会议白板时间线照片

时间线要钉在证据上,不是钉在记忆上

记忆不可靠,尤其在跨团队、跨时区、跨层级的时候。某位同学记得“我先扩容了”,日志可能显示扩容请求在故障峰值后三分钟才发出。这不是撒谎,这是记忆的重构。技术复盘方法里,时间线对齐是硬功夫。硬到什么程度?硬到要把 NTP 偏差、日志时区、客户端与服务端时钟差都考虑进去。不然你会在错误的顺序上建立正确的因果。 具体做法可以粗糙一点: - 从告警开始,往前推 30 分钟,往后推 2 小时,截取所有相关系统的日志片段。 - 拉出调用链,标出首个异常 span,而不是首个报错 span。两者经常不在一起。 - 把变更记录叠加到同一时间轴上。发布、配置、扩缩容、证书轮换、网络策略调整,都算变更。 - 让每个关键节点至少有两个独立证据源。日志加指标,trace 加变更单,监控加人工记录。 不过话说回来,证据也不是越多越好。信息过载会让复盘会变成读日志大会。关键节点的选择标准是:该节点是否改变了系统状态或团队决策。如果它既没改变状态,也没改变决策,那它可能只是噪声。 分布式系统调用链追踪与日志时间轴界面截图分布式系统调用链追踪与日志时间轴界面截图

因果图要能容纳“没发生的事”

因果图要能容纳“没发生的事”因果图要能容纳“没发生的事” 很多团队画的是流程图:A 导致 B,B 导致 C。这有用,但不够。技术系统的故障往往不是单链,而是条件组合。连接池耗尽可能由慢查询、流量突增、连接泄漏、下游超时重试共同触发。少一个条件,故障可能就不发生。这就是反事实推理的价值。复盘时问一句:“如果当时没有这个变更,事故还会发生吗?”如果答案是不会,那这个变更就是关键条件。如果答案是会,只是晚十分钟,那它可能只是加速器。 因果图里最好标出三类边:触发边、放大边、抑制边。触发边是直接原因,放大边让影响扩大,抑制边是那些阻止了更坏结果的因素。最后这类经常被忽略。比如限流救了核心链路,降级开关挡住了雪崩。复盘如果只谈问题不谈抑制因素,组织会越来越不敢做决策。因为每次事故都只留下“谁做错了什么”,而看不到“哪些机制起了作用”。 还有一个反例:有些事故无法被完全解释。数据缺失、第三方黑盒、偶发竞态,都可能让因果链断裂。这时候诚实的结论是“在当前证据下无法确定”,而不是硬凑一个原因。硬凑的原因会带来虚假的行动项,虚假行动项会消耗团队信任。

行动项要能被证伪,否则就是许愿

“加强监控”“优化架构”“提高安全意识”——这些话在复盘文档里出现频率极高,但它们不可证伪。什么叫可证伪?就是能说清楚:谁,在什么时间前,做什么,怎么验证,失败会怎样。比如: - 在订单服务增加连接池等待时间 P99 指标,阈值设为 200ms,超过则触发告警。验证方式:模拟连接池耗尽,观察告警是否在 30 秒内到达。 - 将下游调用超时从 3s 调整为 800ms,并开启重试预算。验证方式:混沌实验注入 1s 延迟,确认重试放大倍数不超过 2。 - 每次发布前自动比对连接池配置差异,差异项必须人工确认。验证方式:在预发环境故意改错,流水线是否阻断。 这些行动项不浪漫,但它们可检验。可检验的行动项会带来一个副作用:它们可能被证伪,然后被砍掉。这是好事。组织的技术复盘方法如果只能生产“永远正确但永远无法执行”的建议,那它就是在生产文本垃圾。

复盘之后,组织记忆如何不烂掉

复盘文档写完,放进 wiki,然后没人看。这是常态。要让组织记忆活下来,得把它嵌入日常工具链。故障模式库、告警注释、混沌实验用例、发布检查单、on-call 手册,都是载体。载体越小、越贴近操作,越可能被使用。大而全的复盘报告反而容易被归档。 南京有句老话,叫“多大事啊”。但对线上系统来说,每一次事故都是小概率的必然。技术复盘方法的价值,不是让团队永远不犯错,而是让同样的错误不必用同样的代价再学一遍。如果一次复盘之后,下一次相似告警能在更早的时间点被识别,能在更小的范围被抑制,那这次复盘就有了证据。否则,它只是会议纪要。 最后留一个边界条件:复盘不是万能药。强依赖第三方、极端流量、组织目标冲突,这些因素可能超出单个团队的控制。这时候,复盘应该输出“已知的未知”和“未知的未知”,而不是假装一切可控。承认边界,反而能让行动项更聚焦。