技术复盘方法:别把事故写成故事,把它做成证据链
0923,南京,雨不大,但足够让软件谷的玻璃幕墙糊成一片。凌晨两点十七分,告警群响了。不是第一次。值班同学在群里丢了一句:“订单服务 5xx 飙升。”随后是沉默,然后是一连串“收到”。这种场景,做过线上系统的人都懂。真正麻烦的不是修好它,是第二天下午的复盘会——如果那还能叫复盘的话。
很多团队把技术复盘方法简化成“写文档、定责任人、列改进项”。这三件事都重要,但顺序和逻辑常常反了。文档不是复盘本身,它只是复盘的残留物。责任人不是因果链的起点,通常只是因果链末端被看见的那个人。改进项如果没有可检验的假设,就只是一张许愿清单。
南京软件谷线上故障复盘会议白板时间线照片
分布式系统调用链追踪与日志时间轴界面截图
因果图要能容纳“没发生的事”
很多团队画的是流程图:A 导致 B,B 导致 C。这有用,但不够。技术系统的故障往往不是单链,而是条件组合。连接池耗尽可能由慢查询、流量突增、连接泄漏、下游超时重试共同触发。少一个条件,故障可能就不发生。这就是反事实推理的价值。复盘时问一句:“如果当时没有这个变更,事故还会发生吗?”如果答案是不会,那这个变更就是关键条件。如果答案是会,只是晚十分钟,那它可能只是加速器。
因果图里最好标出三类边:触发边、放大边、抑制边。触发边是直接原因,放大边让影响扩大,抑制边是那些阻止了更坏结果的因素。最后这类经常被忽略。比如限流救了核心链路,降级开关挡住了雪崩。复盘如果只谈问题不谈抑制因素,组织会越来越不敢做决策。因为每次事故都只留下“谁做错了什么”,而看不到“哪些机制起了作用”。
还有一个反例:有些事故无法被完全解释。数据缺失、第三方黑盒、偶发竞态,都可能让因果链断裂。这时候诚实的结论是“在当前证据下无法确定”,而不是硬凑一个原因。硬凑的原因会带来虚假的行动项,虚假行动项会消耗团队信任。
先区分事实、推断和叙事
事故发生后,人脑会自动生成故事。这是认知捷径,不是道德缺陷。工程师说“数据库连接池被打满了”,产品说“活动流量超预期”,运维说“监控没覆盖”。每一句都可能是真的,也都可能混入了推断。复盘的第一步,不是统一口径,而是把三类东西分开:事实是能被日志、指标、trace、变更记录复现的观察;推断是对观察的解释;叙事是把推断串成有因果感的故事。故事让人舒服,但舒服的因果往往经不起反事实检验。 可以用一张表,或者白板。左边写时间戳,中间写证据来源,右边写当时行动者的认知状态。注意,是“当时的认知状态”,不是“现在知道结果后的合理判断”。这两者差别巨大。后见之明偏差会让复盘变成聪明人指责当时不够聪明的人。可当时没人知道下一秒会发生什么。
南京软件谷线上故障复盘会议白板时间线照片
时间线要钉在证据上,不是钉在记忆上
记忆不可靠,尤其在跨团队、跨时区、跨层级的时候。某位同学记得“我先扩容了”,日志可能显示扩容请求在故障峰值后三分钟才发出。这不是撒谎,这是记忆的重构。技术复盘方法里,时间线对齐是硬功夫。硬到什么程度?硬到要把 NTP 偏差、日志时区、客户端与服务端时钟差都考虑进去。不然你会在错误的顺序上建立正确的因果。 具体做法可以粗糙一点: - 从告警开始,往前推 30 分钟,往后推 2 小时,截取所有相关系统的日志片段。 - 拉出调用链,标出首个异常 span,而不是首个报错 span。两者经常不在一起。 - 把变更记录叠加到同一时间轴上。发布、配置、扩缩容、证书轮换、网络策略调整,都算变更。 - 让每个关键节点至少有两个独立证据源。日志加指标,trace 加变更单,监控加人工记录。 不过话说回来,证据也不是越多越好。信息过载会让复盘会变成读日志大会。关键节点的选择标准是:该节点是否改变了系统状态或团队决策。如果它既没改变状态,也没改变决策,那它可能只是噪声。
分布式系统调用链追踪与日志时间轴界面截图
因果图要能容纳“没发生的事”
因果图要能容纳“没发生的事”
很多团队画的是流程图:A 导致 B,B 导致 C。这有用,但不够。技术系统的故障往往不是单链,而是条件组合。连接池耗尽可能由慢查询、流量突增、连接泄漏、下游超时重试共同触发。少一个条件,故障可能就不发生。这就是反事实推理的价值。复盘时问一句:“如果当时没有这个变更,事故还会发生吗?”如果答案是不会,那这个变更就是关键条件。如果答案是会,只是晚十分钟,那它可能只是加速器。
因果图里最好标出三类边:触发边、放大边、抑制边。触发边是直接原因,放大边让影响扩大,抑制边是那些阻止了更坏结果的因素。最后这类经常被忽略。比如限流救了核心链路,降级开关挡住了雪崩。复盘如果只谈问题不谈抑制因素,组织会越来越不敢做决策。因为每次事故都只留下“谁做错了什么”,而看不到“哪些机制起了作用”。
还有一个反例:有些事故无法被完全解释。数据缺失、第三方黑盒、偶发竞态,都可能让因果链断裂。这时候诚实的结论是“在当前证据下无法确定”,而不是硬凑一个原因。硬凑的原因会带来虚假的行动项,虚假行动项会消耗团队信任。