根本原因分析:为什么你找到的那个“根因”,往往只是个替罪羊
凌晨两点半,某工厂的夜班主管在群里发了张图。批量不良。第二天早上开紧急会,三个小时,结论是:操作员疏忽。散会。三个月后,同一个位置,同样的问题,再来一遍。
这几乎是根本原因分析最常见的死法。
“操作员疏忽”是个假答案
说实话,我刚入行那会儿也觉得这结论挺合理的。人嘛,总会犯错。直到有人问我一句:那为什么这个错误,在这个系统里,没有被拦住?
……愣住了。
根本原因分析,英文 Root Cause Analysis,缩写 RCA。听着很硬核。可行业里头,它经常被降格成一份用来交差的报告。客户投诉了,写一份。审核要查,补一份。监管来了,翻出去年的模板改改。
问题出在哪?出在大家默认「找到一个人」比「改掉一个系统」便宜。前者只需要批评教育加罚款,后者要动流程、动设备、动预算。
可真正的根本原因,往往藏在系统里,不在人身上。人只是那个最后按下按钮的。
有个经典模型叫瑞士奶酪。事故不是一块奶酪破了,而是好几片奶酪的洞正好排成一条直线。每一片都代表一层防护——设计、培训、检测、报警、人工复核。出了事只盯着最后那片,前面几片就永远漏着。
瑞士奶酪模型多层防护失效过程示意图
嗯,这张图值得贴在会议室。
5 Whys 没那么神,鱼骨图也不是画着好看的
5 Whys 谁都听过。丰田的,大野耐一。问五个为什么,就到底了。
但它是线性的。一条道走到黑。现实里的因果是网状,一个结果可能挂着三个并行原因。你从不同的人问,会问到不同的终点——问设备工程师,最后结论是备件质量;问工艺工程师,最后结论是参数漂移;问班组长,最后结论是新人太多。都没错,也都不全。
所以后来又有了鱼骨图,石川馨,1968 年那会儿。人、机、料、法、环、测,六个方向,逼你把假设摊开。
故障树分析 FTA 更狠。1962 年贝尔实验室为民兵导弹项目弄出来的,后来被核工业、航空业捡走。它是自上而下的逻辑演绎:顶事件 → 中间事件 → 基本事件,用与门、或门连起来。好处是可量化,能算概率。
可这些工具的共同毛病是——画完就完事。
我见过太多鱼骨图,打印出来贴在墙上,边角卷了都没人撕。上面每个分支都标着可能原因,但没有一个被验证过。
真正的功夫不在画,在砍。砍掉不可能的,剩下的那个才叫候选根因。
举个例子。某晶圆厂,良率掉了 2.3%。鱼骨图上列了三十多条。最后锁定的是某台刻蚀机的一路气体流量控制器,在换季的时候有微小漂移。怎么找出来的?不是靠开会拍脑袋,是靠 SPC 控制图往回倒数据,发现只有那台机、只有那段时间、只有那一路参数有偏移。
半导体晶圆良率异常鱼骨图分析数据看板
数据不会撒谎。人会。
因果推断这十几年,把 RCA 从经验学拉到了数学
Judea Pearl 拿了图灵奖。他那套因果阶梯——关联、干预、反事实——听着玄,其实是把「相关不等于因果」这件事讲透了。
一个经典的坑叫辛普森悖论。整体看,A 药比 B 药有效。按性别分层再看,每个分层里 B 都比 A 好。为什么?因为两组的人构成比例不一样。你要是只做整体统计,就会得出完全反的结论。
医疗领域的 CAPA 报告里,这种错误极其常见。某不良反应,按全人群算没什么异常,一旦按年龄段分层,某个区间的信号立刻冒出来。
所以现在的做法,是分层、是配对、是做倾向性评分,把混杂因子剥掉再看。
工业界也一样。日志、指标、调用链,所谓可观测性三件套。微服务一多,故障传播路径能绕好几层。人工排查基本靠猜。
于是学术界开始上工具。图神经网络、贝叶斯网络、因果图,用调用拓扑加上时序做根因定位。有团队做过对比,自动化方法能把定位时间从小时级压到分钟级。
但注意——它给的是排序,不是判决。
相关性的马后炮,很容易把人带沟里。真正的因果,还得靠干预实验或者领域知识去锚定。
微服务调用链追踪根因定位拓扑关系图
大模型进场了,然后呢
这两年最明显的变化,是 LLM 被塞进了运维和质量的流程里。
读日志、读工单、读历史事故报告,然后生成一串可能原因,让人去查。这个用法挺实在的,因为它干的活儿是「省人力」,不是「做决策」。
风险也明摆着:幻觉。它会非常自信地说出一个根本不存在的配置项,还给你编个版本号。
比较稳的架构是混合的——大模型负责发散,提出假设;知识图谱或者因果模型负责收敛,做校验;人负责最终拍板。
流程变了,判断权没变。这点很重要。
凌晨三点的储能电站
讲个具体的。
某储能电站,凌晨三点报热失控预警。现场一看,电芯鼓包、冒烟。第一反应:电芯质量不行,找供应商。
再往下问一层——为什么会热失控?析锂。
为什么析锂?充电倍率太高,而且是在低温环境下。
为什么低温还高倍率充?BMS 的充电策略在 5℃ 以下没有做足够降额。
为什么没降额?策略版本迭代的时候,那张低温标定表被新版本覆盖掉了。
为什么被覆盖没被发现?因为标定表不在变更管理的受控清单里。
六层。
前两层是产品问题,后面四层全是流程问题。修第一层,换个供应商就完事;修最后一层,得重做整个变更管理的清单和评审机制。
绝大多数公司会停在第一层。因为第一层最快、最便宜、最能写进报告。
锂电池热失控机理故障树分析结构图
几个我自己一直在用的笨办法
第一,把「人出错」当起点,不当终点。
人出错了,接着问:为什么这个错误没被系统拦住?为什么当时的环境让他更容易出错?
第二,先画时间线,别急着归因。
时间线一拉出来,很多「原因」自己就散了。顺序对不上的,直接排除。
第三,找反例。
如果这个原因成立,那为什么隔壁那条线没问题?同样的设备、同样的班次、同样的物料?反例往往比正例更能说明问题。
第四,做分层。
别只看整体数据。按班次、机型、批次、温湿度分层看一眼,辛普森悖论会在那儿等着你。
第五,找那个最沉默的人聊。
一线操作工知道的东西,比任何报表都多。他只是没被问过,或者问了也不说。
第六,写一条可以被证伪的预测。
好的 RCA 报告最后应该有一句:如果真的是这个原因,那么采取这个措施之后,X 指标应该会在 Y 时间内回到 Z 水平。做不到这一点,报告就还停在假设阶段。
下次开会,如果又有人拍桌子说「就是操作员疏忽」,你就问一句:
那为什么,这个疏忽没有被拦住?
通常这句话出来之后,真正的会议才刚开始。