当系统开始偷听自己:反馈循环机制怎样把小事滚成雪崩
凌晨两点,告警群突然炸了。CPU 冲高,自动扩容拉起新实例;新实例一多,数据库连接池被抢空;连接失败又触发更多重试,重试把队列顶爆。你以为在灭火,其实每个动作都在给火添柴。
那次我盯着面板愣了半分钟。后来才反应过来:不是某个服务坏了,是反馈循环机制吃掉了刹车。输出变成下一轮的输入,越滚越快,直到有人手动把自动扩容关掉。
凌晨两点的告警雪崩,其实是一个回路没画完
很多人听到反馈循环,会先想到“收集用户意见,然后改产品”。这理解不能算错,但太窄。反馈循环机制更像一根管子:系统把结果的一部分,通过某种通道送回输入端,影响下一次行为。关键是“送回”和“影响”。没有送回,只是单向流程。没有影响,那叫日志。
控制论里常把它拆成几个零件:传感器负责测,比较器拿目标和现状做差,控制器决定动作,执行器去执行,被控对象再产生新状态。恒温器就是老古董级例子。房间冷了,温度计测到偏差,加热器开;热了,关。这是负反馈,目标是抵消偏差。
控制系统负反馈回路方框图
但系统里还有正反馈。偏差不是被抵消,而是被放大。麦克风靠近音箱,一点小声音进麦克风,音箱放大,又被麦克风收进去,再放大——啸叫。
正反馈不总是坏事。核爆、病毒传播、社交裂变都靠它。麻烦在于,工程系统里的正反馈经常不请自来。你只想做个自动扩容,结果它和重试、缓存、限流搅在一起,变成一个会自己踩油门的怪物。
别把反馈当复盘会:它先是个结构问题
我见过不少团队把反馈机制做成例会。每周复盘,填表,打分,然后呢?然后下次继续。问题不在态度,在结构。结构里缺了延迟、增益、噪声这三个词。
延迟很容易被低估。你改了一版推荐策略,第二天点击率涨了。可用户可能只是好奇。真正的偏好变化,也许两周后才显现。延迟一长,控制器就会拿着过期信息做决策,像倒车时看十秒前的后视镜。晃,震荡,来回过冲。
增益是放大倍数。偏差一点点,动作就很大,系统容易神经质。增益太小呢?又像树懒,温度掉到十度才想起开暖气。工程师调控制参数时常说,调参不是找那个完美数字,是找能忍受的折中。现实里没有完美,只有别把自己震散架。
噪声更阴。传感器会漂,用户会乱点,A/B 测试会假阳性。你把噪声当信号,反馈回路就会追着影子跑。今天改按钮颜色,明天改文案,后天全量回滚。团队累得半死,系统原地打转。
所以画回路图很值。不用多漂亮。标出谁测、谁比、谁执行、延迟多久、增益多大、噪声从哪来。很多争吵到这一步就停了。因为大家发现,彼此说的不是同一层回路。
数据飞轮很香,直到它开始自己喂自己
互联网产品很爱讲数据飞轮:更多用户带来更多行为数据,数据训练更好的模型,模型提升体验,又带来更多用户。听起来像永动机。可飞轮也是反馈循环,正反馈那一类。
推荐系统数据飞轮反馈循环示意图
推荐系统就是典型。用户点了一个视频,系统判断他喜欢,推更多同类;同类内容又吸引相似用户,相似用户继续强化这个标签。短期看,留存涨了。长期看,内容池越来越窄,用户被关进小房间。更糟的是,创作者发现只有某种标题能跑出来,于是全往那个方向挤。生态被反馈回路塑形,不是被某个编辑塑形。
广告竞价也类似。出价系统根据转化反馈调价,转化又受出价影响。如果延迟没对齐,就会出现“刚降价就撤量,刚提价就超投”的抽风。机器学习里的在线学习更敏感。模型一边学,数据一边被模型影响,分布悄悄漂移。你以为在拟合世界,其实在拟合自己昨天的影子。
这里有个老朋友:指标一旦成为目标,就不再是好指标。反馈回路会找到捷径。你考核点击率,它就生产标题党;你考核响应时长,它就把慢请求丢掉;你考核代码行数,它就写废话。不是人坏,是回路在奖励可测量的东西,而不是重要的东西。
我用过的几个土办法,比画大图管用
我用过的几个土办法,比画大图管用
说点落地的。给回路加阻尼。自动扩容可以,但加冷却期;重试可以,但加退避和抖动;推荐多样性可以,但别一刀切,先做配额。阻尼不是让系统变慢,是让它别在半夜发疯。
监控回路本身。别只监控业务指标,也监控反馈信号的“健康度”。比如自动扩缩容次数、重试放大比、模型预测分布偏移、用户投诉里“怎么老给我推这个”的比例。回路有病,业务指标迟早发烧。
保留人工断路开关。全自动很酷,但出事时你得能拔插头。我们后来把自动扩容和告警抑制做了互锁,告警风暴时先冻结扩容,避免正反馈。土,但救命。
故意注入扰动。推荐里塞一点随机探索,组织里轮岗,产品里做反向用户访谈。反馈回路很怕近亲繁殖。多样性不是道德口号,是控制论里的抗震荡手段。
区分快慢回路。快回路管秒级稳定,比如限流、熔断。慢回路管周级策略,比如定价、路线图。把快慢回路混在一起,就像拿油门当方向盘。快回路要简单可靠,慢回路才适合讨论和试错。
有些边界,别硬闯
反馈循环机制不是万能钥匙。复杂系统没法完全建模,延迟消不掉,噪声永远在。你能做的,是让系统在不确定里别那么容易崩。安全关键场景尤其要小心。航空、医疗、电网,正反馈一旦失控,代价不是留存下跌,是人命。
常见误解也得破一破。有反馈,不等于闭环。闭环,不等于自愈。负反馈不等于坏,正反馈也不等于好。负反馈可能带来震荡,正反馈可能带来增长。关键看它在什么时间尺度上,把系统推向哪里。
还有,反馈疲劳。人不是传感器。天天让用户打分,让员工填满意度问卷,让客户回访,回路会堵。信号质量比数量重要。有时候少问一句,多看一眼行为,更准。
我现在的习惯很简单。遇到一个系统,先问:谁在听谁?延迟多大?增益多高?有没有刹车?谁在受益?如果答不上来,别急着上自动化。先画回路。画完你可能发现,问题不是模型不够聪明,是回路根本没装方向盘。