AI说了“有缺陷”，老师傅为什么还要伸手摸一下？——聊聊增强智能系统里最难调的那个滑块
去年冬天我在芜湖一个焊装车间待了两天。厂房里比外面还冷。
线尾那块屏幕上跳出一行红字：焊缝气孔，置信度 0.87。
操作台前的老周没动。
他抬头看了眼电流表，又伸手摸了一下工件的背面，隔了大概七八秒，才把那个件挑出来，扔进返修筐。
我问他，AI 都报警了，你还摸啥？
他说，昨天这批料换了卷，湿度不对。AI 那一栏，我信一半。
这句话我记到现在。它几乎把增强智能系统里最难啃的那块骨头，一句话讲完了。
人机合体，为什么常常干不过单干
先泼盆冷水。
很多人默认一个前提：人加上 AI，效果肯定比各自单干强。现实里这个假设经常不成立。
影像圈有过这类对比实验。同一批片子，模型单独看的准确率挺高，资深医生单独看也不差。可把两边合在一起，让医生参考模型给出的标注框，整体表现反而掉下去了。掉得还不算少。
怪谁？怪人吗？
两种翻车方式，方向正好相反。
一种叫自动化偏见——系统说没问题，人就不看了。屏幕上一个绿框，眼睛自动跳过那片区域。这时候 AI 的漏检会被放大成两个人的漏检。
另一种叫算法厌恶——被坑过一次之后，人就再也不信了。模型报十次，他十次都手动复核。效率等于零，那套系统白上了，还占了一块屏幕。
一头是不敢怀疑，一头是根本不信。中间那条窄路，才是真正的工程活儿。
汽车焊装车间工人查看焊缝AI缺陷检测显示屏现场
那“增强”到底增强的是哪块肌肉
把一件活儿拆开看，无非三段：感知、判断、动作。
AI 在这些地方强得离谱——海量样本里找模式、永不疲倦地重复、瞬间调取几万条历史记录。人强在另外几处：小样本外推、常识、对“这次跟上次不一样”的敏感、以及最后签字担责。
老周知道那批料换了卷。这件事，任何一个传感器都没告诉他，模型更不知道。这是他二十年攒下来的东西。
所以增强智能系统的设计核心，不是“把模型刷到多准”。是分工面切在哪里。
切得差，会出两种很典型的惨状。
一种是把人变成橡皮图章。一天点两千次“确认”，手指都点出肌肉记忆了，脑子早就不在。这时候人的存在只是个责任收纳盒。
另一种是让人变成救火队。模型把假阳性全推过来，医生一天弹两百条待复核，三天就麻了，开始全选“无异常”。这不是医生偷懒，这是系统在逼他关掉注意力。
说白了，模型自己消化不了的不确定性，硬塞给人，人就一定会用某种方式把它丢回去。
信任校准：那个滑块比模型精度难调一万倍
行话叫信任校准。翻译成人话就是：该信的时候信，不该信的时候别信，而且这两件事得同时成立。
有点像开车开定速巡航。路况好，脚就搭着；下雨了，脚自己得挪回刹车上。
问题是，人在工位上不会主动做这个切换。得靠系统设计去推。
几个我见过真管用的做法。
给理由，别只给结论。不要说“此处有气孔”，说“这一段电流波动超过 12%，且持续了 40 毫秒”。可解释性在实验室里像学术玩具，到了产线上是操作刚需——因为人要根据理由去决定信几分。
允许系统说“我拿不准”。强行二分类最坑。一个 51% 的判定和一个 96% 的判定，被打印成同样大小的红字，人看了只会一头雾水。
抽查，而不是全检。把一部分判断随机丢回给人，让他一直保持手感。全包办会让人生锈，全推给人会让人麻木。
反过来记录人的推翻率。老周要是连续三个月一次都没推翻过 AI，这事儿反而该报警了。要么是系统退化，要么是人已经不看屏幕了。
这里有个反直觉的点：模型精度再往上提一档，人的整体表现未必跟着涨。
因为瓶颈早就挪位置了。卡在人机接口那头，不在模型这头。
医生与AI辅助诊断系统共同阅片肺结节标注界面
落地时最容易栽的三个跟头
落地时最容易栽的三个跟头
延迟。很多人把它当性能指标。不是。在人机协作里，延迟是交互语言的一部分。你点一下等 800 毫秒，人的节奏就断了，手会忍不住提前预判，一预判就出错。200 毫秒和 800 毫秒的差别，比模型精度从 92 涨到 95 更影响现场表现。
代价不对称。漏检和误检，在人这边的心理重量完全不是一回事。设计阈值的时候盯着 F1 曲线调，常常把这个忘了。该往漏检方向压的场景，和该往误检方向放开的场景，阈值逻辑根本不该一样。
没有退出机制。系统崩了怎么办？网断了怎么办？人得能一秒切回全手动，而且手没生。我见过上了三年的智能质检线，新来的小伙子根本不会手检。这是埋在组织里的雷。
有些活儿，人加进去纯属拖累
有些活儿，人加进去纯属拖累
这话可能不太讨喜，但得说。
毫秒级、高频、人根本反应不过来的场景——电网的故障切除、交易系统的风险熔断——你硬要“人在回路里”，那不是增强，是拖后腿。这种地方就该全自动，人的位置在环外，管规则、管复盘、管突发兜底，别去按那个按钮。
反过来，涉及价值判断、罕见情况、责任归属的活儿，人必须留在环里。医疗、司法、军工作业。技术再成熟也一样。
还有一条边界更隐蔽：人是有状态的生物。
早上九点和凌晨三点，同一个人的判断力是两个人。一个增强智能系统如果默认“操作员是恒定输出的”，那它从根上就在自欺欺人。排班、轮岗、疲劳监测这些看着跟算法无关的东西，其实都是系统的一部分。
我临走前问老周，你希望这系统怎么改。
他想了想说，别老催我。它把话说清楚，我来定。
就这两句。听着挺朴素。
做起来够一家团队干三年。