技术向善理念：从一场深夜争吵说开去
上周三，凌晨两点，我刷到一个帖子，有人发了个demo，说能通过城市数据预测犯罪高发点，准确率89%。群聊直接炸了。一堆人叫好，另一堆人骂街。说实话，我当时心里很不是滋味。技术向善理念，这五个字现在就像块砖，哪里需要哪里搬——发布会上用，内部信上写，甚至创业计划书里都得贴一贴。但什么是善？谁说了算？
先讲个事儿。2019年，美国有家医院用了套AI系统，辅助医生分配医疗资源，结果发现黑人患者得到的护理级别系统性偏低。后来有人扒了扒算法，问题出在训练数据上：它用历史医疗花费来预测疾病风险，但黑人群体历史上就医花费少，不是因为更健康，而是因为穷和歧视。系统就把这种偏差当成了规律。你看，技术从来不是中立的——哪怕你没教它偏见，它也会从脏数据里学个十足十。
医疗AI算法种族偏见案例示意图
这两年类似的事不少。荷兰的福利算法把两万多家庭错误标记为欺诈；亚马逊的招聘AI自动给女性简历降分。这些案例背后有个共同问题：我们太爱把“效率”当善了。优化、加速、降本——这些词听起来多棒。可当系统把人的生活简化成一堆指标，那些没法量化的东西就丢了。比如尊严、公平、偶然性带来的惊喜感。
不过话说回来，我也见过真让人眼眶发热的技术。
去年夏天，孟加拉国遭遇了十年不遇的洪水，但伤亡人数比往年少了近四成。就是因为谷歌团队和当地政府合作，把洪水预警模型部署到了家家户户。那个模型用河川水位、历史卫星图、气象预测，提前三天就能给手机发消息。你可能会说，这不就是个预测吗？但背后真正牛的——是他们把模型从“精准预测”转向了“可行动性”。普通人的手机配置不高，网络也不稳，他们就搞出非常轻量的通知，带简单图示，告诉往哪儿躲，带什么。这才是技术向善理念扎到土里的样子。
谷歌洪水预警系统在孟加拉国应用场景
我还看过一个案例，是西雅图的非营利组织PathCheck，做新冠疫情追踪，但完全秉持隐私优先。他们用谷歌苹果的曝光通知API，但不存任何位置信息，源码也公开。对比某些地方那个健康码，高下立判。技术向善有时候不是多做，是克制。克制收集数据的欲望，克制把人当流量入口的本能。
科研圈正在悄悄发生的范式转移
最近几年，顶会顶刊上开始出现一种新趋势：把价值观嵌入技术评估指标里。
比如NeurIPS有个“社会影响”主题区，过去大家觉得是花瓶，现在场场爆满。去年MIT的一篇论文就很有意思，他们提出了一种叫“反事实公平”的评估框架，用在司法保释系统上。简单说，就是让你看到：如果这个人换个性别，换个人种，判决结果会不会变？这不是事后找补，是直接在模型设计阶段就介入。还有斯坦福的HAI研究所，每年出的AI Index报告，不惜笔墨写伦理、政策、公众态度这些软性维度。放在五年前，搞算法的人会嗤之以鼻，觉得这不是科学。现在？是真被现实锤醒了。
但我还是要吐槽两句。有时候感觉“技术向善”快成门生意了。大厂动不动就发AI for Good白皮书，可另一边又在帮军方做无人机精准打击系统。是，你可以说炸弹扔得准点也算减少平民伤亡。可这逻辑拧巴不？善与恶的边界，在利益面前常被搅成灰色地带。
我们到底缺什么？
缺的从来不是技术，是权力结构的透明。
去年《自然·人类行为》上有项研究挺扎心：他们调查了全球200多套公共算法系统，发现只有不到5%的系统对外公开了公平性审计结果。剩下的呢？“商业机密”四个字，就把门关得死死的。当算法裁决你的贷款、保费、甚至是孩子的学区时候，你不觉得自己像待宰羔羊吗？这时候再谈技术向善理念，就特别苍白。
我最近很迷一个概念，叫“参与式设计”。芬兰有些医院在引入AI分诊系统时，把护士、患者、社工都拉到会议室，反复模拟、反馈、吵架。花了整整两年才上线。慢吗？太慢了。但上线后，那些奇葩的投诉几乎为零。你看，真想把事做善，就得有勇气把决策过程弄复杂，把那些沉默的大多数请进来。
最后，想起上个月看到的一句话，是哲学家弗洛里迪说的：“我们不是生活在一个技术社会，而是生活在一个充满技术的超历史社会。”技术即环境，环境即政治。所以下次再有人跟你吹某个技术多么向善，别光听，得问四个问题：谁受益？谁受损？规则谁定？不服咋办？问完一圈还站得住脚的，那才是真的善吧。
算法判官与消失的语境
先讲个事儿。2019年，美国有家医院用了套AI系统，辅助医生分配医疗资源，结果发现黑人患者得到的护理级别系统性偏低。后来有人扒了扒算法，问题出在训练数据上：它用历史医疗花费来预测疾病风险，但黑人群体历史上就医花费少，不是因为更健康，而是因为穷和歧视。系统就把这种偏差当成了规律。你看，技术从来不是中立的——哪怕你没教它偏见，它也会从脏数据里学个十足十。
医疗AI算法种族偏见案例示意图
这两年类似的事不少。荷兰的福利算法把两万多家庭错误标记为欺诈；亚马逊的招聘AI自动给女性简历降分。这些案例背后有个共同问题：我们太爱把“效率”当善了。优化、加速、降本——这些词听起来多棒。可当系统把人的生活简化成一堆指标，那些没法量化的东西就丢了。比如尊严、公平、偶然性带来的惊喜感。
在洪水面前，算法的另一种温度
不过话说回来，我也见过真让人眼眶发热的技术。
去年夏天，孟加拉国遭遇了十年不遇的洪水，但伤亡人数比往年少了近四成。就是因为谷歌团队和当地政府合作，把洪水预警模型部署到了家家户户。那个模型用河川水位、历史卫星图、气象预测，提前三天就能给手机发消息。你可能会说，这不就是个预测吗？但背后真正牛的——是他们把模型从“精准预测”转向了“可行动性”。普通人的手机配置不高，网络也不稳，他们就搞出非常轻量的通知，带简单图示，告诉往哪儿躲，带什么。这才是技术向善理念扎到土里的样子。
谷歌洪水预警系统在孟加拉国应用场景
我还看过一个案例，是西雅图的非营利组织PathCheck，做新冠疫情追踪，但完全秉持隐私优先。他们用谷歌苹果的曝光通知API，但不存任何位置信息，源码也公开。对比某些地方那个健康码，高下立判。技术向善有时候不是多做，是克制。克制收集数据的欲望，克制把人当流量入口的本能。
科研圈正在悄悄发生的范式转移
科研圈正在悄悄发生的范式转移
最近几年，顶会顶刊上开始出现一种新趋势：把价值观嵌入技术评估指标里。
比如NeurIPS有个“社会影响”主题区，过去大家觉得是花瓶，现在场场爆满。去年MIT的一篇论文就很有意思，他们提出了一种叫“反事实公平”的评估框架，用在司法保释系统上。简单说，就是让你看到：如果这个人换个性别，换个人种，判决结果会不会变？这不是事后找补，是直接在模型设计阶段就介入。还有斯坦福的HAI研究所，每年出的AI Index报告，不惜笔墨写伦理、政策、公众态度这些软性维度。放在五年前，搞算法的人会嗤之以鼻，觉得这不是科学。现在？是真被现实锤醒了。
但我还是要吐槽两句。有时候感觉“技术向善”快成门生意了。大厂动不动就发AI for Good白皮书，可另一边又在帮军方做无人机精准打击系统。是，你可以说炸弹扔得准点也算减少平民伤亡。可这逻辑拧巴不？善与恶的边界，在利益面前常被搅成灰色地带。
我们到底缺什么？
我们到底缺什么？
缺的从来不是技术，是权力结构的透明。
去年《自然·人类行为》上有项研究挺扎心：他们调查了全球200多套公共算法系统，发现只有不到5%的系统对外公开了公平性审计结果。剩下的呢？“商业机密”四个字，就把门关得死死的。当算法裁决你的贷款、保费、甚至是孩子的学区时候，你不觉得自己像待宰羔羊吗？这时候再谈技术向善理念，就特别苍白。
我最近很迷一个概念，叫“参与式设计”。芬兰有些医院在引入AI分诊系统时，把护士、患者、社工都拉到会议室，反复模拟、反馈、吵架。花了整整两年才上线。慢吗？太慢了。但上线后，那些奇葩的投诉几乎为零。你看，真想把事做善，就得有勇气把决策过程弄复杂，把那些沉默的大多数请进来。
最后，想起上个月看到的一句话，是哲学家弗洛里迪说的：“我们不是生活在一个技术社会，而是生活在一个充满技术的超历史社会。”技术即环境，环境即政治。所以下次再有人跟你吹某个技术多么向善，别光听，得问四个问题：谁受益？谁受损？规则谁定？不服咋办？问完一圈还站得住脚的，那才是真的善吧。