开放数据平台：我在南京见了太多凑数的样子货
上个月9月23号，我去南京找多年未见的老同事吃饭，他在当地某政务部门做数据运维，酒过三巡，把手机往桌上一摔，开始吐槽。“你说我们做开放数据平台，到底是给人用的，还是给领导看的？”
我当时没接话，就听他说。去年单位花了大几百万招标做平台，上级要求“应开放尽开放”，凑够数据量，结果上线快一年，真正来调数据的，除了一批又一批自动批量爬数据的机器人，没几个正经开发者。说白了，就是个摆设。
很多人对开放数据平台的第一印象，就是“所有数据公开随便拿”，其实根本不是这么回事。开放本身是分层次的，从权限上来说，从外到内分三层：最外层是对所有自然人免费开放的公共数据，比如城市公园的位置、地铁运营时间、空气质量实时数据，任何人注册就能下；中间层是对授权机构开放的行业数据，比如脱敏后的月度客流统计、土地使用规划，企业要拿就得交申请，说明用途，审核过了才能拿；最内层是政务系统内部跨部门开放的数据，比如工商和税务的数据共享，外人根本碰不到。
太多人一听到“开放”两个字，就觉得要全裸放出来，这本身就是最大的误解。
三级权限开放数据平台分层结构示意图
我那同事说，当时他们做的时候，为了凑数据量达标，把好多本来不该放最外层的数据都放出去了，结果不到半个月，就被爬虫把五年的历史空气质量数据打包爬走，转手就放到自己的付费数据库里卖钱。更离谱的是，有人把开放平台上的老旧废弃管线点位数据扒出来，趁着半夜去挖废旧钢管，差点把正在用的通信缆挖断，最后单位赔了十几万才摆平。
从那之后，领导又变了口径，说“安全第一”，好多本来可以开放的数据，又都锁起来了。现在平台看起来挂着几十万条数据的名头，点进去一大半都是只能看摘要，不能下载。
说实话，我接触过不下十个做开放数据平台的团队，十个里面有八个踩过同一个坑：数据不保鲜。什么意思？就是平台上线的时候数据是哪年的，过了三五年还是哪年的，没人更，也没人管。
我那同事说，他们平台上线的时候，刚好南京新开了两条地铁，负责整理数据的实习生急性肠胃炎请假，就把旧的线路数据放上去了，结果半年多没人想起更新，有好几个外地游客照着数据去坐车，跑到站点才发现站根本没开通，投诉直接打到了12345，最后他们整个部门扣了季度奖金。
还有一个坑，比不更新更要命，就是脱敏不到位。很多团队以为，把姓名、身份证号、手机号打个星号，就是完成脱敏了。其实根本不是这么回事。你想想，要是我拿到了一个城市所有住宅小区的门禁点位，再拿到每个小区的住户出生年份，再加上公开的通勤路线数据，交叉一对比，大概率能精准定位到具体某一个人。
之前就出过事，某城市开放了医疗相关的所谓脱敏数据，结果被第三方研究员证明，80%以上的记录能对应到具体个人，最后整个平台紧急下线整改，负责人也受了处分。
开放数据平台交叉定位个人信息案例图
还有一个坑，就是格式混乱。你去不同城市的开放数据平台逛一圈就知道，这家的公交数据是csv，那家是带保护锁的excel，还有的直接把扫描版pdf传上去，你想要用，还得自己做OCR识别，折腾大半天。小开发者本来就是拿爱发电，折腾两次就不想玩了，剩下的只有爬虫天天来逛。
一个好用的开放数据平台，到底能改变什么
不过话说回来，我也见过真的好用的开放数据平台，不是样子货。去年认识一个做骑行路线规划的小伙子，创业就三个人，没多少钱买商业数据，就靠开放平台上的城市绿道数据、公交站点数据、海拔地形数据，拼出来的近郊骑行路线，比好几家大厂做的都精准。
为什么？大厂看不上这么细分的小市场，不会花人力去整理这些细碎的公共数据，开放平台直接给你整理好了，合法合规，还不用钱，等于给小创业者铺了路，省了几十万的成本，这对没钱没资源的小团队来说，就是最大的支持。
还有，去年南方发洪水，有个高校的研究团队，就是靠当地开放平台放出来的管网数据、气象数据、地形数据，不到三个月就做出来了中小流域洪水预警模型，要是放在以前，光申请数据走流程就要三个月，根本赶不上应急研究的进度。
很多人说，开放数据平台就是浪费钱，做政绩工程。其实不对，它本质上是数据时代的公共基础设施，就像一百年前修城市马路，你修通了，自然会有人来开店、跑运输、做买卖，数据也是一样，你把干净合法的公开数据放在那里，自然会有人想出我们想不到的用法。
当然，它也有清晰的边界，不该开放的，打死都不能放。涉及个人隐私的，涉及国家安全的，涉及商业机密的，本来就该锁在库里，不能为了凑“开放率”什么都往上传。但反过来，为了怕出错，干脆什么都不开放，把平台做成样子货，也对不起花出去的真金白银。
那天吃完鸭血粉丝，我和我那同事在秦淮河边上走，吹着风，他说，其实我们一线做事的也想做好，就是太多条条框框，放不开，怕出错，做多错多，不做不错。其实哪有一开始就完美的？慢慢来呗。
哪天我们普通人想做个小工具，想查个城市公开数据，能直接从开放数据平台拿到最新、干净、格式统一的合法数据，那就算真的成了。对吧？
我当时没接话，就听他说。去年单位花了大几百万招标做平台，上级要求“应开放尽开放”，凑够数据量，结果上线快一年，真正来调数据的，除了一批又一批自动批量爬数据的机器人，没几个正经开发者。说白了，就是个摆设。
不是写着“开放”，就是真开放
很多人对开放数据平台的第一印象，就是“所有数据公开随便拿”，其实根本不是这么回事。开放本身是分层次的，从权限上来说，从外到内分三层：最外层是对所有自然人免费开放的公共数据，比如城市公园的位置、地铁运营时间、空气质量实时数据，任何人注册就能下；中间层是对授权机构开放的行业数据，比如脱敏后的月度客流统计、土地使用规划，企业要拿就得交申请，说明用途，审核过了才能拿；最内层是政务系统内部跨部门开放的数据，比如工商和税务的数据共享，外人根本碰不到。
太多人一听到“开放”两个字，就觉得要全裸放出来，这本身就是最大的误解。
三级权限开放数据平台分层结构示意图
我那同事说，当时他们做的时候，为了凑数据量达标，把好多本来不该放最外层的数据都放出去了，结果不到半个月，就被爬虫把五年的历史空气质量数据打包爬走，转手就放到自己的付费数据库里卖钱。更离谱的是，有人把开放平台上的老旧废弃管线点位数据扒出来，趁着半夜去挖废旧钢管，差点把正在用的通信缆挖断，最后单位赔了十几万才摆平。
从那之后，领导又变了口径，说“安全第一”，好多本来可以开放的数据，又都锁起来了。现在平台看起来挂着几十万条数据的名头，点进去一大半都是只能看摘要，不能下载。
开放数据平台最容易踩的隐形坑
说实话，我接触过不下十个做开放数据平台的团队，十个里面有八个踩过同一个坑：数据不保鲜。什么意思？就是平台上线的时候数据是哪年的，过了三五年还是哪年的，没人更，也没人管。
我那同事说，他们平台上线的时候，刚好南京新开了两条地铁，负责整理数据的实习生急性肠胃炎请假，就把旧的线路数据放上去了，结果半年多没人想起更新，有好几个外地游客照着数据去坐车，跑到站点才发现站根本没开通，投诉直接打到了12345，最后他们整个部门扣了季度奖金。
还有一个坑，比不更新更要命，就是脱敏不到位。很多团队以为，把姓名、身份证号、手机号打个星号，就是完成脱敏了。其实根本不是这么回事。你想想，要是我拿到了一个城市所有住宅小区的门禁点位，再拿到每个小区的住户出生年份，再加上公开的通勤路线数据，交叉一对比，大概率能精准定位到具体某一个人。
之前就出过事，某城市开放了医疗相关的所谓脱敏数据，结果被第三方研究员证明，80%以上的记录能对应到具体个人，最后整个平台紧急下线整改，负责人也受了处分。
开放数据平台交叉定位个人信息案例图
还有一个坑，就是格式混乱。你去不同城市的开放数据平台逛一圈就知道，这家的公交数据是csv，那家是带保护锁的excel，还有的直接把扫描版pdf传上去，你想要用，还得自己做OCR识别，折腾大半天。小开发者本来就是拿爱发电，折腾两次就不想玩了，剩下的只有爬虫天天来逛。
一个好用的开放数据平台，到底能改变什么
一个好用的开放数据平台，到底能改变什么
不过话说回来，我也见过真的好用的开放数据平台，不是样子货。去年认识一个做骑行路线规划的小伙子，创业就三个人，没多少钱买商业数据，就靠开放平台上的城市绿道数据、公交站点数据、海拔地形数据，拼出来的近郊骑行路线，比好几家大厂做的都精准。
为什么？大厂看不上这么细分的小市场，不会花人力去整理这些细碎的公共数据，开放平台直接给你整理好了，合法合规，还不用钱，等于给小创业者铺了路，省了几十万的成本，这对没钱没资源的小团队来说，就是最大的支持。
还有，去年南方发洪水，有个高校的研究团队，就是靠当地开放平台放出来的管网数据、气象数据、地形数据，不到三个月就做出来了中小流域洪水预警模型，要是放在以前，光申请数据走流程就要三个月，根本赶不上应急研究的进度。
很多人说，开放数据平台就是浪费钱，做政绩工程。其实不对，它本质上是数据时代的公共基础设施，就像一百年前修城市马路，你修通了，自然会有人来开店、跑运输、做买卖，数据也是一样，你把干净合法的公开数据放在那里，自然会有人想出我们想不到的用法。
当然，它也有清晰的边界，不该开放的，打死都不能放。涉及个人隐私的，涉及国家安全的，涉及商业机密的，本来就该锁在库里，不能为了凑“开放率”什么都往上传。但反过来，为了怕出错，干脆什么都不开放，把平台做成样子货，也对不起花出去的真金白银。
那天吃完鸭血粉丝，我和我那同事在秦淮河边上走，吹着风，他说，其实我们一线做事的也想做好，就是太多条条框框，放不开，怕出错，做多错多，不做不错。其实哪有一开始就完美的？慢慢来呗。
哪天我们普通人想做个小工具，想查个城市公开数据，能直接从开放数据平台拿到最新、干净、格式统一的合法数据，那就算真的成了。对吧？