开放数据平台那些事儿：科研人的痛与梦

我盯着屏幕上那个转了5分钟的加载圈，心里骂了句脏话。就一个700兆的遥感数据集，从某个挺有名的开放数据平台上下载，速度愣是像回到了拨号时代。我想起上周组会上，导师还拍着桌子说，现在数据共享是大趋势，你们要善于利用开放平台。呵，说得轻巧。

一次糟糕的数据共享经历

一次糟糕的数据共享经历 那是一个号称汇集了全球海洋观测数据的平台，UI做得挺炫，搜索框、地图预览、API接口一应俱全。我满心欢喜地注册，填写了一大堆个人信息，包括我所在机构、研究领域，甚至还要写清楚数据用途——我理解，人家要统计嘛。等了两天，账号激活了。进去一搜，确实有我需要的那组温盐深剖面数据，但问题来了：数据被拆成了几百个小文件，每个文件单独下载，没有批量选项。我耐着性子点了十几个，突然跳出一个弹窗——“您今日的下载限额已用完，请明日再来。” 我差点把鼠标摔了。限额？我一个做气候模型的，动辄需要几十年的连续数据，你让我每天下十几个文件，这是让我回到手工作坊时代？更搞笑的是，他们提供了API，但文档写得极其简略，Python示例代码里居然藏着拼写错误。最后我还是通过一个非官方爬虫脚本才把数据弄下来——这算不算黑色幽默？开放数据平台，结果还是靠爬虫解决问题。 科研人员面对电脑崩溃抓狂的场景 我其实特别理解为什么要设限额，服务器资源有限，怕恶意下载嘛。但设计这种规则的人，他肯定没亲自搞过科研。他不知道一个博士生的时间有多宝贵，不知道那种“就差这一步数据就能出结果”的焦灼。好在，不是所有平台都这么反人类。

平台那么多，为啥还是找不到数据？

有次开会，和一个搞生物信息的朋友吐槽这件事。他立马接茬：“你这算好的，至少数据还在。我遇到过那种，论文发完，链接就失效的。” 他说的是某顶级期刊的补充材料，明明在文章里写着“数据可从某某平台获取”，点进去却是404。给通讯作者发邮件，石沉大海。这种事儿吧，在圈子里太普遍了。 但吊诡的是，你现在去搜索引擎打“开放数据平台”，能跳出来几十个结果。国际的有Dryad、Figshare、Zenodo，国内有国家基础学科数据云、各高校自己的库，还有像北京大学的开放研究数据平台。每一个都宣称自己支持FAIR原则——可发现、可访问、可互操作、可重用。但当你真正要找某个特定领域的数据时，往往是在几个平台之间反复横跳，最后要么数据质量堪忧，要么格式乱七八糟。 多个开放数据平台Logo杂乱堆叠的示意图 我有一次为了找中国某地区十年的土地覆盖变化数据，先去了一个全球土地覆盖数据集网站，发现精度不够；又转到国内一个生态环境数据平台，注册流程走了三遍没成功（因为系统总提示我单位邮箱格式不对，我寻思着我这就是学校邮箱啊）；最后在一个不起眼的省级数据中心找到了，但数据说明是PDF扫描件，还得手动录入分类代码。那一周，我净跟数据平台打架了，模型没调几行代码。 说实话，开放数据平台现在最大的问题不是“开不开放”，而是“开了之后怎么办”。数据标准化、元数据描述、更新维护、用户支持……这些脏活累活，比单纯喊一句“开放”难多了。有些平台，数据上传后就再没更新过，连README都是缺失的。我甚至怀疑，有些数据集当初就是为了应付项目结题或者评奖，传上去就完成任务了。

开源精神撞上学术内卷

不过话又说回来，开放数据平台这几年确实也干了不少漂亮事。新冠初期，病毒序列数据通过全球共享流感数据倡议组织（GISAID）快速公开，为疫苗研发争取了时间；欧洲核子研究中心的开放数据门户，让多少穷实验室的博士生也能玩得起高能物理数据。这种精神让人感动，对吧？但一个现实是，在现有的学术评价体系里，共享数据并不值钱。论文、专利才是硬通货。你辛辛苦苦收集、清洗的数据，放到平台上给别人用，最多换个citation，而那个引用可能在你晋升时都上不了台面。 我认识一个搞地质的哥们，他花了三年跑野外，攒了一套非常珍贵的岩矿地球化学数据。他本来想等发完Nature再放出来，结果Nature没发成，数据也就锁在自己硬盘里了。我怂恿他先放到开放平台，至少立个项、占个坑。他犹豫很久，最后说了句：“万一别人拿我的数据发了文章，我亏不亏？” 我无力反驳。这就是学术生存压力下的真实心态。 科研人员在野外采集数据的工作场景 但时代在变。现在越来越多的基金申请书里，要求写明数据管理计划；一些期刊也强制要求将数据提交到认证平台。不管你喜不喜欢，这股潮流是躲不过的。我觉得开放数据平台要想真正繁荣，光靠政策和情怀是不够的，得有一套清晰的激励机制，比如把数据引用的权重提上来，或者像DOI那样给数据集一个永久标识，并追踪其实际影响力。

一些让人眼前一亮的尝试

也有做得不错的。我最近常去的一个叫OpenNeuro的平台，专门做神经影像数据共享。它上面的数据集都经过预先处理，可以用统一标准下载，而且配套了详细的实验范式说明。我拿着公开的fMRI数据，没花多少力气就跑通了一个简单的脑功能网络分析流程。这种即拿即用的体验，才是开放数据平台该有的样子——不是让你面对一堆原始文件干瞪眼，而是真正降低再利用的门槛。 还有欧洲分子生物学实验室的EMBL-EBI，他们维护的生物信息数据库群，从基因序列到蛋白质结构，几乎每个子库都有丰富的API和在线分析工具。数据之间还能相互链接，你查一个蛋白，能顺着通路看到相关的疾病信息。这才叫生态。 开放数据平台系统架构与数据流转示意图 但这样的投入，不是随便哪个小团队能承担的。它需要持续的经费、专业的数据管理员和开发人员。我们国家现在其实也有意识地在这方面发力，比如中国科学院主导的一些科学数据中心，在特定学科领域已经做到了国际领先。但总体上，数据孤岛的问题仍然严重，跨学科、跨机构的整合还很初级。 有次我和一个图书馆学背景的数据管理专家聊天，她说了一句让我印象深刻的话：“开放数据不是把数据扔到网上就完了，它本质上是一种服务——你得告诉别人这数据怎么来的、能怎么用、用了有什么限制，还得帮人家解决使用中的毛病。” 深以为然。 --- 说到底，开放数据平台就像一场社会实验。有慷慨和共享，也有算计和敷衍。我抱怨归抱怨，但真要是回到那个全靠私下交换数据的年代，可能连抱怨的机会都没有。希望有一天，我打开一个平台，不仅能轻松找到需要的数据，还能看到它被复用的故事，看到那些数据背后活生生的科研历程。那才是真正的开放吧。 不说了，我得去继续下载明天份额的那几个海流数据文件了——希望今晚宿舍不断电。