被扭曲的科研影响力评估:我们到底在评什么
前几天跟一位刚评上青年研究员的朋友吃饭,他把手机往桌上一摔,屏幕亮着的是下一轮人才计划的申报页。
“你帮我看看,我这几篇代表作的影响力分够不够?”
我接过手机翻了翻,五篇论文,三篇发在业内公认的顶级刊物,两篇是开放获取的开源期刊,引用量都不错。可他还是皱着眉头,说单位人事那边说,最好再加两篇高影响因子的挂名,凑凑总分数。
太扯了。
2013-2023JCR化学期刊影响因子分区表
不过话说回来,Altmetrics本身没问题,问题出在我们什么都要量化,什么都要排队打分的惯性。不管多好的评价方法,只要变成了一刀切的量化指标,最后都会变歪。对吧?
国内高校青年教师科研考核指标统计表
我之前帮一个年轻老师看申报材料,他做工业软件的,开发了一款国产有限元求解器,现在国内几十家制造业企业都在用,每年帮企业省几千万的进口软件授权费。结果他评正高的时候,差点没过,因为他发的论文不够多,影响因子不够高。
最后还是行业里几个老专家一起联名担保,才通过。你说,他这个成果,影响力到底够不够?总不能说只有发在Nature上的才叫有影响力吧?
好的科研影响力评估,到底该长什么样?
这两年其实已经有不少好的尝试了。比如现在推的代表作制度,要求申请人最多提交三五篇成果,不看刊物,只看成果本身的贡献。不少单位试下来,效果其实挺好的。
去年我参加一次国内的青年人才评审,就是完全盲评,去掉所有作者信息、单位信息、刊物信息,只放论文全文和成果说明,评委只看工作做得好不好。最后选出来的年轻人,有好几个都不是发顶刊出身,但是工作做得真扎实。
还有一些领域已经开始把数据、代码、开源工具、转化成果都算成代表性成果,而不是只算论文。你做的开源工具全世界几千个团队在用,那影响力就是实打实的,比十篇低引用的顶刊管用多了。
当然,现在也有问题,比如同行评议容易搞圈子文化,熟人给高分,外人被打压。其实也不是没有解决办法,搞双盲评审,扩大评审范围,找不同圈子的专家一起评,回避本单位本系统的评委,就能解决大部分问题。
说白了,科研影响力评估,核心就是要搞清楚:你的工作,到底给这个领域、给这个社会带来了什么实际的价值。而不是拿一堆数字堆出来一个分数,排个座次。
真正的科研影响力,是你的成果能推动领域往前走,能被真正需要的人用得上,而不是印在顶刊的纸面上供着。
什么时候我们能放下对量化指标的执念,什么时候科研影响力评估才能真正回到正轨。我等着那一天。
从影响因子到Altmetrics,我们换汤不换药?
早个二十年,国内科研刚跟国际接轨,评估影响力最简单的办法就是数论文,看期刊影响因子。那个时候大家都没什么经验,拿个统一标准卡,也说得过去。 发展到后来,越来越歪。你做的研究好不好不重要,发的期刊影响因子够不够才重要。甚至有学校给发CNS的老师发几百万奖金,按影响因子算字数发科研经费,简直离谱。 说实话,只要在圈子里待过的都知道,影响因子是期刊的指标,不是单篇论文的指标,更不是研究者的指标。顶刊里灌水的大有人在,冷门领域的好工作一辈子也发不上十分的刊物,这不是常识吗? 后来大家都喊着要改,就出来了替代计量学,也就是Altmetrics,说要算论文在社交媒体、政策报告、工业界的引用,算全纬度的影响力。刚出来的时候我还觉得终于要变天了。 结果呢? 不出三年,Altmetrics直接被塞进了考核表,变成了新的KPI。该卷还是卷,只不过换了个指标卷。
2013-2023JCR化学期刊影响因子分区表
不过话说回来,Altmetrics本身没问题,问题出在我们什么都要量化,什么都要排队打分的惯性。不管多好的评价方法,只要变成了一刀切的量化指标,最后都会变歪。对吧?
现在的科研影响力评估,歪到了哪儿?
我认识一位做古生物的老教授,做了一辈子华南寒武纪三叶虫分类,整理出了国内最完整的标本库和分类系统,全世界研究寒武纪大爆发的团队都要来他这里查资料。 他一辈子发的论文,最高的影响因子也就不到五分。前年评院士候选,第一轮就被刷下来了,理由很直白:代表性论文影响因子不够,影响力不足。 你说可笑不可笑? 这样的例子,一抓一大把。做基础研究的比不过蹭热点的,做冷门方向的比不过追顶刊的,做应用落地的比不过写漂亮论文的。破五唯喊了快十年,根子上还是评估体系的懒政没变。 数论文、卡影响因子多省事啊!坐在办公室里,把表格往系统里一导,排序自动出来了,半天就能评完几百人。真要让评审专家一个个去读论文,去看成果实际解决了什么问题,得花多少时间精力?谁愿意费这个劲? 说白了就是懒。还有就是怕担责任,用统一指标卡,谁也说不出什么,要是主观评,出了问题谁负责?
国内高校青年教师科研考核指标统计表
我之前帮一个年轻老师看申报材料,他做工业软件的,开发了一款国产有限元求解器,现在国内几十家制造业企业都在用,每年帮企业省几千万的进口软件授权费。结果他评正高的时候,差点没过,因为他发的论文不够多,影响因子不够高。
最后还是行业里几个老专家一起联名担保,才通过。你说,他这个成果,影响力到底够不够?总不能说只有发在Nature上的才叫有影响力吧?
好的科研影响力评估,到底该长什么样?
好的科研影响力评估,到底该长什么样?
这两年其实已经有不少好的尝试了。比如现在推的代表作制度,要求申请人最多提交三五篇成果,不看刊物,只看成果本身的贡献。不少单位试下来,效果其实挺好的。
去年我参加一次国内的青年人才评审,就是完全盲评,去掉所有作者信息、单位信息、刊物信息,只放论文全文和成果说明,评委只看工作做得好不好。最后选出来的年轻人,有好几个都不是发顶刊出身,但是工作做得真扎实。
还有一些领域已经开始把数据、代码、开源工具、转化成果都算成代表性成果,而不是只算论文。你做的开源工具全世界几千个团队在用,那影响力就是实打实的,比十篇低引用的顶刊管用多了。
当然,现在也有问题,比如同行评议容易搞圈子文化,熟人给高分,外人被打压。其实也不是没有解决办法,搞双盲评审,扩大评审范围,找不同圈子的专家一起评,回避本单位本系统的评委,就能解决大部分问题。
说白了,科研影响力评估,核心就是要搞清楚:你的工作,到底给这个领域、给这个社会带来了什么实际的价值。而不是拿一堆数字堆出来一个分数,排个座次。
真正的科研影响力,是你的成果能推动领域往前走,能被真正需要的人用得上,而不是印在顶刊的纸面上供着。
什么时候我们能放下对量化指标的执念,什么时候科研影响力评估才能真正回到正轨。我等着那一天。