发布时间:2019-09-19 10:44 原文链接: 同行评议能走向透明吗?|PeerReviewWeek

  数据分析可以增强对科学论文的审查,但出版商必须首先同意公开此类信息。

  同行评议是一件吃力不讨好的工作。整个学术界每年要花7000万个小时代表学术期刊为同行审稿。这些工作一般没有经济回报,也很少能得到应有的认可。

图片.png

  共享同行评议及其背后的数据有助于期刊杜绝学术出版中的造假、低效和系统性偏见。

  xubingruo/Getty Images

  有些人这么做是为了了解领域内的最新发展;有些人则单纯地认为这是自己的职责义务。不管出于什么原因,如果没有他们的贡献,学术出版业可能无以为继。

  近年来,一些科学家开始将自己的审稿工作贴到网上,主要是想让自己的付出得到认可。

  Publons等网站让研究人员可以发布他们的完整审稿报告,或是列出他们为之做过审稿工作的期刊。虽然成立才七年,但是Publons已经拥有170多万用户。

  Publons的流行说明学术界希望审稿工作能得到越来越多的重视,并希望资助机构等各方给予这项工作应有的肯定。这在“不发表就出局”的学术文化中非常关键,但同行评议背后的数据同样有着巨大的价值。

  共享同行评议数据还能帮助期刊杜绝学术发表领域内的欺诈、低效和系统性偏见。实际上,公开同行评议应当成为学术出版界的默认做法,即公开审稿内容,并在特定情况下公开审稿人姓名。

  支持率上升

  公开同行评议的模式已然取得了一些支持。部分学术期刊在线公开审稿报告的做法已经持续好几年了,如跨学科出版物F1000 Research和医疗期刊BMC Medicine。

  近期一项针对3000多名研究人员的调查发现,大部分调查对象都认为公开审稿应该成为主流做法,但前提是审稿人保持匿名。

  即使是这样,也能让大家对这个向来不透明的运作流程有更多的认识。

  例如,Publons上发表的一项对30多万篇审稿报告的字数统计分析发现,物理学家的审稿意见通常比心理学家、地球和空间科学审稿人和生命科学审稿人的审稿意见要短。

  可想而知,如果能够展开更深入的分析,就能对不同科学领域的审稿质量差异有更清晰的认识。但眼下只有少数期刊允许公开它们的同行评议报告,并公布审稿人的身份。

  Publons在2017年执行的一项分析显示,在约3700本开展同行评议的期刊中,当时只有约2%的期刊允许公开审稿内容。

  同行评议数据还能帮助消除偏见。去年,一项研究调查了生物医学期刊eLife近2.4万篇投稿的同行评议数据,发现女性和非西方人在审稿人中的占比严重不足。

  只有约五分之一的审稿人为女性,不到2%的审稿人来自发展中国家。(在期刊编辑和集体署名论文的“通讯作者”中,女性和非西方国家研究人员的占比也偏低——通讯作者通常为一个研究团队中最资深的科学家,是研究人员梦寐以求的荣誉。)

  eLife的调查结果并不完全在意料之外,其他期刊可能也存在类似的情况。尽管如此,eLife还是做出了正确的决定:主动披露数据并让审稿过程接受公开监督。

  基于这些数据,eLife就能向前一步,主动消除潜在偏见,让整个审稿流程更加公平。而对于许多别的期刊来说,它们的同行评议流程将继续以充其量不过是道听途说的信息为决策引导。

  呼唤透明度

  可能有人会说,出版商和期刊可以对同行评议流程展开内部分析,而且也许有的已经在这么做了。但为了真正实现透明化,让期刊的决策有理有据,更明智的做法是直接公开相关数据。

  公开发表同行评议数据也许还能帮助期刊应对学术出版的另一个问题:同行评议造假。

  举例来说,已有少数作者被发现使用捏造的邮箱地址冒充外部专家来为自己审稿。

  超过500项研究由于此类同行评议操纵行为而被撤回,这些研究大部分来自中国科学家。

  仅仅是公开同行评议的完成时间,都能让读者对审稿的严谨性有一个具体的概念——比如审稿人何时收到审稿邀请,何时提交完整的审稿报告。

  增加透明度还能防止审稿人窃取论文以自己的名义发表,要求作者引用他们的研究来换取正面的审稿意见,或是其他有违学术伦理的做法。

  反对意见主要集中在保密性对于同行评议完整性的重要性上——如果将审稿意见发布,尤其是要求审稿人以签名的方式公开身份,可能会让他们在审稿时避重就轻。

  还有一些人则担心公开审稿意见可能会让审稿人一开始就拒绝这项工作,或是因为担心被问责而花更多的时间进行审稿。

  但是,近期有一项研究分析了全球最大的学术出版商爱思唯尔(Elsevier)旗下5本期刊的逾1.8万篇审稿报告,结果发现同时发布论文原稿和审稿报告并不会影响整个审稿流程,虽然只有约8%的审稿人愿意在报告上签名。

  这项研究还发现,公开审稿报告并不会花去审稿人更多的时间,不会导致同意做同行评议的审稿人减少,也不会影响审稿人接收还是拒绝论文的决定。

  因此,爱思唯尔在今年2月表示他们正在考虑让旗下更多的期刊公开同行评议。

  改变将至

  即使审稿报告和审稿人身份无法公开,期刊也能以研究为目的,与外部研究人员共享这些数据。

  或者,他们可以在不违背保密性的情况下公开其他能够回答某些重要问题的数据,比如审稿流程需要耗费多长时间,编辑平均需要联系多少研究人员才能找到一位愿意审稿的审稿人,以及审稿人的地理位置分布如何。

  当然,公开审稿流程背后的数据无法解决同行评议的所有问题。此外,不公开审稿意见和审稿人在某些情况下可能确有必要。但是规范应该从完全不透明向必要时不透明转变。

  这种转变绝非易事。在关于爱思唯尔的公开同行评议试验的研究中,研究人员先后用了两年时间咨询法律专家,才获得了同行评议流程的具体数据。

  为了进一步简化将来的流程,上述研究的作者之一、意大利米兰大学的社会学家Flaminio Squazzoni与同事开发了一种标准方法,希望能给出版商用来分享同行评议数据。

  他写道,“根据我们的经验,毫无保留地公开同行评议流程信息的期刊,可以改进整个出版行业的透明度和问责制度,同时还能保障作者、审稿人、编辑和研究人员的利益。”

  希望学术出版商能听到这些声音。


相关文章

减少学术“找碴儿”,同行评议应更具“发展性”

近年来,国家有关部门针对科研评价和教师评价等出台了一系列文件,其中一个重要的政策就是强化代表作同行评议制度。这预示着我国高校教师评价将从以往关注发表的数量,向关注成果的质量等方面转变。至于代表作评价制......

同行评议,该不该被赋予生杀予夺的权力

前不久,某美国华人学者在社交媒体发文,公开批评国内某高校。因为自己所带的一位访问学者是某高校在读博士生,由于博士论文外审有意见,导致其错过校内学位评审时间,最终无法拿到博士学位。原本该学者要为这位博士......

“唯论文”易除,“唯关系”难改!“变味”的同行评议绑架了谁

每到年底,相信不少高校教师或科研工作者工作者都会和小编一样,花上不少时间和心思定制祝福信息。当然,信息的去向都是领域内知名专家或论文评审人:“踏上学术道路的那一刻起,同行评议就无处不在,不知什么时候成......

学术大咖屡曝造假!大科学时代论文质控有解吗

  近日,有消息称美国某大学已开始对一名“大腕”级PI展开严肃学术不端调查,并已暂封其实验室。 该指向嫌疑较大的是美国东北大学教授托马斯•韦伯斯特(Th......

同行评议能走向透明吗?|PeerReviewWeek

数据分析可以增强对科学论文的审查,但出版商必须首先同意公开此类信息。同行评议是一件吃力不讨好的工作。整个学术界每年要花7000万个小时代表学术期刊为同行审稿。这些工作一般没有经济回报,也很少能得到应有......

中国审稿人,请你说“到”

《天文和天体物理学研究》(RAA)主编、中科院院士汪景琇,近年接到不止一位美国年轻天文学者希望成为RAA审稿人的请求,希望他以主编身份出具一份确认信,以帮助这些年轻学者获得更多认可。1665年,同行评......

观点:同行评议是否应考虑多元化因素

同行评议,是用于评价科学工作的一种组织方法。这种方法常常被科学界用来判断工作程序的正确性,确认结果的可靠性以及对有限资源的分配,诸如期刊论文、科研项目、学术奖励等活动。当前,同行评议是对科研项目和成果......

中外专家热议科研论文:透明化能否解救同行评审

图片来源:TheRoyalSociety作为国内地球系统模式软件工程方向的一位青年学者,刘利已经评审过若干篇该领域国际核心期刊的稿件。“在最后提交审稿意见时,审稿人可以选择匿名评审或者在文章结尾的致谢......

国际期刊撤稿事件反思:学术期刊面临诚信新挑战

近日所发生的107篇中国作者论文被国际期刊撤稿事件引发了人们的关注,作为2015年撤稿事件的延续,此次的107篇论文被撤销的原因在于一些“论文黑中介”在推荐评审专家时,将专家的邮箱“偷梁换柱”,从而炮......

107篇论文被撤,又是同行评议造假惹的祸

大规模撤稿、中国作者、同行评议过程造假、第三方机构操纵,由这些关键词构成的施普林格出版集团4月20日的声明,除了一次性撤销发表在《肿瘤生物学》上的107篇论文这个创纪录的数字,并无新意。从2015年起......