隐秘与主观盛行谁来评议“同行评议”

在同行评议大会上，对同行评议领域的研究逐渐被其他研究所排挤。

　　1978年，Drummond Rennie是《新英格兰医学杂志》的一名年轻编辑，老板指示他在澳大利亚的巡回演讲中接替自己的位置，讨论关于科学出版的问题。在出发前几天，Rennie派他的行政助理到图书馆随意挑选30本医学期刊，并从中各复印一篇研究文章。他希望能够在从纽约到悉尼的漫长飞行旅程中对这些文章进行评论。

　　在飞机上，当他回想起一周前在国际同行评审和生物医学刊物大会上的几百名观众时，他得出结论：“我们作为一个团体，有一个巨大的问题。”这些论文对于计划好的讲座来说是非常可怕的，因为它们充满了偏颇的报告和基本的错误。这样看来，同行评议似乎并不像想象中那么有用。

　　现在Rennie在《美国医学协会杂志》任职并已经快退休了，他有着低沉的嗓音和浓密的白发。而那场飞行带给他的是改善医学文献状况的一场严峻考验。他和一些期刊编辑以及学术研究人员开始分析发表偏倚、数据共享、引用模式、作者和其他问题。每个问题都面临重重困难。

　　然而，在许多出版物都屈服于审查制度的情况下，同行评议过程本身却并没有相应的审查。“25年改变的事情并不多。”克罗地亚斯普利特大学的研究方法论专家Ana Maru?觢ic这样说。“历史总是在重演”，改善同行评议过程的努力一次次失败，培训评审人员的导师制并没有在提高其发现论文问题的能力上起到作用，而且没有证据表明同行审查可以使发表的论文更加优秀。

　　研究同行评议问题的一个挑战就是得到数据：严格保密的同行评议报告会提交给生物药学期刊，而其对话只会发生在期刊办公室里。“经常发生的事是同行评议的过程隐藏在期刊内部。”在英国牛津大学研究临床实验报告的Sally Hopewell如是说。

　　由于一组不同寻常的期刊，Hopewell和她的同事对同行评议如何运作有所了解。他们对提交给生物医学中心医学系列杂志的93个临床实验的评议报告进行了筛选。Hopewell和同事希望知道同行评议作出了哪些贡献?评议者的建议引起了哪些变化?作者是否履行了其建议?

　　Hopewell的团队惊喜地发现，评议者经常会挑出那些过于宏大的结论，并建议将其进行修改。不过他们却忽略了作者在哪里遗漏了治疗副作用、研究目的或者志愿者如何随机分配到各种治疗方法中等问题。有时评议者还会要求研究增加原本并未计划解决的问题分析。Hopewell希望知道她的发现是否也适用于有更大影响力的期刊，不过她承认，由于同行评议一般都会保密，因此她不可能了解到这些情况。

　　Hopewell和同事所进行的研究是很罕见的。与大多数研究同行评议问题的项目一样，它没有专门的资金，不过她的团队拥有充分的资源来实施研究。“真正获得对这类研究的任何资助都是非常困难的，因为它涉及所有的疾病。”她说。大多数资助机构每次会将资金分配给一种疾病。Maru?觢ic称，“除非你向所有人开放有竞争力的资金”，否则该项研究不可能向前发展。

　　除了实践的挑战之外，该研究的主观性质也是障碍之一，它会妨碍研究的严格性。Maru?觢ic称，“这是一个研究人们如何阅读科学论文的认知心理学领域”，“在这里你不能用方程来计算出一个结果”，尽管一些机构已经试图为临床实验等领域的同行评议者开发研究清单。她认为， “这更应该被看作是一个过程，一个社会活动”。

　　期刊在很多方面都很适合研究同行评议所起的作用，因为它们有自己的内部资源。《内科学年鉴》的统计副主编Catharine Stack寻找了作者对年鉴中手稿的广泛统计审查(通常发生在审查过程的后期)的反应。大多数作者都欣然接受。她在近期的会议上发表了相关报告，不过之后，Stack承认，其期刊只调查了那些论文被采纳的作者，这些作者的心情本来就不错。

　　Rennie称，1989年，在第一届同行评议大会上，一半的讨论都是关于同行评议的。而这一次关于这方面的内容并不多，表明该领域本身已经被更多的关于出版物偏倚和错误的系统性研究所排挤。