发布时间:2019-02-21 10:27 原文链接: 顶级医学期刊暗藏乱象:20%的研究竟不符合试验标准

  医学研究需要在临床试验开展之前进行预注册,明确试验需要测定的数据。按照临床试验的“金标准”,试验只能检测预定的数据,而不能随意检测其他的数据。然而,根据COMPare组织对世界顶级医学期刊的检测结果,近20%的论文没有如实报道试验结果。在比例最高的期刊中,这一数值甚至达到80%。医学期刊的如此乱象,会带来什么隐患?这一现象背后,又是一场怎样的博弈?

图片.png

  维护数据的金标准

  医学论文的不可重复性逐年严峻,在这一背景下,COMPare组织应运而生。具体来说,其成立的目的就是检测医学论文中的结果转变(outcome swtiching)现象。在临床试验开始之前,所有在试验中测量的指标都需在试验规划中定下来。比如,研究觉得某药物对血压有积极作用,那就可以计划检测治疗一年后的血压。同时,这些计划必须经过临床试验注册,之后不能更改。如果试验最后报道的不是血压,而是其他指标,那就属于结果转变。

  这项规定的意义在于,防止研究者在做完试验之后胡乱检测指标。同样以治高血压药为例,假如研究者在临床试验后发现药物对血压无效,决定胡乱检测一些指标。结果,研究者误打误撞,发现其可以促进伤口愈合,于是标榜这种药可以治疗伤口。这样的结果是不符合临床试验标准的,也就是假阳性。而预定观测指标,能够避免这一错误的发生。

  临床试验的论文中,所有的数据都应该报道预定的观测指标,如果报道了不符预定指标的其他项目,必须在文献中注明,并解释原因。这是临床试验应该遵循的“金标准”,但实际情况却是,多数临床试验选择报道非预定的指标,并且未给出任何标注和解释,这对后期的临床判断来说是极大的隐患。

  为了减少这种情况,医学界五大期刊——《内科医学年鉴》(AIM)、《英国医学杂志》(BMJ)、《美国医学会杂志》(JAMA)、《柳叶刀》(Lancet)和《新英格兰医学杂志》(NEJM)联合签署了临床试验报告统一标准(CONSORT),该标准制定了一系列的规定,来保证论文发表数据都是提前登记注册的。期刊也都表示在接受文章、审核之前会严格执行CONSORT标准,并且如果在文章发表之后,任何读者发现有违反标准的情况,可以投递修正信,期刊也会审核后附在文献后同时发表。

  期刊并未按章办事

  那么期刊是否会按章行事?COMPare项目负责人Ben Goldacre和同事们一同检测了五大期刊超过六周的医学论文,并且将所有正确和不正确执行CONSORT标准的结果都列举出来。

  在此次项目中,一共检测了67项医学试验。分析结果显示,平均76%的研究论文的主要结果按照了预定指标进行报道,其中BMJ按章执行占比最低只有25%,JAMA最高达到81.8%。但到了次级结果还能按标准报道的平均水平降到了55%。在所有的医学论文中,平均每篇论文都新增了5.4个全新但未经声明的结果,占比达到13.7%。

  但是这并不只是研究者一方的问题。作为签署了CONSORT标准的发表机构,这些学术期刊也并未恪尽职守,许多已经发表的文献并未完全展示所有的研究成果。平均19.4%的研究主要结果并未全部报道出来,其中遗漏程度最高的AIM达到80%。

  在发现如此多的漏洞后,Goldacre团队也向各大期刊汇报了情况。根据CONSORT标准,期刊都需要对情况进行审核并如实汇报出来。但结果却不尽人意,在针对问题数据寄出的58封信件中,最后发表并声明更正的只有23封,连一半都不到。其中寄给JAMA的11封以及NEJM的20封修正信,1封都没有发表。即使信件最后被发表了,审核过程也平均长达99天,最长的近一年后才被发表。

图片.png

  NEJM是医学期刊中影响因子最高的期刊,但在Goldacre的测试中,16篇NEJM学术期刊一共添加了65项非预定指标的结果,其中只有2项进行了标注。对于两家未发表任何修正声明的期刊,Goldacre也曾试图进行沟通了解拒绝发表的原因,但得到的却是不能接收更正的回信。

  他在COMPare的网站上也公开了与NEJM期刊编辑的来往书信。来自NEJM的编辑在回信中写道,“期刊用于相关性资料的部分非常有限,因此我们要从大量的来信材料中进行选择,评判,”言外之意是不会将所有的修正信都展示出来,“尽管NEJM签署了CONSORT标准,但是不代表我们认可,我们认为作者没有必要遵循CONSORT标准,对于新加的结果我们也单独进行了同行评议和审核。”

  在来来回回的信件中,许多编辑都表示不能理解COMPare组织存在的目的是什么,很多人认为它就是一个以CONSORT标准对期刊进行检测的组织。与这些期刊编辑一样,许多论文作者也误解了CONSORT规则以及预注册在共享试验计划方面的作用。一些人甚至称COMPare项目是该研究群体的“门外汉”。

  对此,Goldacre解释道:“我们这么做,是为了遏制现在在临床试验中盛行的结果转换现象,因为结果转变会直接影响后面的临床决定。”

  科学界力图消灭假数据

  除开COMPare组织,同样也还有其他组织致力于挖掘这些消失和错报的试验数据,被称作RIAT(恢复隐藏和丢弃试验支持中心)的机构同样也在做这么一件事,他们认为许多生物医学试验文献没有报道所有的结果,或者以一种不正确的方式对其进行了诠释。从2013年成立该机构以来,获得的成效却非常少,除了找出隐藏数据所需的时间长,期刊的不配合或者数据供给不足也是重要原因。2018年,美国科学公共图书馆(PLoS)站出来支持了RIAT组织,并联合宣称将投入15万美元进行合作,改善学术文献的漏洞。

  这种对试验数据要进行预期计划的专业其实并不只有医学,在去年Science就以“越来越多的科学家选择提前注册要进行检测的结果,你呢?”为标题发文,呼吁科学界行动起来,不要在试验开始后为了凑出一篇文章去测很多没有意义的数据。

  心理学,基础研究中实验数据虚假和无法重复的重灾区。为了打破这种窘境,心理学研究也开始效仿医学研究,引入了预注册(Preregistration)的方式。这一举措,不仅仅只是为了拨开让心理学研究上的阴云,同时这也能让研究者按照详实的计划来完成实验,而不会因为随意检测而扭曲了事实本身。从2012年开始,在开发科学框架中,推行预注册方式发表研究的期刊逐年递增,几乎每年都在翻倍。现今已经超过120家杂志或期刊选择了预注册的方式进行研究报道。

  但就像NEJM的几位编辑回信一样,并不是所有人都认同这一行为。Susan Goldin-Meadow,《心理科学》的联络人就表示,“如果我们开展试验之前就标注好了条条框框,那还怎么会做出新的发现?” 埃因霍芬理工大学的Anne Scheel同样也表达了要完全保证按照预注册的规划来执行很困难,“你完全没法保证哪一组将成为最佳的对照组。”

  为了让预注册的试验计划更容易成功,加州大学伯克利分校的Leif Nelson也建立了一个网站给研究者提供简易试验目标设计。或许,目前还无法说出预注册这种方式是好是坏。但它至少提醒科学家,要更加严谨地对待自己的实验过程以及数据。尤其是在医学研究上,每一个数据都对临床操作具有极大的意义。

  在医学试验上,任何微小的改变都应该被提出来,作为把关的期刊是义不容辞的,“我们希望期刊编辑能对我们的发现作出积极、有建设性和深思熟虑的回应。”Goldacre表示,但显然,现在期刊完成的任务还远远不够。

  参考链接:

  https://trialsjournal.biomedcentral.com/articles/10.1186/s13063-019-3173-2#Sec7

  http://en.zicos.com/tech/i31116309-Despite-public-pledges-leading-scientific-journals-still-allow-statistical-misconduct-and-refuse-to-correct-it.html

  http://compare-trials.org/methods#whyitmatters

  https://blogs.plos.org/speakingofmedicine/2018/04/26/revealing-the-rest-of-the-iceberg-the-restoring-invisible-and-abandoned-trials-riat-support-center-grant-competitions/

  http://compare-trials.org/blog/how-did-nejm-respond-when-we-tried-to-correct-20-misreported-trials/

  https://www.sciencemag.org/news/2018/09/more-and-more-scientists-are-preregistering-their-studies-should-you

  https://boingboing.net/2019/02/15/pre-specified-outcomes.html