在一项新的重复在Nature期刊和Science期刊上发表的21篇心理学论文的大型研究中,来自中国、美国、瑞典、奥地利、新加坡、新西兰、德国和荷兰的研究人员报道他们在62%的时间里得出与原始论文相同的结论。即便重复实验与原始论文中的实验取得相一致的结果,效应大小也会变小。他们认为假阳性和“膨胀效应大小(inflated effect size)”是这个领域的重复性问题的一部分。相关研究结果于2018年8月27日在线发表在Nature Human Behavior期刊上,论文标题为“Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015”。

  图片来自Nature Human Behaviour, doi:10.1038/s41562-018-0399-z。

  论文共同作者、瑞典斯德哥尔摩经济学院经济学教授Anna Dreber表示,“假阳性结果能够让初始的研究人员和其他的研究人员花费大量时间、精力和金钱用于实际上并不成立的结果上。这会浪费资源和导致效率低下,因此越早发现结果不成立,就会越好。”

  除了这项最新研究中开展的重复尝试之外,Dreber和她的同事们还测试了一种预测哪些研究结果确实是可重复的方法。他们要求大约200人(其中没有一个人参与这些实验)在类似股票市场的情景中对哪些结果会成功进行下注。值得注意的是,这些参与者对这些用于重复初始研究结果的研究进行了预测。

  作为来自荷兰马斯特里赫特大学的一名参与者,Paul Smeets表示,“我对这些结果是否真地有意义进行了取样测试。有些结果看起来很壮观,但似乎也太好了而不可能是真的,这通常意味着它们就是如此。”

  这21篇原始论文在2010年至2015年期间发表,是从著名的Nature期刊和Science期刊中挑选出来的。这些论文的原始作者都收到了他们的研究结果的重复情况,并被要求提供反馈。作为这些原始作者中的一员,美国肯塔基大学心理学教授Will Gervais在2012年的一项研究中研究了参与者在观察罗丹的著名雕塑《思想者》之前和之后的宗教虔诚。正如这种预测方法所预期的那样,该研究并未得到重复。Gervais表示,“事后回想,我们的那项研究是非常愚蠢的。”

  美国加州大学戴维斯分校心理学家Simine Vazire(未参与这项新的研究)表示,“我们不应当将Science期刊或Nature期刊上发表的论文视为一项特别强有力的发现或一名特别有能力的研究人员的标志。”这两种期刊“并不是特别擅长挑选出真正强有力的发现或优秀的研究实践。”这些期刊“并不是特别擅长选择真正有力的发现或优秀的研究实践。这种预测方法增加了我的挫折感,这是因为它表明存在着呈现这些论文本身的证据是否有说服力的线索。”


相关文章

Nature杂志发表中国史前母系社会研究重大进展

19世纪中叶,瑞士人类学家巴霍芬在《母权论》(1861)一书中首次提出人类社会的童年曾普遍存在一个母系社会的发展阶段,但这缺乏考古学上支持史前母系社会存在的有力证据。另一方面,现代民族学研究所揭示的母......

Nature公布21世纪最高引论文Top25第一竟是它

《自然》近日揭晓了21世纪被引用次数最多的25篇论文。令人意外的是,mRNA疫苗、CRISPR基因编辑、希格斯玻色子的发现等重大突破性成果均未进入榜单。真正入榜的,反而是涉及人工智能(AI)、提升研究......

大脑也会秋后算账!Nature:揭秘机体大脑“十年怕井绳”的机制

你是否曾经历过这样的场景?某次不小心误食了变质的海鲜,结果上吐下泻,之后哪怕只是看到类似的食物,甚至闻到一丝相关气味,都会感到强烈的恶心和不适。这种“一朝被蛇咬,十年怕井绳”的现象,其实是大脑中一种深......

中国学者Nature发文:发现新型抗真菌抗生素

多重耐药致病真菌的全球传播对人类健康构成了严重威胁,因此有必要发现具有独特作用模式的抗真菌药物。然而,由于已知化合物的高频率重新发现和缺乏新的抗真菌药物靶点,传统的基于活性的筛选先前未描述的抗生素受到......

投稿3个月被接收!这项研究改写教科书经典理论

“超乎想象!”《自然》(Nature)审稿人在论文评审意见中说。中国科学院天津工业生物技术研究所研究员高书山告诉《中国科学报》:“他们(指审稿人)大概都觉得太颠覆了,给我们的评审意见都是这样的调调:你......

NatureCommunications:尿液蛋白质组学研究新突破——标准操作流程(SOP)与全流程质控(QC)体系助力多平台尿液蛋白质组学研究

2025年1月26日,北京航空航天大学医学科学与工程学院刘超团队和中国医学科学院基础医学研究所孙伟团队联合北京理工大学、北京师范大学、中国科学院动物研究所、北京儿童医院、北京协和医院、国家蛋白质科学中......

薛其坤院士,Nature最新研究成果

据新华社深圳2月18日报道,由国家最高科学技术奖获得者薛其坤院士领衔的南方科技大学、粤港澳大湾区量子科学中心与清华大学联合研究团队于2月18日在国际学术期刊Nature(《自然》)发表研究成果,发现常......

Nature:2025年值得关注的9大事件

2025年,科学领域将迎来一系列备受瞩目的突破与挑战,从新一代抗肥胖药物的问世,到改变未来的太空探索任务,再到关乎全球气候政策的关键会议,这些发展不仅影响着科学研究的前沿,也与每个人的生活息息相关。近......

Nature首发!πHuB计划即将引领生命科学新变革

近日,国际顶级科学杂志《自然》在线发布了中国科学家领衔发起、十八位两院院士和十八国科学家团队联合署名的人体蛋白质组导航国际大科学计划(ProteomicNavigatoroftheHumanBody,......

Nature|科学家设计出一种培育冠状病毒的新方法

冠状病毒已经在本世纪引发了三次重大疾病爆发,包括COVID-19大流行,科学家们怀疑潜伏在自然界中的其他家族成员威胁着人类。但是,这些病原体中的许多都很难在实验室中生长,这使得在它们袭击之前研究它们并......