发布时间:2007-09-22 08:46 原文链接: 朱大明:学术评价量化与同行评议

随着学术界对“核心期刊”、SCI论文以及影响因子等学术量化指标的重视,量化评价也受到了种种质疑和责难,认为“学术评价量化背离学术评价宗旨”,“学术评价要靠同行评议”,甚至认为是学术评价量化导致了种种学术不端行为。对此,笔者认为,有必要仔细分析学术评价量化与同行评议的关系。
 
概括而言,科研论文的评价分为两个方面,其一是从专业学术角度,对论文内容本身的创新性、科学性和应用性及其发表价值的评审,这主要靠同行评议;其二是从科研管理角度对科研人员或机构的绩效考核,这主要是运用科学计量学的方法对已发表的论文及其学术影响力,尽可能作出符合实际情况的量化评价结果。二者操作主体和功能目的不同,但既相对独立又相互联系。前者是学术评价的基础,评价主体是同行专家,主要是评审论文成果的价值以决定是否能够发表及其发表的场合;后者主体是科研管理部门或机构以及科学计量分析人员,主要是对已发表论文成果数量和质量的综合评价,其目的是作为绩效考核、职务评聘、资源分配的依据。同行评议历来是科学共同体内学术评价最主要、最基本的评价方法,但现实中的同行评议也并非无懈可击,如,受到个人学识水平、主观倾向或学术成见的影响,或遇到利益冲突时,同行评审也可能被人为操控而失去公正性和客观性,且评审结果不易量化统计和比较。尽管有单盲法、双盲法、公开式、交互式、集体法等多种方法以尽量保证评审的客观性,但并不能完全解决社会环境、伦理道德、行为规范、心理动机等方面存在的问题。计量化评价则主要通过对发表论文数量、期刊影响力、论文被引频次等量化统计分析,或对设定的评审指标量化打分、综合计算,得出量化评价结果。其特点是计量明确、相对客观,但存在诸如将期刊影响因子等同于论文质量指标的不合理性,且同样存在人为操控等问题,如为提高影响因子过分自引,或以不正当手段追求论文发表数量等。可见,同行评议与量化评价各有利弊,都非完美无缺。
 
目前,对量化评价诟病的同时强调应重视同行评议,但殊不知,量化评价的基础本身就是同行评议。因为量化评价所统计的每一篇论文都是经过同行评审而正式发表的。尽管量化评价中遭受指责最多的是用期刊影响力来表征其发表论文的质量水平,但不能不承认,由于高水平权威性期刊如某专业核心期刊或SCI收录期刊的责任编辑、主编尤其是编委或同行评审专家往往都具有较高学术水平,其审查把关较普通期刊更为严格,更由于高水平权威期刊的“马太效应”,投稿量大而用稿率极低,录用发表更为困难,高水平期刊的高水平评委用高水平期刊录用标准评审,在众多论文中相对择优筛选出来的论文得以在高水平期刊上发表,自然容易被认为是高水平论文。从这一角度看,量化评价之所以把论文水平等同于期刊水平的“合理性”依据恰恰是同行评议。但事实上,所谓“高水平期刊上发表的论文”其学术影响力(被引频次)确实差异较大而呈现良莠不齐。这也从反面说明了同行评议并非万能。以强调同行评议为由指责量化评价也难以令人信服。
 
学术评价确实是一项困难而复杂的事情,任何单一的方法都难以奏效,想用一种方法取而代之是行不通的。事实上,同行评议与量化评价本身不是对立的,二者是相互联系、不可偏废的:量化评价的基础就是同行评议,其本身也包含同行评议的成分,量化评价之所以强调一定数量的核心期刊或SCI论文数是因为,这些论文都是经过相应层次的同行评审的,更因为量化评价中统计的论文被引频次、影响因子其实也来源于同行评议——论文被同行评论、综述、正面引用以及负面引述(批评性引用)也都属广义的同行评议。学术评价量化注重核心期刊或SCI论文数量的统计和评比本身并没什么错;错的是因急功近利、唯利是图而不择手段去追求论文数量,制造“学术泡沫”。学术评价尤其是量化评价之所以存在诸多问题和弊端,关键并不在于方法本身,而在于被简单化滥用,更在于功利意识驱使下的种种失范行为。
 
(作者为总参工程兵科研三所高级工程师)

相关文章

减少学术“找碴儿”,同行评议应更具“发展性”

近年来,国家有关部门针对科研评价和教师评价等出台了一系列文件,其中一个重要的政策就是强化代表作同行评议制度。这预示着我国高校教师评价将从以往关注发表的数量,向关注成果的质量等方面转变。至于代表作评价制......

同行评议,该不该被赋予生杀予夺的权力

前不久,某美国华人学者在社交媒体发文,公开批评国内某高校。因为自己所带的一位访问学者是某高校在读博士生,由于博士论文外审有意见,导致其错过校内学位评审时间,最终无法拿到博士学位。原本该学者要为这位博士......

“唯论文”易除,“唯关系”难改!“变味”的同行评议绑架了谁

每到年底,相信不少高校教师或科研工作者工作者都会和小编一样,花上不少时间和心思定制祝福信息。当然,信息的去向都是领域内知名专家或论文评审人:“踏上学术道路的那一刻起,同行评议就无处不在,不知什么时候成......

学术大咖屡曝造假!大科学时代论文质控有解吗

  近日,有消息称美国某大学已开始对一名“大腕”级PI展开严肃学术不端调查,并已暂封其实验室。 该指向嫌疑较大的是美国东北大学教授托马斯•韦伯斯特(Th......

如何看待学术评价“代表作制”

教育部、科技部印发的《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》(以下简称《若干意见》)日前公布后,引起了学术界和高等教育界的很大反响。归纳起来,这些反响有两种,一种是赞扬,另......

同行评议能走向透明吗?|PeerReviewWeek

数据分析可以增强对科学论文的审查,但出版商必须首先同意公开此类信息。同行评议是一件吃力不讨好的工作。整个学术界每年要花7000万个小时代表学术期刊为同行审稿。这些工作一般没有经济回报,也很少能得到应有......

影响因子仍被广泛用于学术评价

一项对北美129所高校进行的调查显示,有23%的高校在用于晋升决定的文件中提到影响因子。图片来源:《自然》近日,《自然》发表的一项调查发现,北美40%的研究型大学在决定提拔谁时都会考虑期刊的影响因子。......

中国审稿人,请你说“到”

《天文和天体物理学研究》(RAA)主编、中科院院士汪景琇,近年接到不止一位美国年轻天文学者希望成为RAA审稿人的请求,希望他以主编身份出具一份确认信,以帮助这些年轻学者获得更多认可。1665年,同行评......

观点:同行评议是否应考虑多元化因素

同行评议,是用于评价科学工作的一种组织方法。这种方法常常被科学界用来判断工作程序的正确性,确认结果的可靠性以及对有限资源的分配,诸如期刊论文、科研项目、学术奖励等活动。当前,同行评议是对科研项目和成果......

中外专家热议科研论文:透明化能否解救同行评审

图片来源:TheRoyalSociety作为国内地球系统模式软件工程方向的一位青年学者,刘利已经评审过若干篇该领域国际核心期刊的稿件。“在最后提交审稿意见时,审稿人可以选择匿名评审或者在文章结尾的致谢......