国际科学编辑
   电话:0512-67621565
   邮箱:info@iseediting.com
  
 写作技巧  沟通技巧  国际出版最新动态  期刊解析  行业资讯

  国际出版最新动态

当前位置:首页  >  学术资源  >  国际出版最新动态  >  期刊通过抽奖来决定论文是否发表,靠谱吗?  
期刊通过抽奖来决定论文是否发表,靠谱吗?
作者:    来源:   时间:2020-11-02   访问量: 973  

国际科学编辑ISE特推出此篇博客,欢迎大家各抒己见。

越来越多的研究机构使用抽奖系统(Lottery system)来分配研究经费。支持者们甚至建议,学术期刊也可以用抽奖系统来决定该发表哪些论文[1]。在ISE本次博客中,我们将讨论这种可能性以及抽奖系统在期刊中是如何工作的,并讨论一下这个系统的优缺点。

抽奖系统是如何运作的?

出于本博客的目的,我们(International Science Editing-ISE)根据Brezis(2006)[2]建议的抽奖系统提出一个修改版本。如果期刊采用这个系统,它的工作原理大致如下:

像往常一样,提交的论文要经过基本的编辑筛选。被审稿人一致认为值得发表的论文将被正常处理。那些被一致认为不值得发表的论文将被拒稿。只有当审稿人评价不同的论文将由期刊编辑自行决定是否进行抽奖;被抽中的论文将被发表(经过适当的修改)。

优点

1,它将创造一个公平的竞争环境。

审稿人已经被证明受到各种认知和制度偏见的影响[3,4]。例如,审稿人往往较少批评那些有威望的研究者所写的论文,比如那些“有正确的血统,来自大牛课题组,在正确的时间和正确的领域为正确的人工作”的论文。社会偏见的表达已经被证明在评估环境中随着不确定性的增加而增加[6]。彩票系统会给那些处于不利地位的人一个机会,例如,年轻研究人员和那些来自不太知名机构的人,与“老男孩们(指的是是常在某些顶级刊物发表论文的大教授)”[3]竞争。这将会促进在“知识的多样性,公平,和学术界的公正性”[7]的增加。

2,这将减少审稿人的压力。

同行评审是社交[3]。编辑们通常喜欢与作者建立正式或非正式的关系,比如那些定期为他们的杂志投稿的作者,他们可能会感受到来自同行的压力,对这些作者给予善意的对待[8]。彩票系统将使编辑更容易管理这类情况。

3,它将使同行审查过程更加透明。

作者通常不知道决定发表一篇论文的细节。Neural Information Processing Systems[9]的组织者进行的一项实验表明,这些决定往往是武断的。2014年,会议遴选委员会被一分为二,但有10%的投稿论文(166篇论文)被双方审阅。大约57%的论文被一个委员会接受,被另一个委员会拒绝,反之亦然,只比随机获得的结果稍微好一点。这只是众多研究中的一个,显示了审稿人之间的一致性水平很低[10]。抽奖系统是对[11]同行评审固有局限性和任意性的承认。

4,它可能会减少保守主义。

有证据表明,在同行评审中存在保守主义。在一项研究中,审稿人对支持非传统医学治疗的研究表现出了明显的偏见,尽管支持数据和倾向更传统的治疗方法[12]一样有效。抽签制度将消除这种偏见,甚至可能鼓励人们追求更具创新性和非正统的项目。

5,这样可以提高研究人员的士气。

正如Fang和Casadevall(2016)[11]所指出的那样,抽奖制度将“减轻……被拒的打击,因为相较于感觉一个人因缺乏优点而未能入选,它更容易为坏运气找借口”。同样,它可能会在那些从当前体制[1]中获益最多的人保持谦逊。

6,理论上与其他提高同行评审质量和减少偏见的举措

例如,双盲/单盲评审和对审稿人进行培训等相比,抽奖系统将更便宜、更容易组织。

而且它可能被证明更有效。有些人认为双盲/单盲是毫无意义的,因为审稿人在25%-40%的情况下可以成功地识别出作者。一项针对审核人培训效果的随机对照试验显示,审稿质量只有轻微的改善,而且随着时间的推移并没有保持。

7,它可以减少编辑的工作量。

在众多同样有价值的论文中做出决定是一项耗时的工作。在抽签制度下,编辑将不得不把论文分成两类:非优秀论文和优秀论文,这可能会节省时间和资源,因为所需的信息和争论会更少。

缺点

1,可能会影响公众对科学家的信任。

因为它可能被一些人视为科学界混乱甚至懒惰的标志。正如一位来自澳大利亚资助机构的工作人员所说,“这会让人觉得我们不知道自己在做什么。”同业评审过程受到了世界上大多数[15]研究人员的高度重视,对于许多非常认真对待他们的同业评审职责的人来说,抽奖系统可能被视为具有挑衅性。因此,使用这套系统的期刊可能会失去有价值的审稿人,因为审稿人,尤其是那些反对这一概念的审稿人,可能会拒绝审读那些命运最终将随机决定的论文。此外,读者,尤其是这个概念的反对者,可能会对“获奖”论文产生偏见。

2,不能完全消除偏见。

例如,在最初的编辑筛选或同行评审过程中,对作者的偏见仍然可能发生,这可能会阻止那些有潜在价值的论文进入抽奖环节。其他形式的偏见,例如,期刊倾向于积极的结果而不是消极的结果和同行评审欺诈[16]可能仍然是一个问题。

3,可能会削弱替代传统同行评审的新系统。

例如,开放的同行评审。Bedessem(2020)[17]是抽奖制度的反对者,他质疑这是否是“最后的解决办法”,这只会抑制而不是改革同行评审过程。近年来,进行了大量的同行评议改革[18],其潜在的好处和坏处还没有完全实现。抽奖系统可能会将投资和兴趣从可能更好的选择上转移。

4,勇于尝鲜的期刊可能会遭遇难以控制的稿件提交高峰。

抽奖系统可能会导致“随意”的论文发表增加。与此同时,如果作者只要求在抽奖中考虑一篇正面的评论,而不是审稿人和编辑的一致意见,这可能会导致不合格的审稿意见提交增加。或者,一些作者可以赌一把,反复提交一篇论文,直到它“被抽中”。

结论

具有讽刺意味的是,自从它成立以来,人们就相信同行评审是科学质量保证的最佳体系。当人们在20世纪90年代开始观察同行评审[19]的“黑盒子”内部,并对这一过程进行实证检验时,发现它无法被客观地验证。

在Daubert v. Merrell Dow一案中,美国最高法院裁定,同行评审不能作为科学专家证词有效性的明确证据[20讨论]。按照Drummond Rennie的观察,Drummond是年度国际同行评审大会和生物医学出版物的创始人,“如果同行评审是一种药物,它将永远不会被允许进入市场。”尽管缺乏经验证据来支持其价值[22],同行审查仍然存在。这可能有任何原因,例如,“既得利益”[21],或者可能是因为“变革的车轮转得很慢”,或者因为到目前为止还没有被证明的替代方案。

通常情况下,我们不能保证抽奖制度会比其他任何改革措施更好;然而,至少应该对其进行测试。正如Susan Guthrie所说,“在同行评审方面需要更多的实验和开放——反映了内在的局限性,以及在当前系统中已经存在的未被承认的机会元素”[23]。

 
 服务项目  关于我们  工作流程  公司新闻  客户反馈  写作技巧  联系我们  期刊推荐  
 
Real Time Analytics Real Time Web Analytics