选择影响:新数据戳穿旧信念

学术出版领域的一个最坚定的信念是,寻求高影响因子(IF)的期刊应该是高度选择性的,只接受被预测会变得非常重要和新颖的论文,因此可能会吸引大量的引用。结果是,所谓的顶级期刊拒绝了它们收到的90% -95%的稿件,迫使这些论文的作者在更“专业”、影响因子更低的期刊上重新提交,在那里他们可能会找到更容易接受的归宿。

不幸的是,学术出版界大约2万种期刊中的大多数都效仿了他们的做法。所有这些都提出了一个问题:这种策略有效吗?有证据证明它不会。

在图1中,我们绘制了2014年期刊引文报告(Thomson Reuters, 2015)中随机选取的570种期刊的影响因子,以及它们公开公布的拒稿率。

rejection-rate.png

图1:570种公开声明退稿率的期刊(来源见下文,要查看完整数据,请点击在这里).影响因素来自汤森路透期刊引文报告(2014)。(y轴为对数刻度)。

正如您所看到的,图1显示了拒收率和影响因子(r2= 0.0023;我们假设570种期刊的样本足够随机,可以代表完整的数据集,因为它跨越了各个领域和出版商)。事实上,许多高拒收率的期刊其影响因子较低,许多低拒收率的期刊其影响因子高于大部分拒收率为70-80%的期刊。显然,选择“赢家”是困难的,认为获得高影响因子只需要高退选率的想法是错误的。

当然,一些被拒收率为90-95%的期刊确实达到了非常高的影响因子——它们在图的右上角被描述。批评者认为,他们可以通过优先考虑知名作者和可能赢得广泛接受的报告(即安全地在科学教条之内)来实现这一目标——保证立即从社区引用。结果,许多突破性的论文被第一次提交的高影响因子期刊拒之门外(见参考文献1-3)。另一个原因可能是,它不可能在专业期刊上获得高的影响因子,因为论文只在一个学术学科的竖井中可见。事实上,影响因子最高的期刊是那些根据他们的“普遍兴趣”预先选择论文的期刊。

但抛开这些考虑,残酷的事实依然存在。为了设计高影响因子,大量高质量的论文被牺牲,但这一策略在绝大多数期刊上都失败了(一些影响因子最低的期刊拒绝了60-70%的论文;在期刊引文报告(JCR)索引的11,149种期刊中,80%的影响因子低于1 -请阅读我们的影响力总结博客.更重要的是,一些期刊确实达到了前90名的影响因子th没有试图预先选择最具影响力的论文和没有高拒绝率的百分位数,这表明影响中立的同行评议是可行的。

最近的一份期刊排名进一步证明了影响中立的同行评议是可行的。由最年轻的数字时代OA出版商Frontiers出版的期刊,其影响因子迅速上升至前百分位(参见我们的影响力总结博客).更重要的是,这些期刊产生的总引用数已经开始超过10年甚至100年的期刊。期刊中文章的总引用量反映了部分建立在这些文章知识基础上的新研究的数量。例如,在JCRs的神经科学类别中,这个领域神经科学前沿在2014年产生了更多的引用(在2015年JCR中报告),超过了所有其他开放获取期刊在这一类别和3理查德·道金斯与该类别的所有期刊(包括所有订阅期刊)相比,总引用数最高的期刊。另一个例子是心理学领域。在短短4年的时间里,这本杂志不仅成为了世界上最大的心理学杂志,而且在心理学学科中也产生了第二高的引用数(仅次于Frontiers In人类神经科学).其他前沿期刊(在药理学生理学微生物学而且植物科学)遵循相似的模式(参见影响总结博客).

在《前沿》中,我们的“影响中立”同行评审是严格的专家评审。与“影响选择性”同行评议的主要区别是,编辑和审稿人不被要求尝试和预测论文的意义。前沿使用它合作的同行评审以及它的在线互动论坛,以加强作者和专家审稿人之间的互动。高质素的编委会(见我们的编委会人口统计数据)帮助最专业的审稿人与提交的论文匹配。

根据我们过去8年进行影响中立的同行评审的经验,为了确保只有可靠的研究被发表,拒绝率高达30%是合理的。我们还得出结论,由Frontiers提供的专业协作同行评审过程是获得不同学科高质量和高影响力期刊的一种非常有效的策略。我们很兴奋地看到,当同行评议聚焦于提高论文质量,而不是拒绝论文时,总被引量可以达到多高。

事情不会就此结束……

当我们通过按场归一化影响因子来删除场分量时会发生什么?相关性的缺失是否仍然成立?发现在第2部分


参考文献

  1. J. M.坎帕纳里奥,《拒绝和抵制诺贝尔级发现:诺贝尔奖得主的记述》科学计量学,Vol . 81, pp. 549-565, 2009.11 // 2009。
  2. R. Walker和P. Rocha da Silva,“同行评审的新趋势——一项调查”,神经科学前沿,2015年第9期。
  3. A. Eyre-Walker和N. Stoletzki,“科学评估:发表后评审的相对优点、影响因子和引用数”,《公共科学图书馆·生物学》上,第11卷,e1001675页,2013。
  4. 退稿率的来源(按发行商):

36关于选择影响的评论:新数据戳穿旧信念

  1. 也许你应该看看与汤森路透(Thomson Reuters)谈判的影响因子(Impact Factor)的预测能力。大量的轶事表明,这样的谈判能产生奇迹:
    http://blogarchive.brembs.net/comment-n817.html

  2. 您能让您的数据和方法免费访问吗?谢谢!

  3. 你能把数据提供到某个地方下载吗?

  4. 我对最左边的那些最高的期刊很好奇;我不认为存在if值为7或8、退稿率为1%或2%的期刊。但可供下载的数据似乎并没有指明任何期刊的名称。我想,如果这个保守得很好的秘密泄露出去,他们的拒收率将会上升,因为他们会被那些没有注册DORA的人提交的文章淹没,而这些人非常渴望一篇if >7的论文

  5. 我知道这是一个很多的要求,但如果它是可用的,它是否可能也包括日志名称的数据文件?

  6. 注意,缺乏相关性可能意味着缺乏因果关系,但这肯定不能证明这一点。我们不知道如果这些杂志降低退稿率会有多糟糕。

    非常感谢您发布的数据。不幸的是,如果没有期刊名,它们几乎是毫无价值的,因为我们所能做的只是验证原始回归——人们无法查看期刊类型、大小等方面的趋势。你能发布一个带有期刊名称或ISSN编号的版本吗?如果这个新版本因为版权原因而遗漏了影响因子数据,那也是可以的。

    • 感谢这篇有价值且有趣的分析。我认为可视化令人信服地表明,对于影响因子< 5的期刊,拒签率与影响因子无关。对于影响因子≥5的期刊,我认为您将看到更强的与拒签的正相关,尤其是在样本量较大的情况下。

      我要感谢你发布的数据在CC-BY许可证下。然而,我很失望地看到数据集中省略了期刊标识,“因为目标不是指向任何特定的期刊,而是更好地理解总体关系。”由于数据已经是公开的,只是没有聚合,我看不出隐藏期刊身份的好处。特别是,我非常感谢您辛苦收集的拒绝率,并将有兴趣将其纳入我未来的数据科学。然而,如果没有日志名称(最好是像ISSN或NLM ID这样稳定的标识符),大多数用例就会丢失。

      • 詹姆斯·劳埃德/ /2016年2月7日凌晨2:56//

        完全同意期刊名称应该和其他标识符一起包含,这样数据才能被充分利用。如果按学科领域进行细分会很有趣,因为与我交谈过的人都怀疑这是否是一个因素。

  7. 看看数据,它们可能对IF在6以上有一些影响…

    如果加上订阅的价格,就更清楚了,价格与拒绝率无关。这是相当的事情,因为大多数大的玩家会用这个借口(被接受的论文需要为被拒绝的论文付费)来要求巨大的APC!

    很有趣,不是吗?

  8. 詹姆斯·劳埃德/ /2016年1月12日凌晨2点21分//回复

    这太有趣了。我对此感到震惊,但并不惊讶。

    但我希望看到表格中的期刊名称,这样我就可以更仔细地查看数据。Field也很有用,但我知道这可能很难添加。一个朋友建议,一些期刊可能会收到很多自动生成的假论文提交。你认为这会对某些结果产生偏见吗?

  9. 将数据细分以排除退稿率极低的期刊,揭示了显著的(尽管微弱的)相关性。所以不是“绝对没有相关性”,而是分析得出的结论几乎没有变化,我认为。看到https://twitter.com/robjohnnoble/status/686910201220431872

  10. 好吧,我当然希望上面那些主张查看数据子部分的人不会这样对待他们自己的数据:
    -得到一些数据,没有发现结果
    -不断删除数据点,直到你找到一个结果。

    如果这是你做研究的方式,那就没有必要收集任何数据:如果你只想选择你喜欢的数据点,你还不如用photoshop绘制你的图表,你就会得到你想要的任何东西。

    任何人都可以很容易地选择上面的数据,以任何方式获得高度显著的相关性。这不是科学,这是艺术。绘制数据很容易。做科学是很难的。

    • 同意了。我并不是说这种子集分析可以得出除了数据可能不是完全无模式之外的任何结论,因此可能值得进一步探讨这个问题。也许有一个有趣的趋势被协变量的影响掩盖了,比如期刊专业或出版模型。也许不是,但也许值得研究。

    • 比约恩,这并不是一个特别令人信服的辩护,从JCR的次采样数据(随机样本?真的吗?为什么不使用所有的数据呢?子样本是如何生成的?)并且现在不会告诉我们数据集中包括哪些期刊。

      • 我不需要为这篇文章辩护,因为查看子样本甚至不是一种批评。我想说的是,在没有非常有力的、铁证如山的论据的情况下,从样本中挑选数据点,往好了说是滑坡效应,往坏了说是不当行为。后果自负。

    • 比约恩,也可能是生态谬误在起作用。很有可能,假设在每个子样本中都完美地成立,但在观察所有数据组合时就消失了。(抱歉这么晚才发表评论)

      • 当然可以。In this case, however, it’s probably going to be very difficult to define even one subsample that all here would agree on, let alone find an objective way to subsample. I, for one, would imagine I could poke a hole in any subsample of the above you may propose

  11. 这是疯狂的。左上角的“异常值”都是爱思唯尔的期刊(除了一本《前沿》期刊)!

    5.84, Rej率0%:Curr Op胶体表面科学- Elsevier
    7.117, Rej率1%:Curr Op Biotech - Elsevier
    7.037, 13%:神经内分泌学前沿
    7.776, 37%:胶体与界面科学进展,爱思唯尔。
    7.237, 22%: NMR的进展- Elsevier
    8.235, 57%:冈瓦纳研究-爱思唯尔
    9.992, 58%: Prog Neurobiol - Elsevier
    12.239, 31%:配位化学转速-爱思唯尔

    图中央的那个离群点呢?27.417, 58%:材料科学的进展,由-继续,猜猜!

    我无法识别81% / IF 15的半格拉姆数据点。但如果数据是正确的,我愿意推测出版商的情况!

    (右上方的异常值是通常的怀疑对象-自然,科学,NEJM, JAMA等)

  12. 这些期刊是什么领域/学科的?我不禁想知道,与非选择性医学杂志相比,影响因子较低的选择性社会学杂志是否解释了这种关系的缺乏。你链接到的数据不包括期刊的标题(甚至不包括领域/学科)。

  13. 一个可能的混淆因素是不同学科之间的引用率差异巨大。例如,数学是一个引用密度非常低的领域,而神经科学是一个引用密度很高的领域。如果逐个学科重新分析这些数据会发生什么,这将是很有趣的。

  14. 比约恩,我想我们基本上是一致的。

    我最主要的担忧是,Frontiers杂志自己发布了JCR的一个子样本,在不知道该子样本中包含了什么数据的情况下(正如你我都要求的那样),很难从他们的结果中得出明确的结论。

    为Rob辩护的是,鉴于我们不知道Frontiers是如何选择这些数据的,我认为从决定是否认真对待他们的结论的角度来看,做一点探索性的数据分析,看看这些数据对各种操作的鲁棒性,似乎完全值得。

    • 我同意你们俩的看法。子抽样的目的是质疑原始结论的稳健性,并产生博客文章中没有提出的假设。例如,外语期刊(读者群较少,因此影响因素较低)或纯评论期刊(由于论文佣金,拒收率较低)的加入是否会扭曲这种模式?我的猜测是,这一结论将会成立,即使是在比较的期刊之间(即那些可能竞争一篇文章的期刊)也没有太多的相关性,但如果无法获得完整的数据集,我们无法确定。

  15. 也许影响因子不起作用?

    因为它只关注期刊,而不关注会议等其他来源。

    IF至少在我的领域是没用的。

  16. 我想知道一个只发表邀请评论的杂志是否会获得非常高的影响和低的拒绝率。因为如果被邀请的评论是被邀请的,为什么要拒绝呢:-)评论通常会收到很高的引用率,而评论期刊如Trends in等等或Progress in等等都是纯评论期刊,if很高。也许这个问题之前已经讨论过了,或者我误解了。如果没有,也不会急于发表这些期刊,因为只有受邀的评论才会发表。

  17. 由不同来源实现的影响因子计算在如何构建方面可能有所不同(各种“可引用元素”可以分类在不同的类别中以改变整体度量),而且方法很少被透明地描述,因此它不是一个客观的度量。相对于它的使用方式和这个数字在学术界的重要性,这个指标有几个明显的不足:

    1.它对整个期刊进行评级,而不是对个别文章进行评级。(然后用来对在该期刊上发表文章的个人进行前瞻性评价)。

    2.它包括评论文章,这真的应该与主要研究分开一个不同的类别。

    3.它纯粹基于引用数量(然后推断出质量)。这只是衡量一份期刊的受欢迎程度或“潮流”潜力,而不是它对科学的影响。

    它充其量只是期刊众多描述性统计数据中的一种,无法捕捉重要研究文章的许多特性。

  18. 另一方面,测量(如果可能的话)有多少被拒绝的论文所提供的参考文献要比被接受的论文多得多,这将是很有趣的。众所周知,这不是盲目的选择,包括重要机构的作者在内的论文都会被优先选择。

  19. 仔细研究作者得出这些发现的方法在这里是没有帮助的。这篇文章的说法有一定道理。期刊以高退稿率作为保证质量的一种手段,这种思维模式必须加以检查。编辑和审稿人应该对稿件的科学/研究合理性进行审查,但不能达到故意找错的程度。此外,过度审查发展中国家手稿的习惯仍然很普遍。

  20. 我对SPSS中提供的数据进行了分析,结果有很大的不同。我得到的R平方值为0.021,p值(双尾)为0.001。然后我在Excel中运行测试,因为原始图表似乎是用该软件完成的。同样的结果。我的分析表明,两者之间存在微弱但显著的相关性。也许作者可以提供更多关于R平方值0.0023是如何得到的信息?

  21. 优秀的阅读文章,感谢分享

17 Trackbacks / Pingbacks

  1. 期刊被拒与其影响因素的关系- ScienceOpen博客
  2. 为什么我们乐于拒绝完全有效的研究?——罗斯Mounce
  3. 最近的新闻在|神经生态学杂志
  4. 前沿博客预测增强的服务将是学术出版的未来
  5. 改变方式:高影响力,快速决策和合理的拒绝率在学术出版-前沿博客
  6. 我爱你,爱你,爱你artículos我爱你,我爱你,我爱你,我爱你
  7. 拒绝的痛苦:拒绝率和影响之间没有联系吗?| quantixed
  8. 前沿APCs:结构和原理-前沿博客
  9. 我的爱,我的爱,我的爱artículos我的爱,我的爱,我的爱,我的爱,我的爱,我的爱,我的爱,我的爱
  10. 新数据揭穿旧观念:第二部分-前沿博客
  11. 1 -根据影响选择论文:新数据揭穿旧信念(2015)
  12. 欧洲部长们在前沿博客上说,到2020年,科学论文的开放获取将是默认的
  13. 为你的稿件选择正确的学术期刊|学术语言专家-英语
  14. 实现大规模的质量——一个可行的出版挑战?——前沿的博客
  15. 边疆发表第5万篇文章-边疆博客
  16. 威利界面-研究提交提示
  17. 8个小贴士,确保你的行业赞助的研究提交抓住期刊编辑的注意-威利企业解决方案

留下一个回复

% d博客是这样的: