我们对指标的痴迷正在破坏科学

作者:蒯羌

<p>并非所有可以计算在内的东西都计算在内,并不是所有重要的事情都可以计算在内 - 威廉布鲁斯卡梅伦最近几周澳大利亚大学一直在媒体上对海外学生的可疑待遇和抄袭问题但是他们在另一个人身上遇到了严重的麻烦原因:他们依赖“文献计量学”进行重大决策两家国际公司汤森路透和爱思唯尔评价了学术出版物出现的期刊的明显声望,以及其他作者提及它们的频率,即他们的引用二主要总结结果是Hirsch指数(或h指数),它反映了引文和期刊影响因子(JIF),据称反映了期刊评级的重要性,例如这些主导决策对学术促销,任期,拨款和部门和大学的地位由于速度的好处,它们已被澳大利亚的大学普遍采用,成本效益和所谓的客观性他们支持政府的澳大利亚研究卓越(ERA)由于这些指标,学术排名和政府对科学和大学的资助之间的联系以及对职业的潜在危害,这引起了国家的直接关注</p><p>研究的实施方式评级有很多批评者:在理查德希尔的书“Whackademia”中,澳大利亚国立大学校长Gareth Evans被引用说:试图让每个人都进行某种“世界标准”的研究 - 无论那意味着什么 - 注定是一个绝对荒谬,可悲的失败英国高等教育政策研究所所长Bahram Bekhradnia最近在“经济学人”杂志的一次采访中走得更远:他们听到[大学]总统的说法非常危险在世界各地这样说:我会做任何事来提高我的排名,没有什么可以伤害它的情况很严重,所以我们探讨了一些问题对于职业生涯破坏性的证据反复出现一个例子就是帝国理工学院Stefan Grimm教授的案例尽管有很强的出版记录,但Grimm因未达到资助目标而受到追捧</p><p>文献计量学也未能预测诺贝尔奖获得者在澳大利亚,机构要求出版物在选定的期刊中提高ERA的成功率,带来负面的个人后果在美国,期刊Science的主编总结文献计量学对于评估年轻科学家的潜力是完全不够的</p><p>可以预见的是,职业发展系统的博弈正在迅速增加例如,通过避免高风险或跨学科的研究以及通过将工作人员重新分类为“非”来提高工作人员来“激励”工作人员来对排名期刊中接受的最多14,800美元机构的论文进行出售共同作者身份-researchers“是最好的游戏,而不是最好的研究,导致最好的成绩</p><p>对JIF的实证研究揭示了它们的缺陷当地也有人员伤亡,例如澳大利亚人民和地方杂志,由于压力重组期刊以提高其在现已解散的ARC期刊排名中的地位,该地区已经停止使用</p><p>在排名,热门领域或热门话题中得分很高,以增加引用其他重要领域,如分类学被低估,未能吸引新的人才当整个国家或大陆的系统跟踪不佳时,研究和研究人员遭受了文献计量学的使用ERA为那些认为艺术,人文和社会科学不值得的大学提供弹药大学竞争购买,而不是成长,通过猎头的研究人员获得良好的成绩富裕的大学在声望中成长,但国家研究生产力几乎没有变化评估改进2010年ERA与ERA 2012之间的澳大利亚大学,Frank Larkins,副V.墨尔本大学校长观察到:令人惊讶的是,由于评估数据的有限变化,质量标准在如此短的时间内得到了如此大的改善,大学很快学会了如何玩游戏并将其提交调整为提高他们的分数相对较少的研究提供证据证明文献计量学实现了任何具有实际意义的事物,或者表明可能存在关于整个过程的致命循环 h指数是否只是衡量它所衡量的是什么而没有与学科或社会的价值研究有任何明显的正相关关系</p><p>除了高引用率之外,h指数是否表明任何其他指数</p><p>具有讽刺意味的是,需要进行科学和假设检验</p><p>例如:具有高h指数的研究人员是否比具有较低h指数的研究人员做出更重要的贡献</p><p>在国际上,反对派采取了旧金山研究评估宣言(DORA)的形式,....

下一篇 : Mandy Stefanakis