指标有办法取代同行评议，成为评价研究质量和影响力的方法吗？

指标的浪潮肯定在升高

英国萨塞克斯大学（University of Sussex）科学与民主教授 James Wilsdon

评估科学研究质量和影响力一直是研究发展界人员关注的议题，目前最主要的两个方法是同行评议和定量指标。同行评议，经验丰富的研究人员会对论文进行严格的批判，这个做法一直备受推崇，对研究质量注入极大的价值。已发表研究的定量分析有影响因子，为研究做出指标型评估。同行评议提供定性评估，指标提供影响力的定量指标。过去几年来，评估投入在高等教育和研究的公共开支的压力不断升高，评价指标的重要性更胜以往。指标在研究评价过程中尤其重要，比如英国研究卓越框架（Research Excellence Framework，REF）将定量指标与同行评议结合使用，用来评估研究影响力。

为了解指标在决定研究质量和影响力的角色，主导 REF 的英国高等教育基金委员会（Higher Education Funding Council for England，HEFCE）在 2014 年设立委员会，希望改善资助者以及政策制定人员使用定量指标的方式。研究评价和管理指标作用的独立审查（Independent Review of the Role of Metrics in Research Assessment and Management）在 2015 年 7 月发布了一份 The Metric Tide 的报告，此次研究由英国萨塞克斯大学（University of Sussex）科学政策研究组（Science Policy Research Unit，SPRU）的 James Wilsdon 教授主持，并有科学计量学、研究基金、研究政策、主编、大学管理与行政等部门专家的支持。报告探究研究指标的可能使用方式和限制，也着墨在一些重要的议题上：指标可以取代同行评议吗？同行评议和以指标为基础的替代指标能有平衡点吗？

科学计量数据可以帮助指出知识的进展，但是期刊影响因子和 H 指数这类的指标备受非议的原因是没有考虑更详细的研究定性要素，指标没有办法量化使用。大部分的研究评价新工具，像是替代指标和在线平台跟工具，都还在开发初期，因此报告建议不该在没有深度了解数据收集和分析的方式之前，过度依赖这些工具。Wilsdon 等人表示：「新指标和研究质量间的强力关系的证据有限，需要更多实验。」他们还补充表示：「那些提交证据，或是用不同方式参与评估的人都怀疑指标在研究管理中的角色有提升的可能。」 

针对指标是否可取代同行评议，报告检视了指标在不同研究文化中的应用性，比较同行评议系统和以指标为基准的替代方案，还考虑两者之间达成平衡的可能性。同行评议系统并非完美，但报告中说“（同行评议）是我们在学术管理上最不糟糕的形式，应继续保持为评价研究论文、企划和个人的主要方式，还有用于国家级评估，例如REF”。参与报告的人（26 则回应中，有 13 个回应支持同行评议）大部分都认为“指标不能被当成同行评议的替代，而是继续担任研究评估的‘金标准’”。报告也建议指标可以用来支持同行评审员“判断研究杰出程度”。各个领域的专家依然偏好同行评议。

报告收集到的证据显示， HEFCE 的 2008 试点项目探讨文献计量学潜力，发现文献计量学不够强大，无法及时取代 REF 的同行评议，因此报告建议指标不该在 REF 下次的评价中取代同行评议。

Metric Tide 报告主要宣扬的想法是：「指标应该是支持专家判断，而不是取代。」报告还提出“知情同行评议”，特定的文献计量学数据可以补充同行评议，根据评价分目标还有内容，进行全方位测评。

报告的一个主要意见是未来的研究评价需要有更成熟的研究系统，建立在进阶指标和知情同行评议之上。Wilsdon 等人总结道：「或许这些倡议可能产生新的“转化文献计量学”文献，可以充实知情同行评议的概念。」

Metric Tide 报告概述请见意得辑专家视点上另一篇文章：Metric Tide 报告：责任指标能改变研究评价的未来