Metric Tide 报告：责任指标能改变研究评价的未来

Metrics hold real power: they are constitutive of values, identities and livelihoods.

James Wilsdon,
in his foreword for The Metric Tide

指标和排名在研究交流占有重要的地位。总体来说，这两者是我们做的研究的大数据，反映了我们使用它们来了解当下趋势与模式的能力和需求，以便做出明智的决定。更具体的说，指标帮助检视研究的潜在影响力，藉此表现研究研究人员有多成功。它们还提供了一个框架来分析已发表研究和，找出传播开创性工作的期刊。然而，多年来泛滥而且不算经过筛选的研究评价指标，特别是引用指标，已经引起很多问题。例如，期刊影响因子被多数人视为评估期刊声誉的唯一可靠参数，在基金申请中占有重要的份量，同时被很多机构用来评价研究人员所发表的文献。导致很多研究人员和期刊为了保持领先地位而承受巨大压力，甚至意味着采取违反伦理道德的做法，像是捏造数据。另外一个最近的极端例子是伦敦帝国学院的 Stefan Grimm 教授的因为无法应付单位指标的巨大压力而过世，现在大部分都知道评价研究和学术表现的指标有很大的改进空间。

正是这个想法让英国高等教育基金委员会（Higher Education Funding Council for England，HEFCE）进行了研究评价和管理指标作用的独立审查（Independent Review of the Role of Metrics in Research Assessment and Management），此次审查由来自科学政策研究组（Science Policy Research Unit，SPRU）的 James Wilsdon 教授主持，并得到许多来自科学计量、研究经费、研究政策、出版业以及高效行政管理多个部门专家的支持。这个小组着手详细了解英国影响力指标的现状，包括潜在的应用及限制。他们同时会关注机构内部和学科之间如何使用这些指标。审查结果发表在 The Metric Tide 报告中，以下是部分发现：

• 指标可以被取代
  多年来，一些因素导致把研究重点错放在数字和排名上：专注放在高等教育和研究上的公共支出的责任；政策制定者要求评估研究质量和影响力；学术机构在研究管理策略的压力；研究机构、期刊和研究人员必须要名列前茅的压力；容易取得的评估指标信息还有可以用来分析指标的工具。
• 没有通用的衡量方法
  评价指标有几种定义、描述、计算以及使用方法。另外一方面，量化指标和替代指标可以帮助提高研究透明度和责任。但是过度依赖“有限且拙劣的指标，例如影响因子（JIF），会导致消极后果”（报告第 9 页）。业界对于直接使用量化指标有高度质疑，因此有必要设计和使用一个更严谨的指标。
• 研究界忠于同行评审机制
  同行评审系统是评价研究的一种比较老的形式，尽管有瑕疵，仍然是学术管理偏好的方式。通过建立和采用小心设计的量化指标，与同行评审相结合，可补充审稿意见，提供更全面的评估。
• 指标的建立和应用不足透明
  把重点错放在量化指标上可能导致这些指标被误用，需要正视这个问题好好处理。
• 管理指标的数据基础设施应该是强大的
  我们需要更好更精确的系统来管理数据收集和分析。目前，通过计算和应用指标的任务而推动的管理工作并不高效。在某些情况下，如果有可靠的评价指标可以使用，可能可以降低同行评审成本，不过不同的学科情况可能有所不同。
• 应该有更多关于研究的研究
  研究界需要关注很多问题，例如科学政策（我们为什么要资助？或我们要资助什么？）。科学指标界可以帮助提供可靠和灵活的量化指标确保更好的评估工作。
• 提出责任指标
  建立“责任研究和创新”（responsible research and innovation，RRI）的概念，报告提出“责任指标概念，在治理、管理评估研究时正确使用量化指标的方式”。责任指标的特点有：
• 稳健：以最精确的数据为基础，并且涉及范围大
• 谦虚：承认量化指标可作为辅助评价工具，但不能替代。
• 透明：数据收集和分析的过程是完全开放透明的，保证这些信息可以验证结果。
• 多样化：责任指标可以表现学科间的差异，采用不同的指数涵盖“多个跨系统的研究和研究人员的科研历程”。
• 自反：这些指标的潜在影响在经过测试之后，就可以更新。

责任指标的基本理念是，灵活具包容性、自反以及更贴近实际可用信息的量化指数。

遏制涌现的指标潮的建议

将责任指标作为基础，此报告对英国相关的研究领域提出了 20 项建议，包括领导、基金、管理、经营、信息基础设施、科研信息化管理和信息来源等。虽然很多建议是针对英国的研究，但是也有一些是适用于世界各地的科研管理。包括：

• 科研领域应重新审视对于量化指标作用的态度。
• 研究管理和评价的原则应该从制度层面定义和引导。研究管理人员应该宣传这些原则和责任指标的使用。
• 指标评价在职涯晋升还有学术招聘中的作用应该更清楚。
• 研究人员在使用量化指标为自己的履历加分时，应该更慎重。
• 资助人在使用指标来评价研究时，应该要有自己的原则，而不是直接采用现有的指标。
• 为了增加数据收集及分析的透明度，科研领域人士应采纳支持开放和可靠的研究管理的原则。
• 应该鼓励使用特殊识别码，例如英国现在强制使用 ORCID 。
• 出版商应该设定独特的 ID 和 ISSN ，让管理员能够顺利跟踪。研究机构也应该拥有自己的识别标志。
• DOI 的使用不该仅限于文章，应该延伸到科研领域的所有研究成果。
• 研究信息基础设备的投资应该要增加。科研资助者也应该在“科学政策的科学”上加码投资。
• 整体来说，研究信息管理基础设施应该要改善，才能更有效率。

这个历时 15 个月的项目，背后的想法是要提供科研评价指数的 meta 分析，同时也帮助研究评价程序规划未来的评价周期，例如卓越研究框架（Research Excellence Framework，REE），这个评价体系广泛地被英国高等教育机构采用进行衡量研究质量和影响力。然而作者 Wilsdon 等的观察和建议可能更适用于研究单位、资助机构、期刊和全球的研究人员。报告正确地指出，一刀切的方法不适用的；而是“以研究质量的角度思考，不是追求一个单一的定义或质量的测量”。另外，很显然在基本层面，责任指标是更加灵活、应用广泛和响应的研究评价系统，可以反映科学发展的动态本质。这一理念是否为涌现的指标潮指出一个新方向，并且使研究评价更可靠，还有待验证。

资料来源：

• Wilsdon, J., et al. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. DOI: 10.13140/RG.2.1.4929.1363
• Image designed by freepik.com