Kim Holmberg 博士:我们还没准备好用 altmetrics 来衡量研究影响力
现在几乎人人皆有使用社交网络平台,微博、推特 (Twitter)、领英 (LinkedIn)、ResearchGate、Mendeley等等,越来越多人开始讨论社交媒体互动对研究人员的好处。在这次的访谈中,我很荣幸能访问到这位对研究学术人员在线互动极具热忱的研究人员,谈谈用替代计量学 (altmetrics) 来捕捉研究影响力的潜力,他就是 Kim Holmberg 博士,为芬兰图尔库大学 Research Unit for the Sociology of Education (RUSE) 博士后研究员、英国胡弗汉顿大学 Statistical Cybermetrics Research Group 名誉研究员、芬兰奥伯学术大学信息研究学系副教授,他的研究领域包含替代计量学 (altmetrics)、网络计量学 (webometrics)、科学计量学 (scientometrics)、Web 2.0、Library 2.0和虚拟教育世界,也使用量化方法研究一般网络上还有特定社交媒体上的各种现象。Holmberg 博士发表过多篇期刊论文、书籍著作、会议论文集以及他基本最关切的主题的书籍:替代计量学和社交媒体时代的信息交换。
在本篇访谈中,Holmberg 博士谈到了社交媒体平台在学术人员建立人脉和机会上起到了关键作用。本次谈话的亮点则在 Holmberg 博士说明学术界正处于了解和探索替代计量学初期,现在要推定替代计量学是衡量研究对社会影响力的明确指标还言之过早。Holmberg 博士还谈到了以引用数据为基础的指标的主要问题,以及科研人员在使用社交媒体时常犯的菜鸟错误。
您的研究领域相当有趣,能跟意得辑专家视点的读者介绍下吗?
我的研究兴趣都跟两个东西有关:网络和量化研究方法。我只能说我热切地想要了解不同类型的网络现象,可以用量化方法调查的现象。科研和出版界生产和在线分享的数据如此庞大,这让量化方法选择变得非常简单。更准确点来说,最近我感兴趣的是替代计量学 (altmetrics),替代计量学调查在线学术沟通情况,研究产出(文章、数据等)在网络上被讨论、分享和提及情况,这些信息或许可以告诉我们该研究的影响力,或是该研究所收到来自学术圈之外的关注。
根据您的观察,科研人员使用推特时,最不一样的地方在哪里?
我会说科研人员使用推特的行为没有什么特别不同,有些将推特做为专业用途,有些则是私人用途,但或许,大部分的人是专业私人都有。这种二元性使得我们要判断科研人员使用推特的特性变得不太容易。
不同领域的科研人员使用社交媒体有什么不同吗?
是的,在我们发表的论文《Disciplinary differences in Twitter scholarly communication》中,我们发现了某些领域的研究人员使用推特进行学术沟通的情况高于其他领域。虽然我们的研究并没有涵盖所有的学科领域,但我们的结果清楚地显示不同领域的研究人员在使用推特上的差异。我们也根据这个结果,建议替代计量学在推特上应该要领域标准化。[Holmberg, K. & Thelwall, M. (2014). Disciplinary differences in Twitter scholarly communication. Scientometrics, vol. 101, no. 2, pp. 1027-1042. DOI:10.1007/s11192-014-1229-3.]
社交媒体在现今的研究合作上起到什么样的作用?
社交媒体在协助和促进研究合作上起到很重要的作用。通过学术社交网络或是社交参考管理,科研人员可以找到研究兴趣相近的同行,或是这些平台使用的演算法,指引用户到与他们发表的论文相近的文章,从而将科研人员连结在一起。社交媒体也可以促进研究合作的发生,例如,通过在不同社交媒体平台上的开放讨论,或是一同协作。
科研人员在社交媒体平台上互动的时候,有什么常见的菜鸟错误吗?
对于使用社交媒体平台的科研人员,一个建议是要记得这些平台都是开放给大众的(至少大部分都是),所以任何人都可以看到你发的帖,你分享的文章。虽然你可以创建私密群组,或是有些平台能让选择可见人群,但要一直记得你将哪些信息分享给哪些人看到还是不容易。基于这个原因,我的 Facebook 设置为完全公开,所有人都可以看到,而我也从来不分享什么东西给特定群组,我在发文的时候都会记得这些东西所有人都会看到。我会注意我说的话,确认我有表达出我想要说的信息,这也能提高该平台对于我的用途的效用。
大部分社交媒体用途相关的讨论都集中在科研人员身上,那么学术出版界的其他人可以怎么样利用社交媒体呢?例如学术单位、图书馆、基金单位、期刊、出版社等等。
我认为这些单位已经在用各式各样创新的方式在经营社交媒体。以图书馆来说,他们是使用社交媒体的第一线,事实上几年前受到热议的 Library 2.0 现象就是关于图书馆利用社交媒体来连结他们的客户并宣传图书馆服务,这甚至比替代计量学的概念还要早出现。图书馆可以用社交媒体平台来宣传学术工作(论文或是其他类型的学术产出),与客户、用户、读者或关系人互动。
现在的替代计量学中,有哪些指标被用来衡量研究影响力?有效吗?
我说,现在还不该用任何替代计量学指标来衡量研究影响力,因为我们根本还没准备好。我们对替代指标做为研究影响力指标的理解有限,虽然在加拿大蒙特利尔、荷兰莱顿、英国胡弗汉顿、美国布卢明顿、芬兰图尔库等地都有单位在进行这方面的研究,在数据质量和影响力衡量标准上仍然有许多问题需要解决。有许多关于替代计量学数据普遍化的问题,而要完全了解替代计量学(如研究论文在推特、Reddit 或 Facebook 上被提及)反映了什么,我们需要一个靠谱的系统,了解更多这些人通过与科研产出相关的互动(如分享文章或在微博中提到文章)产生的替代计量学事件,还有他们分享到什么程度。我想,目前替代计量学最大的用处是展现在网络上得到许多关注的特定研究。替代计量学也可以找出在学术圈外受到关注的研究,而这是使用引用来评价研究影响力时一般不会看到的。替代计量学还可以用来创造研究的叙述,如谁用什么方式分享讨论研究,但在我们能说替代计量学是靠谱指标,或是我们可以用替代计量学衡量研究之前,还需要更多的研究。
现在替代计量学越来越受欢迎,但也有许多科研人员有所迟疑,根据您的观察,科研人员对于用替代计量学来衡量研究影响力,一般常见的误区有哪些?该怎么处理?
我想其中一个问题是“替代计量学 altmetrics”这个词本身涵盖的面向太广了,有这么多不同的平台和来源可以让我们追踪和搜集研究产品被提到的信息,其中有部分是用作研究评价用途的潜力来源,但有些可能连用都没法用。因此知道这些不同平台和来源间的差异是很重要的,还有,虽然推特是替代计量学事件的大宗数据来源,但并不是唯一来源,也肯定不是最靠谱的来源。
以引用为准的指标有什么问题?反过来说,替代指标有什么缺点?
以引用为准的指标有三个主要问题。第一个是这些指标只看研究论文,现在是数字时代,研究产品可能有很多种形式,有数据集,也有简报、计算机源码,还有研究论文等等,这些研究产品都该算进科学贡献之中,但却只有研究论文是“重要”的。还有,不同领域的发表和引用传统有很大的不同,有些领域比起科技期刊,更常发表书籍著作或是会议论文集。
第二个问题跟时间有关。从研究想法的构成到产生可供他人引用的正式发表的研究论文,学术沟通实际发生的期间是很长的。要用引用数来评价研究影响力时,我们需要等几年的时间让引用数累积到一个程度,或是我们用文章发表在哪个期刊来判断。前者是衡量过去成就的方法,但后者只是对于论文未来的影响力进行大概的预测。
第三个问题是以引用数为准的指标应该是看其他科研人员的引用,才能显示出科研界是如何使用已发表的研究,才能成为研究所产生的科研影响力的指标。同时,现在也有越来越多人要求展现研究在更广的层面上的社会影响力,例如对经济的影响、对健康的影响、对文化的影响、对教育的影响或是对环境的影响。
替代计量学或是我们常说的 altmetrics 目前的缺点主要跟数据质量有关。这部分已经有在处理了,例如国家信息标准化组织 (National Information Standards Organization, NISO) 已在进行相关工作,但这部分还是有很多工作要做。另一个缺点是我们并不一定知道某个替代计量学事件产生的背景是什么,是对研究的褒奖还是批评。
衡量研究影响力最好的方式是什么?
同行评审。只有通过同行评审才能评价研究的影响力,但是同行评审没有办法大规模运用,呃,或许可以,但会很贵!因此,我们需要其他的方式。以引用为基础的指标可以为同行评审提供帮忙和支持,而替代计量学(目前)可以找出有意思的研究,或是值得受到更多审稿人关注的研究。
您认为哪个平台对研究人员比较有用?是像推特这种比较广泛的平台还是像 ResearchGate 这种科研专门的论坛?
这要看你怎么定义“有用”。是要触及更广泛的群众吗?那么我会说是推特。是要让你分享自己的工作给其他科研人员,或是认识其他做类似工作的科研人员吗?那么我会选择学术社交网络平台,或是社交网络管理平台。所以,这一切要看你想要达成的目标是什么,如同我们所看到的,科研人员将社交媒体用作各式各样不同的用途。
您觉得社交媒体和研究圈的关系接下来几年会如何发展?
社交媒体会成为固定的存在,而我们也会接受这个事实。但没有什么是永久的,虽然某些平台可能会不见,会有其他平台出现并取代。在不久之后的将来,我认为会有越来越多的科研人员看见互动带来的好处,(为了不同意图)开始使用社交媒体平台。
【非常感谢 Holmberg 博士接受意得辑专家视点的访问,与我们分享这么多有意思的观点!】