到底是谁在欢迎AI进入同行评审？
2024诺贝尔物理学奖和诺贝尔化学奖均与人工智能领域相关，AI跨界，成了最大赢家。这也预示着，宇宙的尽头是AI，交叉学科将成为未来趋势。
今年的Science Talks，意得辑和科学网联袂邀请了5位国内外学术专业人士和同行评审专家，以AI为主旋律，在线探讨“人工智能与人类视角——同行评审的前景与忧思”。
本次问答活动收到了大家的热烈欢迎，共收到了200多条提问，可见大家对新科技在学术领域和同行评审领域应用的密切关注。
参与讨论的嘉宾包括科学网知名博主复旦大学张军平教授和华北电力大学陈哲教授，另外，还有2024国际同行评审周委员会三位联席主席：匈牙利德布莱森大学地质学副教授Gareth Dyke博士 ，亚洲科学编辑委员会传播总监、开放科学中心大使Maryam Sayab女士，Storytelling for Science品牌创始人Maria Machado博士。
各位专家以文字形式解答了网友提出的各类精彩问题，小e把问答分成四个AI学术专题，今天我们探讨“AI在同行评审中的应用”。
下面，让我们一起走进这场科技与学术的碰撞之旅！
01
Q：是否有成功案例显示AI已被应用于同行评审过程？在这些案例中，AI的表现如何？
张军平：在人工智能顶会的评审里，似乎有人在用AI评审，组委会也会提醒评审注意。
Maria Machado：在查重环节，许多工具依赖AI进行文本识别，表现非常成功，得到了出版商和高等教育机构的信任。
Maryam Sayab: 是的，同行评审已有AI引入实例，尽管我们仍在探索AI的全部潜力。AI工具正越来越多地用于协助完成查重、分析统计数据，甚至识别利益冲突或道德问题等任务。一些平台已开始使用AI来标记重复投稿，或提供初步评审，帮助编辑标记优先稿件的优先级。评估这些AI工具的关键指标是它们对审稿人的补充作用，而非取代审稿人。
AI可以快速、准确地处理重复耗时的任务，但衡量其成功与否的标准是，它是否有助于提高审稿流程的整体质量和公平性；能否发现人工审核可能会遗漏的问题；处理大量数据的效率如何；以及是否能在不引入偏见的情况下加强决策能力。
我们的最终目标是确保AI工具在同行评审过程中发挥重要的辅助作用，提高透明度、效率和一致性，同时保持必要的人工监督，以保持较高的学术标准。
Gareth Dyke：不完全是，但有一些很有前景的应用，如World Brain Trust，还有像意得辑旗下产品Paperpal，被用于稿件提交前的检查，也是AI在学术出版领域的一个有益尝试。
02
Q：若启用人工智能进行同行评审，作者们会接受这种变化吗？这是否会对科学不利，因为创新会减少。作者们是否会开始有意识地调整自己的写作风格，以迎合人工智能的评审偏好？
张军平：好问题！事实上，目前的围棋领域已经开始出现阿尔法狗单一风格开局的趋势了。AI会不会导致论文写作单一化，我觉得存在这个可能性。
Maryam Sayab：是的，这可能会导致学术写作的同质化，也会扼杀学术交流的创造性和多样性，因为作者可能会为了满足AI驱动的标准而优先考虑一致性而非原创性。我们不妨研究如何确保AI工具的设计能够欣赏多样化的写作风格，促进学术出版的创新，而不是制造僵化的规范。
03
Q：AI审稿是否仅限于执行如去重、计算等无倾向性的简单任务，而无法对文章的创新性和可行性做出判断？
张军平：有软件在做创新性和可行性的评估。比如AI做的论文总结、论文比对，从某种意义就能做创新性和可行性的评估。
Maria Machado：AI工具可用于扫描文献、分析主题并发现研究空白，还可帮助查找相关论文、检查是否遵守指南以及编写或编辑审稿报告。
Maryam Sayab: AI工具越来越多地被用于同行评审中，通过简化耗时的评审任务达到优化流程的目的。这些工具可完成以下任务：匹配并找到合适的审稿人，初步筛选涉及抄袭和图像处理的稿件，识别潜在的利益冲突，甚至评估稿件的清晰度和可读性等。
然而，虽然AI可以判断文章技术合理性或结构，但对创新性和可行性的评估仍然在很大程度上依赖于专业同行的判断。AI可以提供协助，但对一篇论文是否真正推动了知识的边界或提供了实际解决方案，是否富有创造性和批判性的评估仍然牢牢掌握在有经验的评审者手中，这对于学术诚信和发展至关重要。AI应被视为对同行评审者带来细致判断的补充，而不是替代。
Gareth Dyke：我会使用AI工具检查文章，但不会进行全面的同行评审。同样，我会使用AI工具来检查和评估文章的某些部分，如统计数据和语言表达上，但不是全部依赖。
陈哲：我认为AI可以检测重复、总结文献、发现这种材料有没有报道，但核心的创新性，仍需人类智慧进行判断。
04
Q：相较于人类而言，AI还无法做出细微判断、积累经验和理解语境。在评估研究质量时如果出现错误或误判应该怎么办？
张军平：目前最理想的方法是采用人机结合的方式。考虑到大多数审稿工作是由志愿者承担，如果审稿压力过大，人工智能只可作为一个参考。如果完全依赖AI评审，那么被评审的论文质量可能不会太高。
Maria Machado：应将AI作为辅助判断的工具，而非依赖它来进行最终评估。在高度结构化并依赖报告指南的领域，AI工具可能会承担检查合规性等繁琐任务，从而解放人类评审员的精力。这样，评审员可以更专注于评估论文的原创性、现实世界的影响以及创新潜力，从而确保评审的全面性和深度。
虽然AI工具可以帮助确保文档内部的一致性，但涉及文档外部的语境或现实世界的知识时，AI可能会出现理解不足的情况。例如，有一篇博客提到AI无法识别一篇明显有缺陷的论文设计，该论文只是将“男性”替换为“鸽子”，将“女性”替换为“人类”，比较“人类外科医生”和“鸽子外科医生”，而AI没有发现其中的荒谬之处。因此，涉及复杂语境理解的论文，可能在使用AI评估时会存在较大误差。
Maryam Sayab：如果AI在评估稿件质量时出现错误，就必须让人类评审介入，发挥经验，提供研究背景。AI工具可以很好地处理常规任务，但它们缺乏人类专业知识所带来的细致入微的理解。为了减少错误，应将AI作为辅助工具，而不是最终决策者，并确保在评估研究质量等关键领域始终有人工监督。
如果发现错误，应仔细检查AI的输出结果，纠正问题，并完善工具参数，以提高准确性，AI工具的目的是让审稿人（主要是编辑）能够快速完成繁重的工作。AI的建设性用法是让它帮助你，节省时间，而最终的判断分析则始终由审稿人完成。
如果没有适当的语境理解，AI在评估研究质量时可能会出错，特别是对于那些严重依赖于微妙理解的论文。与其他情况相比，这种错误判断的风险更高。
Gareth Dyke：我们需要谨慎使用人工智能工具。这就是为什么将人工智能与自己的专业知识结合起来使用很重要，而不是将它作为替代自己的工作和技能的手段。他们将会进入更多咨询/检查/最终决策的角色……
05
Q：在审稿的关键环节，是否应该减少人工智能的参与？毕竟现在人工智能的水平还不是很完善，大概率会影响评审的准确性。
张军平：AI可以进行基本判断，但是否合理主要看人类评审自己的经验。所以，辅助使用没什么问题，不能完全照抄。
Maria Machado：正如所有AI应用一样，最终的责任仍在于人类，审稿的关键在于评审者。评审者的职责是确保评审的完整性、准确性，并遵守伦理规范。
Maryam Sayab：如果只在某些环节负责任地使用AI，就像我前面提到的初步筛选和审稿人匹配等，一切都会很顺利，完全不会影响审稿的准确性。此外，内容评估部分应由人类审稿人完成，以确保内容质量和新颖性。
Gareth Dyke：我希望如此，人工智能是用来检查和验证的，而不是同行评审的核心内容。同行评审应该由你所在领域的顶尖研究人员根据观点进行评审。
陈哲：我了解到审稿的环节并没有很多人工智能参与，还是编辑评价决定。
06
Q：Ai可以写评审意见么？
张军平：可以写，实际情况中也能看到有疑似使用的。
Maria Machado：我希望未来翻译工具会在这一方面发挥更大的作用。
Maryam Sayab：是的，AI工具正越来越多地被用于协助攥写同行评审意见，尽管它们还不能取代人工评审。AI可以通过识别不一致之处、确保完整性、语言和语法检查，尤其是克服语言障碍来提供帮助。
陈哲：我认为可以。但是如果审稿人将任务完全交给AI撰写，那是不负责任的表现。
07
Q：在同行评审中采用新技术的主要挑战或障碍是什么？
Maria Machado：我认为是同行评审过程本身的黑箱性质。很多研究人员都不知道，向期刊提交论文背后发生了什么。如果将这一过程自动化，就会更加缺乏人的元素。因此我认为，在同行评审中引入新技术的关键在于让研究人员参与到出版和同行评审过程本身，这样他们就能亲身体验到某些技术的优势所在。
Maryam Sayab：面临的挑战包括：
– 人们对于变革天然产生的犹豫和抵触情绪。
– 新技术需要花费时间和金钱，这就需要机构持续提供支持，让审稿人感到安心。
– 对于AI工具的可靠性存在担忧，即它们是否能够真正保障评审的质量和诚信。
为了解决这些问题，不仅需要证明这些技术的有效性，还要确保它们的作用是补充和协助人类，而非替代。
Gareth Dyke：我认为，研究人员乐于看到自己的论文由AI润色，甚至部分由AI撰写，但他们似乎并不乐意看到自己的工作由AI进行同行评审。
08
Q：机构和出版商可以如何帮助审稿人和编辑适应这些技术变革？
Maria Machado：用户体验在其中扮演着重要角色。技术越先进，使用体验最好越直观，新技术的采用才能越顺利。不断适应、寻求和采纳反馈意见，适应出版业不断变化的形势，是一项长期而艰巨的任务，学术机构要努力，出版商要助力提供专门的支持。上一次大学出版社对自己所在机构的研究人员进行同行评审培训是什么时候？培训结果有如何？
Maryam Sayab：为编辑和审稿人提供支持是在数字化转型中站稳脚跟的必要条件。机构和出版商可以通过以下方式提供支持：
– 提供培训
– 提供持续的技术支持
– 鼓励采用新工具
– 审稿人参与技术的开发和测试。
09
Q：在您看来，同行评审中最具前景的技术进步是什么？
Maria Machado：我最近了解到 Razia Aliani 开发的同行评审 GPT，这是我迄今为止见过的最复杂的AI工具。它确实可以帮助研究人员按照编辑标准针对性修改稿件……不过，我对批判性推理、发散性思维、创造力和真正的创新性还不太确定……
Maryam Sayab：同行评审领域最令我兴奋的技术进步是AI驱动工具，这些工具正在改变同行评审流程，例如，它们能够快速识别潜在的抄袭或图片篡改情况。展望未来，我认为这些工具未来将会成为不可或缺的存在，它们将加快同行评审的进程，并提高同行评审的整体质量。
Gareth Dyke：目前，同行评审是一个很简陋的流程，它的运行都是基于编辑邀请的评审人的专业知识展开的，技术含量并不高。因此，无论是从期刊和编辑的角度，还是从被邀请评审的研究人员的角度来看，都有很大的改进空间。
不过我想说的是，无论我们引入多少技术，同行评审的核心仍是研究人员的专业知识。我希望看到技术能够减轻每个人的负担，而不是试图取代同行评审员本身。
因此，AI工具在送交同行评审员之前进行初筛是非常有用的，例如，润色、查重、检查数字一致性和篡改问题，甚至是数据检查，诸如此类，已经得到广泛应用，并能够减轻同行评审的负担。尤其是对于那些母语不是英语的评审来说，这些工具能够用其他语言对论文进行总结，甚至允许用其他语言进行同行评审，然后再用英语提交给作者。
我希望看到这些工具塑造未来，让同行评审变得更快、更容易，同时确保诚实可信——让“坏人”更难玩弄这个系统……确保发表研究成果的最终质量。
在科技的浪潮中，尽管AI的触角不断延伸，但对于同行评审来说，人类专家的深度与温度仍然是学术评价中不可或缺的存在。
希望在接下来的人工智能系列问答文章中，大家可以持续关注我们，积极互动，让我们为您解答更多的AI提问。
如果您需要关于SCI论文投稿指导与协助，欢迎访问意得辑官方网站，我们将为您提供更多详细信息和专业建议。
