“帮手”还是“帮凶”？生成式AI学术使用亟须关注

2024-08-08 16:15:35 来源：中国科技网

观看：206

生成式人工智能（AI）工具快速普及，在学术写作领域呈现爆炸式应用势头。使用基于大语言模型（LLM）的生成式AI工具能节省时间，减少语言障碍，让论文更加明白通畅。但这些工具的应用也让剽窃问题变得更复杂。

英国《自然》网站在近日的报道中指出，对利用AI写作是否构成剽窃，以及在什么情况下允许利用AI进行写作，科研界应充分探讨并制定更明确的学术写作AI使用指南。

AI学术写作应用增多

德国蒂宾根大学数据科学家德米特里·科巴克领导的团队，分析了学术数据库PubMed中2010年至2024年6月期间发表的1400万篇论文摘要。他们估计，2024年上半年，至少有10%的生物医学论文摘要（约7.5万篇）使用了LLM进行写作，以LLM为基础的写作“助理”的出现，对学术界产生了前所未有的影响。

同时，有些人认为，AI工具是学术写作的“好帮手”。它们可使文本和概念更清晰，减少语言障碍，使科学家能腾出更多时间进行实验和思考。

剽窃行为很难揪出

2015年的一项研究估计，1.7%的科学家承认有剽窃行为，30%的科学家认识有剽窃行为的同事。

LLM经过训练，可通过“消化”大量以前发表的文章来生成文本。因此，使用它们可能会导致类似剽窃的情况。例如，研究人员将AI生成的论文冒充自己撰写的论文；或者机器生成的论文与某人的论文非常接近，但没有注明来源等等。英国普利茅斯大学生态学家皮特·科顿指出，在AI时代，定义学术不诚信或剽窃，以及合理使用AI的边界，将变得非常困难。

如果LLM稍微修改一下措辞，那么其剽窃人类撰写文本内容的情况很容易被掩盖。因为人们可给出提示，让这些AI工具以复杂的方式（如以某个学术期刊的风格）撰写论文。在2023年对1600名研究人员开展的一项调查中，68%的受访者表示，AI将使剽窃更难被发现。

另外一个核心问题是，使用完全由机器而非人类编写的未署名内容是否算剽窃。德国柏林应用科学大学专家黛博拉·韦伯·沃尔夫表示，尽管有的生成式AI生成的文本看起来与人类书写的内容相差无几，但不能被视为剽窃。

使用界限急需制定

美国马里兰大学可靠人工智能实验室主任索海尔·菲兹副教授认为，使用LLM改写现有论文的内容显然构成抄袭。但使用LLM来帮助表达想法，无论是根据详细的提示生成文本，还是编辑草稿，如果透明地完成，都不应该受到惩罚。科学界应该允许研究人员利用LLM，来轻松、清晰地表达他们的想法。

许多期刊现在都制定了相关政策，允许投稿者在一定程度上使用LLM。《科学》杂志于2023年11月更新了其政策，称作者应该全部披露其在撰写论文过程中的AI技术使用情况，包括使用了哪些AI系统，提示词有哪些等。《自然》杂志也表示，作者应该记录LLM的使用情况。

一项对100家大型学术出版商和100家排名靠前的期刊开展的分析发现，截至2023年10月，24%的出版商和87%的期刊都制定了使用生成式AI的指导方针。几乎所有这些期刊都声明，AI工具不能被列为作者。

沃尔夫强调，科学家迫切需要更明确的学术写作AI使用指南。

检测工具亟待提升

在一部分科学家利用LLM撰写学术论文的同时，也有另一部分科学家正在开发旨在检测LLM使用情况的工具。尽管一些工具的准确率较高，在某些情况下超过90%，但研究表明，大多数工具“名不副实”。在去年12月发表的一项研究中，沃尔夫及其同事评估了学术界广泛使用的14种AI检测工具。结果显示，只有5款工具的准确率高于70%，没有一款工具的得分超过80%。

当研究团队通过替换同义词及重排句子顺序，对AI生成的文本进行微调后，检测工具的准确率下降到平均不足50%。如果研究人员让AI多次改写由人类撰写的文本，检测工具的准确率也会大大降低。

AI检测工具还面临其他问题，比如非英语母语者用英语写作，更有可能被误认为由AI生成。菲兹指出，AI检测工具无法可靠地区分完全由AI编写的文本和作者使用AI润色文本的情况。被错误地指控滥用AI，可能会对这些学者或学生的声誉造成相当大的损害。