设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

“以毒攻毒”!识别大模型“一本正经胡说八道”

发布时间: 2024-06-18 17:28:06 来源: 中国科学报

 pA4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

6月18日,《自然》发表的一项研究报道了一种能检测大语言模型(LLM)幻觉(hallucination)的方法,该方法能检测生成回答的含义的不确定性,或能用于提升LLM输出的可靠性。pA4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

LLM(如ChatGPT和Gemini)是能阅读和生成人类自然语言的人工智能系统。不过,这类系统很容易产生幻觉,生成不准确或没有意义的内容,即“一本正经地胡说八道”。不过,检测LLM出现幻觉的程度很难,因为这些回答的呈现方式可能会让它们看起来很可信。 pA4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

来自英国牛津大学的Sebastian Farquhar和同事尝试量化一个LLM产生幻觉的程度,进而判断生成的内容有多“忠于”提供的源内容。他们的方法能检测“编造”(confabulation)——这是“幻觉”的一个子类别,特指不准确和随意的内容,常出现在LLM缺乏某类知识的情况下。这种方法考虑了语言的微妙差别,以及回答如何能以不同的方式表达,从而拥有不同的含义。他们的研究表明,这一方法能在LLM生成的个人简介,以及关于琐事、常识和生命科学这类话题的回答中识别出“胡说八道”的内容。pA4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不过,Sebastian Farquhar等人的研究方法,也离不开大模型这一得力工具。《自然》同时发表的“新闻与观点”文章指出,该任务由一个大语言模型完成,并通过第三个大语言模型进行评价,相当于是“以毒攻毒”。pA4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

该文作者同时也在担忧,用一个大模型评估一种基于大模型的方法“似乎是在循环论证,而且可能有偏差”。不过,作者认为,他们的方法有望帮助用户理解在哪些情况下使用LLM的回答需要注意,也意味着可以提高LLM在应用场景中的置信度。pA4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

相关论文信息:https://www.nature.com/articles/s41586-024-07421-0pA4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

·生产中的模型由“安全系统”团队管理。开发中的前沿模型有“准备”团队,该团队会在模型发布之前识别和量化风险 人工智能的进步 ChatGPT的兴起对今年的科学产生了深远影响。它的创造者,即位于美国旧金山的人工智能研究公司OpenAI,预计 ·“这项研究似乎说明,长期生活在食品不安全的状况中所带来的危害是没那么容易逆转的。研究也表明,对于那些因 科技日报讯 (记者张佳欣)当有人开始哭泣时,其他人常常会感到同情和关心,但其背后的生物学原因不仅仅是激发了同情心。据 编者按 近两年,中国有一小部分年轻学子正在涌入Gap year文化的潮流,有些人甚至选择延毕去体验这种间隔年。Gap year兴起于 四川省科学技术厅关于组织申报2024年第二批中央在川高校院所“聚源兴川”项目的通知 各中央在川高校院所、市(州)科 。

本文链接:“以毒攻毒”!识别大模型“一本正经胡说八道”http://www.sushuapos.com/show-11-7291-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 拔尖创新人才需要怎样的自主培养体系

下一篇: 新型辐射冷却织物可抵御城市高温

热门资讯

推荐资讯

  • 日榜
  • 周榜
  • 月榜