6月18日，《自然》发表的一项研究报道了一种能检测大语言模型（LLM）幻觉（hallucination）的方法，该方法能检测生成回答的含义的不确定性，或能用于提升LLM输出的可靠性。
LLM（如ChatGPT和Gemini）是能阅读和生成人类自然语言的人工智能系统。不过，这类系统很容易产生幻觉，生成不准确或没有意义的内容，即“一本正经地胡说八道”。不过，检测LLM出现幻觉的程度很难，因为这些回答的呈现方式可能会让它们看起来很可信。
来自英国牛津大学的Sebastian Farquhar和同事尝试量化一个LLM产生幻觉的程度，进而判断生成的内容有多“忠于”提供的源内容。他们的方法能检测“编造”（confabulation）——这是“幻觉”的一个子类别，特指不准确和随意的内容，常出现在LLM缺乏某类知识的情况下。这种方法考虑了语言的微妙差别，以及回答如何能以不同的方式表达，从而拥有不同的含义。他们的研究表明，这一方法能在LLM生成的个人简介，以及关于琐事、常识和生命科学这类话题的回答中识别出“胡说八道”的内容。
不过，Sebastian Farquhar等人的研究方法，也离不开大模型这一得力工具。《自然》同时发表的“新闻与观点”文章指出，该任务由一个大语言模型完成，并通过第三个大语言模型进行评价，相当于是“以毒攻毒”。
该文作者同时也在担忧，用一个大模型评估一种基于大模型的方法“似乎是在循环论证，而且可能有偏差”。不过，作者认为，他们的方法有望帮助用户理解在哪些情况下使用LLM的回答需要注意，也意味着可以提高LLM在应用场景中的置信度。
相关论文信息：https://www.nature.com/articles/s41586-024-07421-0
这些年，我们为什么越来越频繁提到创新？因为只有在原始创新上持续发力，在基础理论方法上有所突破，我们才能摆脱对国外的 NewsGuard的团队已识别出614个不可靠的人工智能生成的新闻和信息网站，涵盖15种语言。其中一些网站每天会生成数百甚至数 人工智能的进步 ChatGPT的兴起对今年的科学产生了深远影响。它的创造者，即位于美国旧金山的人工智能研究公司OpenAI，预计 “这些小胶质细胞在tau蛋白病变有效地扩散到下一个细胞之前就开始吸收并降解tau蛋白。没有tau病理学，就不会有神经退 近日，记者从北京大学获悉，为进一步服务国家战略，充分凝聚学科优势力量，加强临床医学学科顶层设计以及医教研统筹力量，推动世 关于发布“2023年度华夏建设科学技术奖”授奖项目的公示 华夏奖字〔2023〕第4号 各有关单位： 2023年度华夏建设科学技术 。本文链接：“以毒攻毒”！识别大模型“一本正经胡说八道”http://www.sushuapos.com/show-11-7291-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 拔尖创新人才需要怎样的自主培养体系
下一篇： 新型辐射冷却织物可抵御城市高温