科技日报北京7月25日电 (记者张梦然)《自然》24日正式发表的一篇研究论文指出了一个人工智能(AI)严重问题:用AI生成的数据集训练未来几代机器学习模型,可能会严重“污染”它们的输出,这被称为“模型崩溃”。研究显示,原始内容会在9次迭代以后,变成不相关的“胡言乱语”(演示中一个建筑文本最终变成了野兔的名字),这凸显出使用可靠数据训练AI模型的重要性。
生成式AI工具越来越受欢迎,如大语言模型等,这类工具主要用人类生成的输入进行训练。不过,随着这些AI模型在互联网不断壮大,计算机生成内容可能会以递归循环的形式被用于训练其他AI模型或其自身。
包括英国牛津大学在内的联合团队一直在进行相关研究,并在去年论文预印本中提出这一概念。在正式发表的论文中,他们用数学模型演示了AI可能会出现的“模型崩溃”。他们证明了一个AI会忽略训练数据中的某些输出(如不太常见的文本),导致其只用一部分数据集来自我训练。
团队分析了AI模型会如何处理主要由AI生成的数据集。他们发现,给模型输入AI生成的数据,会减弱今后几代模型的学习能力,最终导致了“模型崩溃”。他们测试的几乎所有递归训练语言模型,都容易出现问题。比如,一个用中世纪建筑文本作为原始输入的测试,到第9代的输出已经是一串野兔的名字。
团队指出,用前几代生成的数据集去训练AI,崩溃是一个不可避免的结局。他们认为,必须对数据进行严格过滤。与此同时,这也意味着依赖人类生成内容的AI模型,或许能训练出更高效的AI模型。
由复旦大学发布的MOSS大模型一度引发关注,它背后的团队现在在关注哪方面的技术突破? 12月2日,中国软件领域规模最大、影 习近平总书记强调,要加大应用基础研究力度,以推动重大科技项目为抓手,打通“最后一公里”,拆除阻碍产业化的“篱笆墙”,疏通 12月18日,2023年度国家自然科学基金管理工作会议在北京召开。会议深入学习贯彻党的二十大精神和习近平总书记在中共中央 ·GLP-1类药物正在以令人兴奋和不安的方式重塑医学、流行文化,甚至全球股市。制药公司掀起一场“肥胖革命”,但 如果说起这两年印度蹿升最猛的高校,那无疑应包括萨维塔医学和技术科学研究所(SIMATS)。 其所属牙科学院以一己之力,累计发表 科技日报讯 (记者张佳欣)大量蛋白质对于治疗疾病至关重要,然而要将其制成口服药,几十年来一直难以取得突破。这些蛋白质 。本文链接:用AI生成数据训练AI或导致模型崩溃http://www.sushuapos.com/show-11-9087-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 韦布发现“超级胖子”行星