英国科学家研究表示，用AI生成的数据集训练未来几代机器学习模型可能会污染它们的输出，这个概念称为“模型崩溃”（model collapse）。该研究显示，原始内容会在数代内变成不相关的胡言乱语，显示出使用可靠数据训练AI模型的重要性。相关研究7月24日发表于《自然》。
生成式AI工具越来越受欢迎，如大语言模型（LLM）等，这类工具主要用人类生成的输入进行训练。不过，随着这些AI模型在互联网不断壮大，计算机生成内容可能会以递归循环的形式被用于训练其他AI模型或其自身。
牛津大学的Ilia Shumailov和同事用数学模型演示了AI模型可能会如何出现模型崩溃。研究证明一个AI可能会忽略训练数据中的某些输出（如不太常见的文本），导致其只用一部分数据集来自我训练。Shumailov和同事还研究了AI模型会如何应对主要用人工智能生成的训练数据集。
他们发现，给模型输入AI生成的数据会减弱今后几代模型的学习能力，最终导致模型崩溃。他们测试的几乎所有递归训练语言模型都容易出现重复短语。比如，一个用中世纪建筑文本作为原始输入的测试到第九代的输出已经是一串野兔的名字。
研究者表示，对于使用前几代生成的训练数据集的AI模型来说，模型崩溃的一个不可避免的结局。为了让人工智能成功使用其自身输出进行训练，Shumailov和同事认为用AI生成数据训练一个模型并非不可能，但必须对数据进行严格过滤。与此同时，依赖人类生成内容的科技公司或许能比竞争对手训练出更高效的AI模型。
相关论文信息：
https://doi.org/10.1038/s41586-024-07566-y
广东省科学院生态环境与土壤研究所研究员刘芳华团队在电能微生物和水铁矿促进产氢机制方面取得新进展。近日，相关成果先 中国科协办公厅关于开展2023年度国家科学技术奖提名工作的通知 各全国学会、协会、研究会，各省、自治区、直辖市科 碳中和目标倒逼产业结构与能源结构向绿色低碳方向转变。作为一种具备诸多优点的清洁能源，氢能迎来重要的发展机遇期， 近日发表于《睡眠医学》的一项研究表明，“夜猫子”动脉钙化的概率几乎是“早起鸟”的两倍。在心血管疾病的早期阶段， 即使在新冠疫情期间接种了数十亿剂疫苗后，信使核糖核酸（mRNA）疫苗仍令人惊讶。近日，《自然》发表的一项研究表明，mRNA疫苗可 科技日报北京12月29日电 （记者张佳欣）向人体运送药物的主要挑战是能不断将药物准确送达病灶位置，同时确保它们留在病灶 。本文链接：当心！AI生成数据模型会崩溃http://www.sushuapos.com/show-11-9250-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 天气湿热巧调理
下一篇： 有更多证据表明带状疱疹疫苗可以预防痴呆