得益于神经网络规模的扩大以及海量数据的训练，人工智能（AI）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（LLM）上取得了显著成果，ChatGPT就是一个典型的例子。
然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。
训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行为，进一步收紧了访问权限，这正在引发“数据共享”规模上的危机。为此，开发人员必须寻找变通之道。
数据集供需失衡
过去10年间，LLM的发展显示出了对数据的巨大需求。自2020年以来，用于训练LLM的“标记”（或单词）数量已增长100倍，从数百亿增加到数万亿。一个常见的数据集RedPajama，包含数万亿个单词。这些数据会被一些公司或研究人员抓取和清洗，成为训练LLM的定制数据集。
然而，可用互联网内容的增长速度出乎意料的缓慢。据估计，其年增长率不到10%，而AI训练数据集的大小每年增长超过一倍。预测显示，这两条曲线将在2028年左右交汇。
与此同时，内容供应商越来越多地加入软件代码或修改条款，阻止爬虫及AI抓取其数据。在这些内容中，被明确标记为限制爬虫访问的数量，从2023年的不足3%猛增到了2024年的20%至33%之间。
当前，围绕AI训练中数据使用的合法性，试图为数据提供商争取应有赔偿的多起诉讼正在进行。2023年12月，《纽约时报》向OpenAI及其合作伙伴微软提起了诉讼，指控其侵犯了版权；今年4月，纽约市Alden全球资本旗下的8家报纸联合发起了一起类似的诉讼。对此，OpenAI表示，《纽约时报》的诉讼“毫无根据”。
若法院最终站在内容提供商一方，支持其获得经济赔偿，那么对于AI开发人员，尤其是那些资金紧张的学者而言，获取所需数据无疑将变得更加艰难。
新方法有待印证
数据匮乏对AI的传统扩展策略构成了潜在挑战。
寻找更多数据的一个途径是收集非公开数据，如社交媒体消息或视频文字记录。然而，这种做法的合法性尚存争议。
一些公司选择使用自己的数据来训练AI模型，如Meta利用虚拟现实头显收集的音频和图像进行训练。但各公司政策不同，包括Zoom在内的一些公司则明确表示不会使用客户内容训练AI。
另一种选择可能是专注于快速增长的专业数据集，如天文学或基因组学数据，但其对训练LLM的可用性和实用性尚不清楚。
如果AI接受除文本之外的多种类型的数据训练，可能会为丰富数据的涌入打开闸门。Meta首席AI科学家勒丘恩强调，人类通过观察物体而“吸收”的数据远超用于训练LLM的数据量，机器人形态的AI系统或许能从中获取经验。
此外，制造数据也是解决之道。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据来训练AI。这已成为一个潜在的巨大数据源。然而，合成数据也存在问题，如递归循环可能巩固错误、放大误解，并降低学习质量。
小模型更专更精
另一种策略是摒弃模型“越大越好”的开发观念。一些开发者已在追求更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据以及更好的训练技术。
12月5日，OpenAI发布了新的OpenAI o1模型。尽管该公司未透露模型的规模或训练数据集大小，但o1采用了新方法：在强化学习上投入更多时间，让模型对每个回答进行更深入的思考。这标志着一种转变，即从依赖大规模数据集进行预训练，转向更注重训练和推理。
当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专门数据集、多次读取和自我反思等因素的结合，或将共同推动AI的进一步飞跃。
得益于神经网络规模的扩大以及海量数据的训练，人工智能（AI）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（LLM）上取得了显著成果，ChatGPT就是一个典型的例子。
然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。
训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行为，进一步收紧了访问权限，这正在引发“数据共享”规模上的危机。为此，开发人员必须寻找变通之道。
数据集供需失衡
过去10年间，LLM的发展显示出了对数据的巨大需求。自2020年以来，用于训练LLM的“标记”（或单词）数量已增长100倍，从数百亿增加到数万亿。一个常见的数据集RedPajama，包含数万亿个单词。这些数据会被一些公司或研究人员抓取和清洗，成为训练LLM的定制数据集。
然而，可用互联网内容的增长速度出乎意料的缓慢。据估计，其年增长率不到10%，而AI训练数据集的大小每年增长超过一倍。预测显示，这两条曲线将在2028年左右交汇。
与此同时，内容供应商越来越多地加入软件代码或修改条款，阻止爬虫及AI抓取其数据。在这些内容中，被明确标记为限制爬虫访问的数量，从2023年的不足3%猛增到了2024年的20%至33%之间。
当前，围绕AI训练中数据使用的合法性，试图为数据提供商争取应有赔偿的多起诉讼正在进行。2023年12月，《纽约时报》向OpenAI及其合作伙伴微软提起了诉讼，指控其侵犯了版权；今年4月，纽约市Alden全球资本旗下的8家报纸联合发起了一起类似的诉讼。对此，OpenAI表示，《纽约时报》的诉讼“毫无根据”。
若法院最终站在内容提供商一方，支持其获得经济赔偿，那么对于AI开发人员，尤其是那些资金紧张的学者而言，获取所需数据无疑将变得更加艰难。
新方法有待印证
数据匮乏对AI的传统扩展策略构成了潜在挑战。
寻找更多数据的一个途径是收集非公开数据，如社交媒体消息或视频文字记录。然而，这种做法的合法性尚存争议。
一些公司选择使用自己的数据来训练AI模型，如Meta利用虚拟现实头显收集的音频和图像进行训练。但各公司政策不同，包括Zoom在内的一些公司则明确表示不会使用客户内容训练AI。
另一种选择可能是专注于快速增长的专业数据集，如天文学或基因组学数据，但其对训练LLM的可用性和实用性尚不清楚。
如果AI接受除文本之外的多种类型的数据训练，可能会为丰富数据的涌入打开闸门。Meta首席AI科学家勒丘恩强调，人类通过观察物体而“吸收”的数据远超用于训练LLM的数据量，机器人形态的AI系统或许能从中获取经验。
此外，制造数据也是解决之道。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据来训练AI。这已成为一个潜在的巨大数据源。然而，合成数据也存在问题，如递归循环可能巩固错误、放大误解，并降低学习质量。
小模型更专更精
另一种策略是摒弃模型“越大越好”的开发观念。一些开发者已在追求更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据以及更好的训练技术。
12月5日，OpenAI发布了新的OpenAI o1模型。尽管该公司未透露模型的规模或训练数据集大小，但o1采用了新方法：在强化学习上投入更多时间，让模型对每个回答进行更深入的思考。这标志着一种转变，即从依赖大规模数据集进行预训练，转向更注重训练和推理。
当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专门数据集、多次读取和自我反思等因素的结合，或将共同推动AI的进一步飞跃。
美国《新闻周刊》网站2月4日刊登题为《人工智能可能会在数十年内解开人体的秘密》的文章，作者是亚历克斯·菲利普斯，内容编译如下：一位医生(同时也是一本关于新兴技术在医疗领域应用的新 根据《天体物理学杂志》的最新报道，一个国际天文学家团队利用欧洲空间局的盖亚（Gaia）太空望远镜收集的数据，创建了迄今为止最庞大的三维宇宙地图。该地图涵盖了大约130万个活跃类星体的精确空间 记者3月21日获悉，商汤科技与遥感数据平台吉林一号网、四维地球、星图地球等展开合作，此举标志着“SenseEarth智能遥感云”平台数据源全面升级，将为行业用户提供更完善、精准的一体化的高分辨率 3月19日，记者从中国科学院海洋研究所了解到，该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然》子刊《科学数据》。银鲳广泛分布于西北太 21世纪经济报道记者 石恩泽 深圳报道操作系统似乎对地理入迷。鸿蒙和深圳，就像Windows和西雅图，也似Linux和赫尔辛基。这是地理与技术的紧密交融。深圳，可以说是鸿蒙的诞生之地，在全球科 3月24日消息，今天数码博主“厂长是关同学”曝光了huaweiMate 70系列电话的部分配置信息。该博主表示，huawei全新的Mate 70系列首发会搭载新的芯片，芯片的性能差不多可以比肩5.5nm，还是值得期待的。同 。本文链接：AI发展：训练数据即将遭遇瓶颈http://www.sushuapos.com/show-2-9987-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。