得益于神经网络规模的扩大以及海量数据的训练，人工智能（AI）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（LLM）上取得了显著成果，ChatGPT就是一个典型的例子。
然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。
训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行为，进一步收紧了访问权限，这正在引发“数据共享”规模上的危机。为此，开发人员必须寻找变通之道。
数据集供需失衡
过去10年间，LLM的发展显示出了对数据的巨大需求。自2020年以来，用于训练LLM的“标记”（或单词）数量已增长100倍，从数百亿增加到数万亿。一个常见的数据集RedPajama，包含数万亿个单词。这些数据会被一些公司或研究人员抓取和清洗，成为训练LLM的定制数据集。
然而，可用互联网内容的增长速度出乎意料的缓慢。据估计，其年增长率不到10%，而AI训练数据集的大小每年增长超过一倍。预测显示，这两条曲线将在2028年左右交汇。
与此同时，内容供应商越来越多地加入软件代码或修改条款，阻止爬虫及AI抓取其数据。在这些内容中，被明确标记为限制爬虫访问的数量，从2023年的不足3%猛增到了2024年的20%至33%之间。
当前，围绕AI训练中数据使用的合法性，试图为数据提供商争取应有赔偿的多起诉讼正在进行。2023年12月，《纽约时报》向OpenAI及其合作伙伴微软提起了诉讼，指控其侵犯了版权；今年4月，纽约市Alden全球资本旗下的8家报纸联合发起了一起类似的诉讼。对此，OpenAI表示，《纽约时报》的诉讼“毫无根据”。
若法院最终站在内容提供商一方，支持其获得经济赔偿，那么对于AI开发人员，尤其是那些资金紧张的学者而言，获取所需数据无疑将变得更加艰难。
新方法有待印证
数据匮乏对AI的传统扩展策略构成了潜在挑战。
寻找更多数据的一个途径是收集非公开数据，如社交媒体消息或视频文字记录。然而，这种做法的合法性尚存争议。
一些公司选择使用自己的数据来训练AI模型，如Meta利用虚拟现实头显收集的音频和图像进行训练。但各公司政策不同，包括Zoom在内的一些公司则明确表示不会使用客户内容训练AI。
另一种选择可能是专注于快速增长的专业数据集，如天文学或基因组学数据，但其对训练LLM的可用性和实用性尚不清楚。
如果AI接受除文本之外的多种类型的数据训练，可能会为丰富数据的涌入打开闸门。Meta首席AI科学家勒丘恩强调，人类通过观察物体而“吸收”的数据远超用于训练LLM的数据量，机器人形态的AI系统或许能从中获取经验。
此外，制造数据也是解决之道。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据来训练AI。这已成为一个潜在的巨大数据源。然而，合成数据也存在问题，如递归循环可能巩固错误、放大误解，并降低学习质量。
小模型更专更精
另一种策略是摒弃模型“越大越好”的开发观念。一些开发者已在追求更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据以及更好的训练技术。
12月5日，OpenAI发布了新的OpenAI o1模型。尽管该公司未透露模型的规模或训练数据集大小，但o1采用了新方法：在强化学习上投入更多时间，让模型对每个回答进行更深入的思考。这标志着一种转变，即从依赖大规模数据集进行预训练，转向更注重训练和推理。
当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专门数据集、多次读取和自我反思等因素的结合，或将共同推动AI的进一步飞跃。
得益于神经网络规模的扩大以及海量数据的训练，人工智能（AI）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（LLM）上取得了显著成果，ChatGPT就是一个典型的例子。
然而，《自然》《麻省理工科技评论》等多家杂志网站指出，AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。
训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说，AI可能会在大约4年内耗尽训练数据。与此同时，数据所有者（如报纸出版商）开始打击对其内容的滥用行为，进一步收紧了访问权限，这正在引发“数据共享”规模上的危机。为此，开发人员必须寻找变通之道。
数据集供需失衡
过去10年间，LLM的发展显示出了对数据的巨大需求。自2020年以来，用于训练LLM的“标记”（或单词）数量已增长100倍，从数百亿增加到数万亿。一个常见的数据集RedPajama，包含数万亿个单词。这些数据会被一些公司或研究人员抓取和清洗，成为训练LLM的定制数据集。
然而，可用互联网内容的增长速度出乎意料的缓慢。据估计，其年增长率不到10%，而AI训练数据集的大小每年增长超过一倍。预测显示，这两条曲线将在2028年左右交汇。
与此同时，内容供应商越来越多地加入软件代码或修改条款，阻止爬虫及AI抓取其数据。在这些内容中，被明确标记为限制爬虫访问的数量，从2023年的不足3%猛增到了2024年的20%至33%之间。
当前，围绕AI训练中数据使用的合法性，试图为数据提供商争取应有赔偿的多起诉讼正在进行。2023年12月，《纽约时报》向OpenAI及其合作伙伴微软提起了诉讼，指控其侵犯了版权；今年4月，纽约市Alden全球资本旗下的8家报纸联合发起了一起类似的诉讼。对此，OpenAI表示，《纽约时报》的诉讼“毫无根据”。
若法院最终站在内容提供商一方，支持其获得经济赔偿，那么对于AI开发人员，尤其是那些资金紧张的学者而言，获取所需数据无疑将变得更加艰难。
新方法有待印证
数据匮乏对AI的传统扩展策略构成了潜在挑战。
寻找更多数据的一个途径是收集非公开数据，如社交媒体消息或视频文字记录。然而，这种做法的合法性尚存争议。
一些公司选择使用自己的数据来训练AI模型，如Meta利用虚拟现实头显收集的音频和图像进行训练。但各公司政策不同，包括Zoom在内的一些公司则明确表示不会使用客户内容训练AI。
另一种选择可能是专注于快速增长的专业数据集，如天文学或基因组学数据，但其对训练LLM的可用性和实用性尚不清楚。
如果AI接受除文本之外的多种类型的数据训练，可能会为丰富数据的涌入打开闸门。Meta首席AI科学家勒丘恩强调，人类通过观察物体而“吸收”的数据远超用于训练LLM的数据量，机器人形态的AI系统或许能从中获取经验。
此外，制造数据也是解决之道。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据来训练AI。这已成为一个潜在的巨大数据源。然而，合成数据也存在问题，如递归循环可能巩固错误、放大误解，并降低学习质量。
小模型更专更精
另一种策略是摒弃模型“越大越好”的开发观念。一些开发者已在追求更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据以及更好的训练技术。
12月5日，OpenAI发布了新的OpenAI o1模型。尽管该公司未透露模型的规模或训练数据集大小，但o1采用了新方法：在强化学习上投入更多时间，让模型对每个回答进行更深入的思考。这标志着一种转变，即从依赖大规模数据集进行预训练，转向更注重训练和推理。
当前，LLM可能已饱览互联网大部分内容，或许无需更多数据即可变得更智能。美国斯坦福大学一项研究表明，模型从多次读取给定数据集中学到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专门数据集、多次读取和自我反思等因素的结合，或将共同推动AI的进一步飞跃。
记者从中国科学院金属研究所获悉，该所沈阳材料科学国家研究中心胡卫进研究员与合作者，提出利用缓冲层定量调控薄膜应变，延迟铁电薄膜晶格弛豫从而增强铁电极化强度的策略，成功揭示极化强度同铁电 21世纪经济报道记者王峰北京报道 近日，全球教育集团培生（NYSE：PSO）公布2023财年财报。2023财年，培生的销售额为36.74亿英镑（下同），同比下降4%，但基础销售额同比增长1%；调整后营业利润5.73亿，同 瑞士洛桑联邦理工学院工程学院研究团队制造了一种用于内存的新型纳米流体设备，这使他们第一次能连接两个“人工突触”。该设备为受大脑启发的液体硬件设计铺平了道路。这项研究发表在最新一期 3月22日消息，xiaomi集团的许斐在微博上表示，xiaomiCivi 4 Pro的预售业绩远超预期，尤其是春野绿配色，许多门店都出现了缺货情况。据了解，xiaomiCivi 4 Pro的春野绿后盖左侧采用了全新的绮彩鎏光工艺，通 3月23日消息，据最新爆料，vivo X100s Pro已经获得3C认证，估计 会在5月份前后发布。该机可以看做是vivo X100 Pro的小迭代机型，属于半代升级款，与去年X90s类似。新机从此前的天玑9300升级为天玑9300+，处 3月24日，据央视财经消息，在今天开幕的中国发展高层论坛2024年年会现场，苹果公司首席执行官蒂姆·库克回应记者提问表示，苹果公司的Apple Vision Pro头显产品将在今年年内于中国市场上市， 。本文链接：AI发展：训练数据即将遭遇瓶颈http://www.sushuapos.com/show-2-9987-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。