价格战凶猛，AI小模型狂飙
21世纪经济报道记者孔海丽、实习生刘清怡 北京报道
AI小模型大爆发，成为AI巨头的新角力赛场。
大模型价格战“卷生卷死”，投入了巨额资金的AI企业，亟需在商业故事上再进一步，最近纷纷祭出了自家低成本、易部署的小模型，新一轮较量拉开。
先是HuggingFace发布了SmolLM - 135M、360M和1.7B，仅使用650B个token进行训练，性能却超过了Qwen 1.5B、Phi 1.5B。
隔日，Mistral AI和英伟达联合发布Mistral NeMo，被称为“Mistral AI最佳小型模型”，易于使用，可以直接替代任何使用Mistral 7B的系统。
就在同一天，OpenAI下场“血拼”，推出了GPT-4o 的迷你版――GPT-4o Mini，称这款新模型是“功能最强、性价比最高的小参数模型”，并将其作为展示模型，替换了GPT-3.5的网页版“台前”位置。
苹果也不甘示弱，与OpenAI同日发布了DCLM小模型，并且发布即开源。苹果ML小组研究科学家Vaishaal Shankar说“这是迄今为止性能最好的真正开源的模型”。
这些模型参数小、占内存少，在特定场景中，经过精调后使用效果可以媲美大模型，成为性价比之选。
“小模型一定是更容易实现价值的。”IBM中国数据与人工智能首席架构师徐孝天在接受21世纪经济报道记者采访时表示：“一批专业小模型配合agents实现业务流的整合，功能和经济性上都会更加可行。”
在AI生成式模型战场上，迭代速度极快，可能今天的“最好”，马上就会被明天的新版本打败，“历史记录”不断被颠覆重写。“模型更新太快，都不好评判，前脚有厂商说自家是‘最大最好的’，后脚就有另外一家说自己是‘最小最好的’。”人工智能行业资深观察人士告诉21世纪经济报道记者，人工智能模型眼花缭乱，AI企业要想跑通商业故事，必须十倍、百倍努力。
小模型赛道开“卷”
AI巨头们密集发布小模型，既比性能，还拼价格。
根据Open AI官网，在MMLU、MGSM、HumanEval、MMMU等基准测试中，GPT-4o mini均展现出了比GPT-3.5 Turbo和Gemini Flash、Claude Haiku等小模型更加出色的文本和视觉推理、数学推理、编码和多模态推理能力，尤其是数学推理和编码能力远胜过GPT-3.5 Turbo和其他小模型，稍弱于GPT-4o。在最新的LMSYS盲测竞技场排名中，GPT-4o mini还取得了与GPT-4o并列第一的好成绩，连OpenAI的CEO Sam Altman也难掩激动的心情，在社交媒体平台上发文称，“我们从未对任何一项评估感到如此兴奋。”
除了优异的性能，OpenAI还拿出了低价杀手锏。7月18日上线时，OpenAI宣布GPT-4o mini的定价为每百万输入token15美分和每百万输出token60美分，比GPT-3.5 Turbo便宜60%以上。7月24日，OpenAI再次宣布，从即日起至9月23日，免费为4级、5级用户提供GPT-4o mini微调服务，每天限制200万token，超过的部分按照每100万token3美元收费。OpenAI称：“我们期待GPT-4o mini将扩大人工智能的应用范围，使人工智能更加实惠。”
平安证券研报认为，GPT-4omini是价格显著下降的新一代入门级别人工智能“小模型”，兼具性能与性价比。当前全球范围内的大模型逐渐呈现由单方面的性能角逐，转向性能与实用性并重的发展趋势。大模型能力达到一定水平时必然会走向应用，大模型厂商通过提升其产品性价比，助推下游应用端的推广部署，有望加速大模型产业链商业闭环的形成。
在GPT-4o mini之后发布的苹果DCLM模型同样引人瞩目，DCLM全面开源了代码、权重、训练流程及数据集。DCLM分为14亿和70亿参数两种规模，其70亿参数版本超越了Mistral-7B ，性能接近Llama 3、Gemma。在MMLU(5-shot)基准测试中，DCLM-7B的准确率为63.7%。根据研究人员的说法，这一性能比此前最先进的开放数据语言模型MAP-Neo提高了6.6%，并减少了40%的计算量。更重要的是，这一结果超越了准确率为62.7%的Mistral-7B-v0.3，并接近于准确率为64.3%的Gemma 8B、66.2%的Llama3 8B和69.9%的Phi-3 7B。
比起“越大越好”，苹果更倾向于走小模型路线。今年4月，苹果公布的小模型家族四款预训练的大模型OpenELM，体量极小，彼时已在朝着“让人工智能在苹果设备上本地运行”目标迈进。
6月，苹果曾透露自己的AI发展路线图，计划把小模型顺利嵌进移动装备，不仅能达到“更快速、更安全”的目的，还一举解决了移动端设备与模型融合的终极难题。
Mistral NeMo是Mistral AI与NVIDIA合作构建的，该模型经过先进的微调和对准阶段，在遵循精确指令、推理、处理多轮对话和生成代码方面表现优异。据了解，Mistral NeMo主要面向企业环境，目的是让企业在不需要大量云资源的情况下实施人工智能解决方案。
在接受Venturebeat采访时，英伟达应用深度学习研究副总裁 Bryan Catanzaro 详细阐述了小型模型的优势。他说：“小型模型更容易获取和运行，可以有不同的商业模式，因为人们可以在家中自己的系统上运行它们。”
大模型进入下半场，从技术卷到应用，市场对于更易本地部署的高效率、低成本模型越来越感兴趣，这背后折射了对安全性、隐私性以及高效率、高性价比的渴望。
行业分析师认为，AI部署有了一个明显的新趋势，即可以在本地硬件上高效运行的模型，正在打消许多企业大规模采用AI方案的担忧，比如数据隐私、延迟以及高成本等问题。“这可能会使竞争更加公平，资源有限的小企业也将获得AI模型的加持，从而弥合与大企业之间先天的差距。”
入局小模型赛道背后
AI巨头们为何纷纷开辟小模型赛道？部分或出于成本因素的考量。
大模型的开发和运行成本高昂，即使像OpenAI这样的巨头也难以负担得起。
近日，有知情人士分析称“OpenAI今年可能会亏损50亿美元，面临着在12个月内资金耗尽的风险”。截至今年3月，OpenAl花费近40亿美元租用微软的服务器，以运行ChatGPT及其底层大语言模型(LLM)。除了运行ChatGPT之外，OpenAl包括数据费用在内的培训成本今年可能会飙升至30亿美元。据知情人士透露，去年，OpenAl加快了对新AI的训练，速度超过了最初的计划，OpenAl原本计划在这类成本上花费约8亿美元，但最终的支出要多得多。
相较之下，小模型成本低、响应速度快，而且可以本地化运行，更能适应个性化、精准化的使用需求。业内人士表示：“在全球AI硬件供不应求的前提下，小模型意味着更低的部署和训练成本，其产出效果足以应对一些特定任务。”
有国内AI企业相关业务负责人告诉21世纪经济报道记者，小参数规模可以大幅节省推理成本，模型训练与调整所需的硬件成本远远低于大模型，成熟开发者甚至可以低成本训练垂直模型，这些操作的成本都远低于大模型。
OpenAI创始成员、特斯拉前AI高级总监Andrej Karpathy最近的预测颇有代表性，他提出，生成式模型的尺寸竞争将会逆转，比拼谁的模型更小、更智能。
在Andrej Karpathy的解释中，当前大模型如此之大，是因为训练期间仍然非常浪费，虽然大模型在记忆方面非常出色，但这也意味着大模型记住了大量无关紧要的细节，而那些内容本不应该在特定问题中反复被调用。
对于小模型来说，训练目标变得更简单、直接、高效，让AI更直接地学到更有用的信息。
不过，大模型与小模型并非“二选一”，他们的发展路线仍然有着相互借鉴的意义。
Andrej Karpathy称：“模型必须先变大，然后才能变小。因为我们需要大模型将数据重构、塑造成理想的形式，一个模型帮助生成下一个模型的训练数据，逐渐得到完美的训练集，再喂给小模型，而后者不需要完全记住所有的知识，只是偶尔需要查找一些东西以确保准确。”
李彦宏也曾在百度AI开发者大会Create 2024上表示，未来大型的AI原生应用基本都是Moe架构，即大小模型的混用。李彦宏还称，通过大模型压缩蒸馏出一个基础模型，然后再用数据去训练，比从头开始训练小模型的效果要好很多，比基于开源模型训练出来的模型效果更好，速度更快，成本更低。
中新经纬1月11日电 据微信号“中国铁路”11日消息，自1月11日零时起，铁路12306网站(含手机客户端，下同)优化升级候补购票功能，增加候补订单和备选方案数量，扩大候补订单兑现时间选择范围，临时新增旅客列车席位优先配售给 人社部：整治虚假职业技能培训 人社部近日发布通知，要求规范培训机构办学，严禁以招生费等名义直接或变相买卖符合补贴条件的生源，以联合办学、培训合作等名义违规转包政府补贴的培训项目，与参训人员串通提供虚假信息 推进高水平对外开放是推动高质量发展、加快构建新发展格局的必然选择。在这两天各地区召开的新春第一会上，记者就发现，高水平对外开放被很多省区市都放在了全年工作发展的重要位置上。广西是中 农工党中央召开两会情况通报会农工党中央拟向全国政协十四届二次会议提交34件中央提案、26件界别小组提案中国改革报、中国发展网记者田新元2月20日，在全国两会即将召开之际，农工党中央在京召开中央和 本报讯 记者付朝欢报道 为贯彻落实《数字中国建设整体布局规划》工作部署，摸清数据资源底数，加快数据资源开发利用，更好发挥数据要素价值，国家数据局综合司、中央网信办秘书局、工业和信息化部办公厅、 为降低新一轮低温雨雪冰冻天气对农业生产带来的影响，湖北省沙洋县农业农村局组织技术服务指导组深入田间地头，重点围绕蔬菜大棚、油菜等主打产业，开展防冻避灾、病虫防控等全程技术指导服务，最大限度减少 。本文链接：价格战凶猛，AI小模型狂飙http://www.sushuapos.com/show-5-23209-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 绿园区妇联举办技能培训 拓宽妇女就业渠道