马斯克开源3140亿参数的Grok，大模型争相开源所为何求？
作者：刘晓洁
特斯拉CEO埃隆・马斯克(Elon Musk)给大模型领域投下一枚重磅炸弹。
北京时间3月18日凌晨，马斯克旗下大模型公司 xAI 在官网宣布开源 3140 亿参数的大模型Grok-1，以及该模型的权重和网络架构。
这是目前为止参数量最大的开源模型，此前开源大模型中影响力较大的是 Meta开源的Llama 2，有700亿参数。在GitHub页面中，官方提示，由于Grok模型规模较大，需要有足够GPU和内存的机器才能运行。
开源大模型生态社区OpenCSG的创始人陈冉认为，在马斯克开源前，大家还在讨论开源好，还是闭源好，“马斯克开源的意义很大，说明AI 2.0，也就是大模型的大趋势就是以开源为主的渐进创新方式。”对于企业和个人来说，在 Llama、Gemma和Mistral这些开源大模型外，也会有更多选择。
大模型厂商纷纷开源
据xAI官方发布公告介绍，Grok-1是一个由xAI从头开始训练的混合专家(MoE)模型，目前开源的是其2023年10月的原始基础模态，没有针对任何任务进行微调，意味着这个模型目前还没有针对任何应用开发。
xAI 提到遵守 Apache 2.0 许可证来开源 Grok-1 的权重和架构，而Apache 2.0 许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。
马斯克一直是开源的支持者，对OpenAI闭源的商业路线有所不满。几周前，马斯克向法院提起诉讼，以违反合同为由起诉OpenAI及其CEO奥尔特曼(Sam Altman)，要求该公司恢复开源。马斯克在诉讼中表示， OpenAI违背了公司成立时达成的一项协议，即开发技术以造福人类而不是利润。OpenAI与科技巨头微软的关系损害了该公司最初致力于公共、开源的通用人工智能(AGI)的目标。
马斯克在2023年创立大模型公司xAI，他曾表示，创立xAI就是为阻止人工智能领域出现“一家独大”的局面。随后，xAI推出大语言模型Grok。
此次Grok开源后，ChatGPT官方账号也现身评论区，马斯克正面开“怼”回复称：告诉我们更多关于OpenAI “开放”的部分(Tell us more about the “Open” part of OpenAI)。
和OpenAI为代表的闭源路线相反的是，开源成为不少大模型厂商选择的方向。同样在3月18日，国内创企潞晨科技的Colossal-AI团队宣布，全面开源Open-Sora模型参数和所有训练细节。Open-Sora是一个类Sora架构视频生成模型，模型采用了目前火热的Diffusion Transformer(DiT)架构。
公开资料显示，Open-Sora背后的公司潞晨科技创立于2021年7月，创始人尤洋是加州伯克利大学博士、新加坡国立大学计算机系的校长青年教授。
潞晨科技在其今日的官方发文中提到了团队用低成本方法复现Sora的路径。在复现流程中，团队共使用了64块H800进行训练。第二阶段的训练量一共是 2808 GPU hours，约合7000美元，第三阶段的训练量是1920 GPU hours，大约4500美元，成功把Open-Sora复现流程控制在了1万美元左右。
具体技术细节上，官方提到，为了进一步降低Sora复现的门槛和复杂度，Colossal-AI团队在代码仓库中提供了便捷的视频数据预处理脚本，可以轻松启动Sora复现预训练，包括公开视频数据集下载，长视频根据镜头连续性分割为短视频片段，使用开源大语言模型LLaVA生成精细的提示词。团队提供的批量视频标题生成代码可以用两卡 3 秒标注一个视频，并且质量接近于 GPT-4V。最终得到的视频/文本对可直接用于训练。
开源所为何求？
无论是国内还是海外，大模型开源都已经成为一大趋势。对于大模型厂商开源的动力，陈冉对第一财经表示，“主要是招揽客户，做影响力。”
陈冉比喻道，大模型的这个打法就像互联网时代移动应用的市场模式，“免费试用一段时间，后面有企业包装后的功能或者服务，这个东西也相当于汽车里的发动机，直接用不起来，需要包装成整车(企业功能)。”
2023年 7月，Meta公布开源最新大模型Llama 2，包含70 亿、130 亿和 700 亿三种参数类型，并宣布可免费用于商业或者研究。彼时Meta公开表示 ，开放的方法是当今人工智能模型开发的正确方法，特别是在技术快速发展的生成领域。通过公开提供人工智能模型，它们可以使每个人受益。
而最近一次影响力较大的开源是谷歌，其在2月22日宣布推出开源模型系列Gemma，包含Gemma 2B 和 Gemma 7B，模型权重也一并开源，且允许商用。
倒回半年多以前，2023年5月，一份谷歌的内部文件曾在网上传开并引发讨论。这份内部文件认为，开源大模型迅猛发展，正在侵蚀OpenAI和谷歌的阵地。除非改变闭源的立场，否则开源替代品将最终使这两家公司黯然失色。
“虽然我们的模型在质量方面仍略占优势，但(闭源和开源模型)的差距正在以惊人的速度缩小。”文件写道。外媒确认了内部文件的真实性，这篇文章的原作者是谷歌高级软件工程师Luke Sernau。
开源模式的迭代进步速度已经威胁到了部分闭源模型的生存。文件表示，开源大模型的很多创新，都是源于Meta LLaMA模型的泄露，但Meta又成为这一进程中一个明显的赢家――他们相当于获得了整个星球的免费劳动力，“拥有生态系统的价值怎么强调都不为过。”
“开源的最终目的是变现，做出商业模式。”陈冉认为，大模型领域的开源趋势会促进和推动行业在上面的商业化，快速迭代、快速试错、共创共担，对于这个生态只有好处，没有什么不利，“开源只会越来越澎湃向上，不会走向闭源。”
在Llama 2开源时，Meta CEO马克・扎克伯格曾为其站台，称Llama 2为大模型的“次世代”产品，他表示，开源推动了创新，因为它让更多的开发者能够使用新技术。同时，软件开源意味着更多的人可以审查它，识别并修复可能存在的问题，从而提高了安全性，“我相信如果生态系统更加开放，将会释放更多的进步，这就是我们开源Llama 2的原因。”
不过，在开源的同时，厂商们也并未完全放弃闭源路线。来自法国的Mistral AI最初是开源起家，其开源的Mistral 7B一度被称为最好的 7B 模型，这家初创公司也被誉为“欧洲的OpenAI ”，但就在前不久，Mistral AI发布了最强的旗舰模型 Mistral Large，性能对标 GPT-4，却没有选择开源，其CEO 阿瑟・门斯(Arthur Mensch)公开表示，未来他们依然会坚持开源理念，但是同时也会推出性能最为强大的闭源模型参与商业竞争。
此次，马斯克开源了目前最大参数量的Grok，再次搅动大模型领域的战争。闭源还是开源路线胜？犹未可知。对于科技圈而言，正如OpenAI CEO奥尔特曼在3月18日凌晨的推文所述，“这是人类历史上最有趣的一年，除未来所有年份以外。”
本文链接：马斯克开源3140亿参数的Grok，大模型争相开源所为何求？http://www.sushuapos.com/show-2-3997-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。