马斯克开源3140亿参数的Grok，大模型争相开源所为何求？
作者：刘晓洁
特斯拉CEO埃隆・马斯克(Elon Musk)给大模型领域投下一枚重磅炸弹。
北京时间3月18日凌晨，马斯克旗下大模型公司 xAI 在官网宣布开源 3140 亿参数的大模型Grok-1，以及该模型的权重和网络架构。
这是目前为止参数量最大的开源模型，此前开源大模型中影响力较大的是 Meta开源的Llama 2，有700亿参数。在GitHub页面中，官方提示，由于Grok模型规模较大，需要有足够GPU和内存的机器才能运行。
开源大模型生态社区OpenCSG的创始人陈冉认为，在马斯克开源前，大家还在讨论开源好，还是闭源好，“马斯克开源的意义很大，说明AI 2.0，也就是大模型的大趋势就是以开源为主的渐进创新方式。”对于企业和个人来说，在 Llama、Gemma和Mistral这些开源大模型外，也会有更多选择。
大模型厂商纷纷开源
据xAI官方发布公告介绍，Grok-1是一个由xAI从头开始训练的混合专家(MoE)模型，目前开源的是其2023年10月的原始基础模态，没有针对任何任务进行微调，意味着这个模型目前还没有针对任何应用开发。
xAI 提到遵守 Apache 2.0 许可证来开源 Grok-1 的权重和架构，而Apache 2.0 许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。
马斯克一直是开源的支持者，对OpenAI闭源的商业路线有所不满。几周前，马斯克向法院提起诉讼，以违反合同为由起诉OpenAI及其CEO奥尔特曼(Sam Altman)，要求该公司恢复开源。马斯克在诉讼中表示， OpenAI违背了公司成立时达成的一项协议，即开发技术以造福人类而不是利润。OpenAI与科技巨头微软的关系损害了该公司最初致力于公共、开源的通用人工智能(AGI)的目标。
马斯克在2023年创立大模型公司xAI，他曾表示，创立xAI就是为阻止人工智能领域出现“一家独大”的局面。随后，xAI推出大语言模型Grok。
此次Grok开源后，ChatGPT官方账号也现身评论区，马斯克正面开“怼”回复称：告诉我们更多关于OpenAI “开放”的部分(Tell us more about the “Open” part of OpenAI)。
和OpenAI为代表的闭源路线相反的是，开源成为不少大模型厂商选择的方向。同样在3月18日，国内创企潞晨科技的Colossal-AI团队宣布，全面开源Open-Sora模型参数和所有训练细节。Open-Sora是一个类Sora架构视频生成模型，模型采用了目前火热的Diffusion Transformer(DiT)架构。
公开资料显示，Open-Sora背后的公司潞晨科技创立于2021年7月，创始人尤洋是加州伯克利大学博士、新加坡国立大学计算机系的校长青年教授。
潞晨科技在其今日的官方发文中提到了团队用低成本方法复现Sora的路径。在复现流程中，团队共使用了64块H800进行训练。第二阶段的训练量一共是 2808 GPU hours，约合7000美元，第三阶段的训练量是1920 GPU hours，大约4500美元，成功把Open-Sora复现流程控制在了1万美元左右。
具体技术细节上，官方提到，为了进一步降低Sora复现的门槛和复杂度，Colossal-AI团队在代码仓库中提供了便捷的视频数据预处理脚本，可以轻松启动Sora复现预训练，包括公开视频数据集下载，长视频根据镜头连续性分割为短视频片段，使用开源大语言模型LLaVA生成精细的提示词。团队提供的批量视频标题生成代码可以用两卡 3 秒标注一个视频，并且质量接近于 GPT-4V。最终得到的视频/文本对可直接用于训练。
开源所为何求？
无论是国内还是海外，大模型开源都已经成为一大趋势。对于大模型厂商开源的动力，陈冉对第一财经表示，“主要是招揽客户，做影响力。”
陈冉比喻道，大模型的这个打法就像互联网时代移动应用的市场模式，“免费试用一段时间，后面有企业包装后的功能或者服务，这个东西也相当于汽车里的发动机，直接用不起来，需要包装成整车(企业功能)。”
2023年 7月，Meta公布开源最新大模型Llama 2，包含70 亿、130 亿和 700 亿三种参数类型，并宣布可免费用于商业或者研究。彼时Meta公开表示 ，开放的方法是当今人工智能模型开发的正确方法，特别是在技术快速发展的生成领域。通过公开提供人工智能模型，它们可以使每个人受益。
而最近一次影响力较大的开源是谷歌，其在2月22日宣布推出开源模型系列Gemma，包含Gemma 2B 和 Gemma 7B，模型权重也一并开源，且允许商用。
倒回半年多以前，2023年5月，一份谷歌的内部文件曾在网上传开并引发讨论。这份内部文件认为，开源大模型迅猛发展，正在侵蚀OpenAI和谷歌的阵地。除非改变闭源的立场，否则开源替代品将最终使这两家公司黯然失色。
“虽然我们的模型在质量方面仍略占优势，但(闭源和开源模型)的差距正在以惊人的速度缩小。”文件写道。外媒确认了内部文件的真实性，这篇文章的原作者是谷歌高级软件工程师Luke Sernau。
开源模式的迭代进步速度已经威胁到了部分闭源模型的生存。文件表示，开源大模型的很多创新，都是源于Meta LLaMA模型的泄露，但Meta又成为这一进程中一个明显的赢家――他们相当于获得了整个星球的免费劳动力，“拥有生态系统的价值怎么强调都不为过。”
“开源的最终目的是变现，做出商业模式。”陈冉认为，大模型领域的开源趋势会促进和推动行业在上面的商业化，快速迭代、快速试错、共创共担，对于这个生态只有好处，没有什么不利，“开源只会越来越澎湃向上，不会走向闭源。”
在Llama 2开源时，Meta CEO马克・扎克伯格曾为其站台，称Llama 2为大模型的“次世代”产品，他表示，开源推动了创新，因为它让更多的开发者能够使用新技术。同时，软件开源意味着更多的人可以审查它，识别并修复可能存在的问题，从而提高了安全性，“我相信如果生态系统更加开放，将会释放更多的进步，这就是我们开源Llama 2的原因。”
不过，在开源的同时，厂商们也并未完全放弃闭源路线。来自法国的Mistral AI最初是开源起家，其开源的Mistral 7B一度被称为最好的 7B 模型，这家初创公司也被誉为“欧洲的OpenAI ”，但就在前不久，Mistral AI发布了最强的旗舰模型 Mistral Large，性能对标 GPT-4，却没有选择开源，其CEO 阿瑟・门斯(Arthur Mensch)公开表示，未来他们依然会坚持开源理念，但是同时也会推出性能最为强大的闭源模型参与商业竞争。
此次，马斯克开源了目前最大参数量的Grok，再次搅动大模型领域的战争。闭源还是开源路线胜？犹未可知。对于科技圈而言，正如OpenAI CEO奥尔特曼在3月18日凌晨的推文所述，“这是人类历史上最有趣的一年，除未来所有年份以外。”
诺贝尔化学奖获得者阿龙・切哈诺沃：做研究保持好奇心很重要 中新网宁波3月17日电(林波)对于学生而言，如何找到研究的信心和价值，让他们有继续下去的动力？ “做研究保持好奇心很重要。”3月17日，2004年诺贝尔化学 记者3月20日来到广东深汕西高速公路改扩建施工现场，看到智能机器人、自动化生产线等智能制造设备在不停运行。3月19日—20日，由茅以升科技教育基金会和广东省交通集团联合主办的全国高速 记者3月20日从中国科学技术大学获悉，该校郭光灿院士团队在量子态分辨研究中取得重要进展。研究组在最小资源消耗的量子态分辨问题中首次提出了全局最优自适应策略，并发展了自适应集体测量实验 自2023年以来，人工智能的“触角”已延伸到生活的方方面面。其中，“人工智能+情感”的赛道正悄然崛起。目前，国内外已经出现了多款较为成熟的AI伴侣应用。不少网友在社交媒体上晒出了与自己“AI 21世纪经济报道记者 冯恋阁 王俊 广州、北京报道2013年播出的科幻电视剧《黑镜》第二季中有这样一个故事——女主角玛莎在男友艾什被车祸夺走生命之后，长久无法走出分离的痛苦，最终选 随着量子技术的发展，利用量子特性突破传统测量技术极限的新一代精密测量技术——量子测量开始得到应用。记者从中国计量科学研究院获悉，由该院牵头编制的《量子测量术语》《量子精密 。本文链接：马斯克开源3140亿参数的Grok，大模型争相开源所为何求？http://www.sushuapos.com/show-2-3997-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。