设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

国产算力训练,华为宣布开源盘古7B稠密和72B混合专家模型

发布时间: 来源: 观察者网

gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

(文/观察者网 吕栋 编辑/张广凯)gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

6月30日早上,华为正式宣布开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型和基于昇腾的模型推理技术。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

华为表示,此举是华为践行昇腾生态战略的又一关键举措,推动大模型技术的研究与创新发展,加速推进人工智能在千行百业的应用与价值创造。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

根据公告,盘古Pro MoE 72B模型权重、基础推理代码,已正式上线开源平台。基于昇腾的超大规模MoE模型推理代码,已正式上线开源平台。盘古7B相关模型权重与推理代码将于近期上线开源平台。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

5月底,华为曾披露,盘古Pro MoE大模型,在参数量仅为720亿,激活160亿参数量的情况下,通过动态激活专家网络的创新设计,实现了以小打大的优异性能,甚至可以媲美千亿级模型的性能表现。在业界权威大模型榜单SuperCLUE最新公布的2025年5月排行榜上,位居千亿参数量以内大模型排行并列国内第一。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“盘古72B是兼顾性能与推理成本的黄金尺寸,最适合行业用户用AI改造业务。”华为专家曾表示。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

随后在6月,有华为技术专家告诉观察者网,华为初步计划会向外开源,首先是盘古72B MoE模型是最有可能开源的模型。其次是小模型,有可能会给高校开源。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“我们以前很少对外发声,盘古也没有开源,所以大家对昇腾算力具体的情况不是特别了解,对模型的情况也不了解,外界就充满了猜疑。甚至认为昇腾训练不出来先进的大模型。昇腾算力能够训练出世界一流的大模型,训练高效率,推理高性能,系统高可用。第三方模型迁移到昇腾上可以做到:Day0迁移,一键部署。”他说道。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

除了前述两款模型,华为近期还推出了参数规模达7180亿新模型——盘古Ultra MoE,全流程在昇腾AI计算平台上训练。华为同时发布盘古Ultra MoE模型架构和训练方法的技术报告,披露众多技术细节。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“生态方面我们还需要努力。我们技术上会持续改进,昇腾的生态也在逐步完善,也包括对业界主流生态的兼容,全力支持好客户的发展,昇腾未来一定会越来越好。”前述技术专家对观察者网表示。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

当时他透露,华为盘古718B Ultra MoE万卡集群预训练MFU(模型算力利用率)达到41%,实验室已达到45%;CloudMatrix384超节点训练MoE大模型,MFU超过50%。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“昇腾超节点的是全对等高速互联的架构,基于系统工程的方法,对计算、内存、通信的极致优化调度,并结合昇腾特点的亲和设计和数学算法创新,实现了超级并行,后续欧拉操作系统的优化升级支持各种资源的池化管理与调度,实现业务驱动的系统最佳匹配,训练效率、推理性能还能再上一个台阶。”这位专家表示。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

近期在华为开发者大会(HDC 2025)上,华为云还发布了盘古大模型5.5,对自然语言处理(NLP)、计算机视觉(CV)、多模态、预测、科学计算五大基础模型进行升级。同时,基于CloudMatrix 384超节点的新一代昇腾AI云服务全面上线。gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

本文系观察者网独家稿件,未经授权,不得转载。 gR4速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  中新经纬3月13日电 据证监会网站13日消息,中国证监会党委传达学习习近平总书记重要讲话精神和全国两会精神。  会议指出,强化底线思维,密切跟踪国际金融市场和内外部环境变化,强化境内外、期现货市场联动监测监管;强   中新经纬3月16日电 “国家医保局”微信号16日披露2025年医疗保障事业发展统计快报。其中显示,2025年基本医疗保险参保率巩固在95%。  基本医疗保险运行  (一)参保人员情况  截至2025年底,基本医疗保险参保人   中新经纬3月15日电 15日,“成都市场监管”微信号发布情况通报称,对3.15晚会曝光企业已开展全面核查。  通报介绍,央视3.15晚会曝光“漂白鸡爪”“‘万能神药’外泌体”问题,涉及成都市蜀福香食品有限责任公司、明扬   【宅男财经|专家面对面】美东时间周四,美股三大指数集体收跌。原油价格飙升,布伦特原油2022年8月以来首次收于每桶100美元上方。  据央视新闻报道,伊朗新任最高领袖穆杰塔巴・哈梅内伊12日通过国家电视台发表首 。

本文链接:国产算力训练,华为宣布开源盘古7B稠密和72B混合专家模型http://www.sushuapos.com/show-3-148063-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 蚂蚁集团董事长CEO联合发布致辞:用AI为小微群体做更多、做更好

下一篇: 国家统计局:6月制造业PMI为49.7%

热门资讯

推荐资讯

  • 日榜
  • 周榜
  • 月榜