记者6月1日获悉，浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上，创新性提出和采用了基于注意力机制的门控网络技术，构建包含32个专家的混合专家模型（MoE），大幅提升了模型算力效率。模型运行时激活参数37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
据介绍，针对MoE模型核心的专家调度策略，“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络，关注专家模型之间的协同性度量，可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题，大幅提升专家之间协同处理数据的水平。
据悉，“源2.0-M32”以“源2.0-2B”为基础模型设计，沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性，再计算全局关联性”的方法，它能更好地学习自然语言的局部和全局语言特征。
在数据层面，“源2.0-M32”基于超2万亿token（文本中最小的语义单元）进行训练，覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面，“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。
基于在算法、数据和算力方面的创新，“源2.0-M32”性能大幅提升，在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。
浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示，大模型在性能不断提升的同时，也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台，将助力企业实现更快的技术迭代与高效的应用落地，为人工智能产业发展提供坚实底座，加速产业智能化进程。”他说。
记者6月1日获悉，浪潮电子信息产业股份有限公司近日发布“源2.0-M32”开源大模型。“源2.0-M32”在“源2.0”系列大模型基础上，创新性提出和采用了基于注意力机制的门控网络技术，构建包含32个专家的混合专家模型（MoE），大幅提升了模型算力效率。模型运行时激活参数37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
据介绍，针对MoE模型核心的专家调度策略，“源2.0-M32”采用的新型算法结构——基于注意力机制的门控网络，关注专家模型之间的协同性度量，可解决传统门控网络下选择两个或多个专家参与计算时关联性缺失问题，大幅提升专家之间协同处理数据的水平。
据悉，“源2.0-M32”以“源2.0-2B”为基础模型设计，沿用并融合局部过滤增强注意力机制。通过“先学习相邻词之间的关联性，再计算全局关联性”的方法，它能更好地学习自然语言的局部和全局语言特征。
在数据层面，“源2.0-M32”基于超2万亿token（文本中最小的语义单元）进行训练，覆盖万亿量级的代码、中英文书籍、百科、论文及合成数据。在算力层面，“源2.0-M32”为硬件差异较大的训练环境提供了一种高性能训练方法。
基于在算法、数据和算力方面的创新，“源2.0-M32”性能大幅提升，在数学竞赛、科学推理榜单上的得分超过700亿参数的LLaMA3开源大模型。
浪潮电子信息产业股份有限公司人工智能首席科学家吴韶华表示，大模型在性能不断提升的同时，也面临着所需算力大幅攀升的问题。“源2.0-M32”将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。“‘源2.0-M32’开源大模型配合企业大模型开发平台，将助力企业实现更快的技术迭代与高效的应用落地，为人工智能产业发展提供坚实底座，加速产业智能化进程。”他说。
科技日报从哈尔滨工业大学获悉，北京时间2024年3月20日8时31分28秒，“天都一号”“天都二号”通导技术试验星伴随探月工程四期鹊桥二号中继星任务搭乘长征八号遥三运载火箭从文昌航天发射场发射 据中国科学院武汉植物园消息，我国科研人员在大别山区开展植物多样性科学考察时，发现了天门冬科天门冬属新物种，并将其命名为大别山天门冬。相关研究成果日前发表在国际知名植物分类学期刊《植物 3月15日，我国一些地区停止居民集中供热。初春时节，乍暖还寒。停暖初期昼夜温差较大，老人、儿童等身体较弱者，可能需要使用电暖气、电热毯等取暖设备，这导致部分家庭近来用电量增加。最近，一款名为 据韩国建国大学研究人员发表在最新一期开放获取期刊《公共科学图书馆·综合》上的一项研究，与狗共度美好时光可减轻压力，同时可增强与放松和注意力相关的脑电波。动物辅助干预措施，如犬类 英伟达的GPU又升级了。3月19日，英伟达CEO黄仁勋发布了最新的B200算力芯片GPU，FP8精度下的训练性能是上一代的2.5倍，FP4精度下的推理性能更是达到了上一代的5倍。然而，这场技术狂欢背后，却令AI领域 作为功能机时代的霸主，诺基亚手机曾经创造了巨大的辉煌，但也因错失智能手机发展机遇而“掉队”。近期，外媒Visual Capitalist统计了有史以来最畅销的15款手机型号，其中诺基亚和苹果包揽前十。今 。本文链接：“源2.0-M32”开源大模型发布http://www.sushuapos.com/show-2-6528-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 用人工智能解决心理问题 抑郁状态识别模型准确率达90%
下一篇： 智能云打印破解远程打印难题