摩尔线程联合无问芯穹宣布,双方在近日正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。该模型名为“MT-infini-3B”,在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台(https://cloud.infini-ai.com/aistudio)上完成了高效稳定的训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。
MT-infini-3B模型训练总用时13.2天,经过精度调试,实现全程稳定训练不中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval,MMLU,CMMLU等3个测试集上均实现性能领先。
MT-infini-3B性能表现
无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。”
摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”
此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。
摩尔线程联合无问芯穹宣布,双方在近日正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。该模型名为“MT-infini-3B”,在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台(https://cloud.infini-ai.com/aistudio)上完成了高效稳定的训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。
MT-infini-3B模型训练总用时13.2天,经过精度调试,实现全程稳定训练不中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval,MMLU,CMMLU等3个测试集上均实现性能领先。
MT-infini-3B性能表现
无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。”
摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”
此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。
据英国《自然》杂志网站19日报道,美国华盛顿大学科学家首次使用生成式人工智能(AI)工具,帮助他们制造全新抗体。研究团队表示,AI设计抗体或能更好靶向一些很难被攻击的药物标靶,但这些抗体距离临床 据中国科学院武汉植物园消息,我国科研人员在大别山区开展植物多样性科学考察时,发现了天门冬科天门冬属新物种,并将其命名为大别山天门冬。相关研究成果日前发表在国际知名植物分类学期刊《植物 3月22日黎明,太阳系中最明亮的行星金星与太阳系中拥有最多卫星的行星土星将在东南方低空近距离相伴,上演“结伴游”。北京星空摄影爱好者王俊峰2023年1月23日在北京西城区拍摄的金星(左上)、土星 眼眸深邃似海、璨如星河,中国医学科学院生物医学工程研究所眼科诊疗技术研发团队(以下简称“团队”)正是眼眸“侦探”。该团队不久前被授予“国家卓越工程师团队”称号。别看人眼只有8克左右,却 3月21日,人工智能大模型赋能企业科技创新研讨会在广州召开。中国知网在会议期间发布了专利大数据智能应用产品“AI Pat+”。据中国知网相关负责人介绍,中国知网在人工智能大模型领域的深入研发 科学杂志《成瘾》3月21日发表的一项新研究显示,刚开始吸烟和终生吸烟都可能增加腹部脂肪,特别是内脏脂肪。内脏脂肪与心脏病、糖尿病、中风和痴呆症的高风险有关。吸烟者相较于不吸烟者,通常体 。本文链接:摩尔线程携手无问芯穹:0到1端到端大模型实训在国产GPU首次突破http://www.sushuapos.com/show-2-6255-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。