摩尔线程联合无问芯穹宣布,双方在近日正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。该模型名为“MT-infini-3B”,在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台(https://cloud.infini-ai.com/aistudio)上完成了高效稳定的训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。
MT-infini-3B模型训练总用时13.2天,经过精度调试,实现全程稳定训练不中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval,MMLU,CMMLU等3个测试集上均实现性能领先。
MT-infini-3B性能表现
无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。”
摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”
此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。
摩尔线程联合无问芯穹宣布,双方在近日正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。该模型名为“MT-infini-3B”,在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台(https://cloud.infini-ai.com/aistudio)上完成了高效稳定的训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。
MT-infini-3B模型训练总用时13.2天,经过精度调试,实现全程稳定训练不中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval,MMLU,CMMLU等3个测试集上均实现性能领先。
MT-infini-3B性能表现
无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。”
摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”
此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。
记者19日从兰州大学获悉,天华肉羊通过国家畜禽遗传资源委员会审定鉴定,成为我国首个适应高寒气候的肉羊品种。该品种由兰州大学草地农业科技学院李发弟教授和乐祥鹏教授团队,联合甘肃省武威市天 据阿根廷布宜诺斯艾利斯经济新闻网报道,一项国际研究发现,阿尔茨海默病的早期症状可能表现在视力上。研究显示,即便眼科检查结果正常,但阅读、估计距离和触及物体的困难都是可能揭示阿尔茨海默病 据《自然》20日消息称,天文学家对91对恒星所作的光谱分析显示,大约每12个恒星中就有一个可能吞噬了一个行星。在吞噬一个行星后,恒星的化学构成可能发生改变,这个过程被称为“行星吸收”。通过比 3月22日消息,今天,数码博主“数码闲聊站”曝光了一部新款千元机的部分配置。该博主表示,欧加(OPPO/一加)有个5500mAh超大电池的千元曲屏机,正在测试IP68级防尘防水效果,主打就是防水抗摔耐用。该博主最 聊到安卓电话的拍照,大部分用户还是比较认可的,而在与iPhone电话的对比中,用户也普遍以为安卓电话的拍照水平要比iPhone更好,当然这一说法也并非空穴来风,其背后的原因直接而明确。首先,硬件配置的竞争 3月24日,记者从中国农业科学院获悉,该院蔬菜花卉研究所甘蓝类蔬菜遗传育种创新团队,开发了快速创制细胞质雄性不育系的新方法——“一步法”。相关研究日前发表在国际期刊《自然&midd 。本文链接:摩尔线程携手无问芯穹:0到1端到端大模型实训在国产GPU首次突破http://www.sushuapos.com/show-2-6255-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。