以大模型为代表的新一代人工智能技术是引领新一轮科技革命和产业变革的战略性技术和重要驱动力量,随着对算力需求的日益高涨,人工智能算力底座公司日益成为新一波人工智能技术浪潮重要组成部分。
2024年5月,摩尔线程与智谱AI开展了新一轮GPU 大模型适配及性能测试,包括大模型推理以及基于夸娥(KUAE)千卡智算集群的大模型预训练。测试用相关大模型来自智谱AI基座大模型及其开源版本。
测试结果表明,在推理方面,摩尔线程自研全功能GPU显著优于基准对比产品RTX 3090和RTX 4090,在全部测试用例中优于RTX 3090,在多batch下优于RTX 4090;在训练方面,摩尔线程夸娥千卡智算集群训练精度与A100集群误差在1%以内,夸娥千卡智算集群性能扩展系数超过90%,模型算力利用率(MFU)与A100集群相当。
智谱AI致力于打造新一代认知智能大模型,专注于做大模型的中国创新。早在2022年8月,智谱AI开源了GLM-130B模型,2023 年,智谱 AI 推出千亿基座对话模型ChatGLM,开源版本的 ChatGLM-6B 让大模型开发者的本地微调和部署成为可能,在开源社区受到广泛欢迎。从自主开发的原创GLM预训练框架搭建之初,智谱AI就十分注意算力利用率问题。通过国产算力适配,智谱AI已支持10余种国产硬件生态,努力推动建设大模型软硬件生态和与国产芯片企业的联合创新与升级。
摩尔线程出色的测试结果对于更好建设中国大模型产品技术生态具有重要意义。
技术自主新突破:摩尔线程千卡智算集群成功应用ChatGLM预训练,标志着摩尔线程全功能GPU算力底座有能力支撑行业领先的大模型全链条研发,有助于增强技术自主性,保障信息安全。大模型训练与推理将能够在全国产可控的算力底座上运行,在满足信息安全的前提下服务于千行百业,成为发展AI+新质生产力的核心力量。
助力打破算力瓶颈:Scaling laws(尺度定律)已经预示了AGI技术发展对算力日益增长的需求规律,同时也表明有限的算力供应可能成为制约大模型发展的关键瓶颈。本次测试结果显示,国产GPU算力底座有能力助力中国人工智能技术发展。摩尔线程作为国产GPU的代表,将助力提高大模型迭代速度和自研水平,助推中国大模型更好发展。
开拓创新空间:算法、算力、数据是AGI技术的核心要素,摩尔线程与智谱AI卓有成效的适配与测试合作,有利于推动实现软硬件的深度融合与协同创新,有利于助力中国大模型实现更好发展。
降低运营成本:摩尔线程凭借自研国产全功能GPU,致力于构建先进的AGI算力底座,不仅能够兼容适配全球主流AI软件生态,节约软件迁移成本,而且在单位算力总体拥有成本上拥有较为明显优势,能够有效降低大模型产品研发成本。
智谱AI硬件适配与测试负责人表示:“摩尔线程夸娥千卡智算集群在计算精度和稳定性等方面的表现令人印象深刻,智谱AI将与包括摩尔线程在内的大模型产业生态合作伙伴携手,共同推动大模型产业生态繁荣发展。”
以大模型为代表的新一代人工智能技术是引领新一轮科技革命和产业变革的战略性技术和重要驱动力量,随着对算力需求的日益高涨,人工智能算力底座公司日益成为新一波人工智能技术浪潮重要组成部分。
2024年5月,摩尔线程与智谱AI开展了新一轮GPU 大模型适配及性能测试,包括大模型推理以及基于夸娥(KUAE)千卡智算集群的大模型预训练。测试用相关大模型来自智谱AI基座大模型及其开源版本。
测试结果表明,在推理方面,摩尔线程自研全功能GPU显著优于基准对比产品RTX 3090和RTX 4090,在全部测试用例中优于RTX 3090,在多batch下优于RTX 4090;在训练方面,摩尔线程夸娥千卡智算集群训练精度与A100集群误差在1%以内,夸娥千卡智算集群性能扩展系数超过90%,模型算力利用率(MFU)与A100集群相当。
智谱AI致力于打造新一代认知智能大模型,专注于做大模型的中国创新。早在2022年8月,智谱AI开源了GLM-130B模型,2023 年,智谱 AI 推出千亿基座对话模型ChatGLM,开源版本的 ChatGLM-6B 让大模型开发者的本地微调和部署成为可能,在开源社区受到广泛欢迎。从自主开发的原创GLM预训练框架搭建之初,智谱AI就十分注意算力利用率问题。通过国产算力适配,智谱AI已支持10余种国产硬件生态,努力推动建设大模型软硬件生态和与国产芯片企业的联合创新与升级。
摩尔线程出色的测试结果对于更好建设中国大模型产品技术生态具有重要意义。
技术自主新突破:摩尔线程千卡智算集群成功应用ChatGLM预训练,标志着摩尔线程全功能GPU算力底座有能力支撑行业领先的大模型全链条研发,有助于增强技术自主性,保障信息安全。大模型训练与推理将能够在全国产可控的算力底座上运行,在满足信息安全的前提下服务于千行百业,成为发展AI+新质生产力的核心力量。
助力打破算力瓶颈:Scaling laws(尺度定律)已经预示了AGI技术发展对算力日益增长的需求规律,同时也表明有限的算力供应可能成为制约大模型发展的关键瓶颈。本次测试结果显示,国产GPU算力底座有能力助力中国人工智能技术发展。摩尔线程作为国产GPU的代表,将助力提高大模型迭代速度和自研水平,助推中国大模型更好发展。
开拓创新空间:算法、算力、数据是AGI技术的核心要素,摩尔线程与智谱AI卓有成效的适配与测试合作,有利于推动实现软硬件的深度融合与协同创新,有利于助力中国大模型实现更好发展。
降低运营成本:摩尔线程凭借自研国产全功能GPU,致力于构建先进的AGI算力底座,不仅能够兼容适配全球主流AI软件生态,节约软件迁移成本,而且在单位算力总体拥有成本上拥有较为明显优势,能够有效降低大模型产品研发成本。
智谱AI硬件适配与测试负责人表示:“摩尔线程夸娥千卡智算集群在计算精度和稳定性等方面的表现令人印象深刻,智谱AI将与包括摩尔线程在内的大模型产业生态合作伙伴携手,共同推动大模型产业生态繁荣发展。”
3月17日记者获悉,哈尔滨医科大学公共卫生学院副院长、教授田懋一与副研究员叶鹏鹏团队在一项研究中提出,应将预防老年人跌倒与国家基本公共卫生服务中各项服务流程融合起来。该研究全面梳理了 据英国《泰晤士报》网站3月15日报道,2020年1月,英国帝国理工学院的亚当·汉普希尔与英国广播公司合作,对8万人进行了30分钟的测试,目的是揭示生活方式的改变会影响我们的大脑功能。三个月 肺癌是全球死亡率最高的恶性肿瘤。其中非小细胞肺癌(NSCLC)占比达到85%。表皮生长因子受体(EGFR)是NSCLC最常见的驱动突变基因。现在,一个国际科学家团队首次证明,EGFR的一个关键界面可能会成为更 2024年03月19日,以“初心如磐•向新出发”为主题的2024智能家居UP峰会CSHIA智能家居开年盛典在杭州成功举行。大会现场,由全国专业标准化技术委员会委员、CSHIA秘书长、中智盟投资创始人周 3月22日消息,根据huawei旗舰机型迭代策略,今年上半年将发布影像旗舰huaweiP70系列。然而,这两天一张流出的图片声称huaweiP70将于3月23日开始预售,并附有各个版本的具体售价。但据媒体报道,huawei相关 “啪嗒啪嗒......”一只机器狗在街上迈着规律的步伐,拉着牵引绳的盲人,在它的带领下越过沿路障碍,平稳地行走着,电子导盲犬能否取代传统导盲犬,解决视障人士一犬难求的困境?西工大团队在这方面开展 。本文链接:性能新突破!国产千卡智算集群助力国产大模型训推http://www.sushuapos.com/show-2-6885-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
下一篇: 姚期智:瞄准前沿科技战略高地再接再厉