观察者网获悉,本次世界人工智能大会(WAIC),华为将首次线下展出昇腾384超节点真机。
随着大模型训练和推理对算力需求的爆炸式增长,传统计算架构已难以支撑AI技术的代际跃迁。华为昇腾384超节点,首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联,形成一台超级“AI服务器”,单卡推理吞吐量跃升到2300 Tokens/s。
在高速互联总线联接下,昇腾384超节点共由12个计算柜和4个总线柜构成,是目前业界最大规模的超节点,算力总规模达300Pflops,是英伟达NVL72的1.7倍;网络互联总带宽达269TB/s,比英伟达NVL72提升107%;内存总带宽达1229TB/s,比英伟达NVL72提升113%。 更重要的是,通过最佳负载均衡组网等方案,昇腾超节点还能进一步扩展为包含数万卡的Atlas 900 SuperCluster超节点集群,未来可以支撑更大规模的模型演进。
并且,超节点架构还能更好地支持混合专家MoE大模型的推理,可以实现“一卡一专家”,一个超节点可以支持384个专家并行推理,极大提升效率。同时,超节点还可以支持“一卡一算力任务”,灵活分配资源,提升任务并行处理,减少等待,将算力有效使用率(MFU)提升50%以上。
中新经纬3月15日电 “互联网联合辟谣平台”公众号15日消息,当前,涉企网络谣言多发频发,扰乱企业生产经营秩序,破坏市场公平竞争环境,影响经济预期和发展信心。各级网信部门高度重视优化营商网络环境工作,中央网信办违法 中新经纬3月14日电 美东时间周五,美股三大指数全线收跌。道指跌0.26%报46558.47点,纳指跌0.93%报22105.36点,标普500指数跌0.61%报6632.19点。 Wind截图 大型科技股集体下跌,万得美国科技七巨头指数跌1.59%。个 中新经纬3月13日电 珍宝岛13日盘后公告,3月12日收到公司董事长方同华的书面辞职报告。方同华因身体原因辞去公司董事长及董事职务,同时辞去公司董事会战略与投资委员会召集人、提名委员会、审计委员会和薪酬与考核 中新经纬3月12日电 周四,A股三大指数开盘涨跌不一,沪指低开0.01%,深成指低开0.05%,创业板指高开0.22%。 Wind截图 盘面上,PTA、碳纤维、石油等板块指数涨幅居前,贵金属、汽车拆解、机场航运等板块指数跌幅居前。 。
本文链接:华为将首次展出“算力核弹”真机http://www.sushuapos.com/show-3-149663-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 字节跳动新加坡员工中毒事件宣判:云海肴被罚7000新元
下一篇: “雪糕刺客”钟薛高:从高端狂飙到破产收场