1月11日，阿里云宣布第八代企业级通用计算实例ECS g8i算力再升级，国内首发代号Emerald Rapids的第五代英特尔至强可扩展处理器，依托阿里云自研的“飞天+CIPU”架构体系，ECS g8i实例的整机性能最高提升85%，AI推理性能最高提升7倍，可支撑高达72B参数的大语言模型。
阿里云弹性计算产品线总经理张献涛表示：“阿里云ECS g8i实例的强劲表现，证明了以CPU为中心的计算体系同样具备加速AI推理的巨大潜力，公共云不仅可胜任超大规模的AI模型，也为AI应用加速落地开辟了新路径。”
对此，英特尔中国数据中心和人工智能集团至强客户解决方案事业部总经理李亚东解释说，最新上市的第五代英特尔至强? 可扩展处理器每个内核均内置 AI 加速功能，有能力处理要求严苛的 AI 工作负载。与上代相比，其AI训练性能提升多达 29%，AI推理能力提升高达 42%。
生成式AI掀起的技术革命，正在推动计算范式发生根本性的变化。当前，AI大模型推理在算力上依然面临诸多挑战，例如首包延迟受限于并行处理能力与浮点运算能力、吞吐性能则受限于内存带宽和网络延迟等。
阿里云ECS g8i实例针对这些难题进行了优化，包括内置指令集从AVX512升级到了Intel AMX高级矩阵扩展加速技术，可让生成式AI更快运行。相对于AVX512指令集，启用AMX AI加速后，ECS g8i 实例在int 8矩阵计算的性能最高提升7倍。基于AMX AI加速能力，g8i可更迅速地响应中小规模参数模型，运行知识检索、问答系统及摘要生成等AI工作负载时，起建成本相比A10 GPU云服务器下降50%。
与此同时，基于自研eRDMA超低延时弹性网络，阿里云g8i实例集群拥有超低延时网络和高弹性优势，可支撑72B参数级别的大语言模型分布式推理，推理性能随集群规模接近线性加速，并可支持超过32batchsize的超大参数规模的AI模型负载，运行文生图、AI生成代码、虚拟助手以及创意辅助工具等AI工作负载。
以阿里云通义千问开源的Qwen-72B大模型为例，可在g8i实例eRDMA网络构建的集群实现高效运行，在输入小于500字情况下，首包延时小于3秒，每秒可生成7个Token。
面对以大模型通用人工智能为代表的新技术，以及由此带来的工业界、产业界的新发展新模式，MBA人才教育何去何从？ 12月1日，在清 广西科学技术奖励委员会办公室关于2023年度通过广西科学技术奖行业评审进入综合评审成果的公示 根据《广西科学技术奖励 近日，北京市政府办公厅发布了《北京市关于推动科技企业孵化器创新发展的指导意见》（以下简称《指导意见》）。12月19日， “超高清双频IVUS系统于12月12日在西安交通大学第一附属医院由心血管病院院长袁祖贻团队成功完成首例冠脉介入手术（PCI）患 12月16日至17日，由中国科学院高能物理研究所主办的南方先进光源指导委员会新能源与器件工作组研讨会在位于广东东莞的中 关于发布《中国博士后科学基金资助指南（2024年度）》的通知 中博基字〔2024〕2号 各省、自治区、直辖市及新疆生产 。本文链接：阿里云：CPU为中心的计算体系也可加速AI推理http://www.sushuapos.com/show-11-2124-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 数学筑基，软件突围
下一篇： 高山书院学术管理委员会在京成立