近日,在美国圣迭戈市举行的计算机体系结构重要国际会议ASPLOS上,由鹏城实验室智能计算研究部、清华大学计算机系教授陈文光团队自主研发的国产千卡集群训练优化技术AdaPipe正式发布。
近年来,大规模语言模型在对话、问答和文本总结等多种应用场景中展现出卓越性能,受到了学术界和工业界的广泛关注。然而,随着大规模语言模型逐渐朝着更多的参数量和更长的文本进行演化,对计算设备的存储和处理能力也提出了更高要求。
当前,传统的流水线并行训练方法在处理百、千亿参数的模型时会产生存储和计算负载不均衡的现象,直接影响了资源利用率和整体训练效率;同时,由于现有国产算力卡存在高速内存容量和通信能力不足的情况,使得这一问题显得更加突出。
为解决上述问题,陈文光团队开发了AdaPipe技术,该技术根据具体的模型和硬件参数,通过细化重计算的粒度来优化重计算策略,并考虑到训练各阶段计算量的差异,进一步对重计算和流水线切分策略进行优化。该技术不仅将存储资源的利用率最大化,还确保不同计算节点上的计算负载得以平衡分配,训练效率显著提升了。
该研究显示,AdaPipe支持GPU、NPU主流加速卡,该技术被应用在“鹏城云脑II”的国产千卡集群上训练多种模型(如Llama-2,GPT 3等)时,实现了20%以上的性能提升。此外,AdaPipe在“鹏城·脑海”通用大模型(200B)4K窗口3456卡的实际训练中,取得了10%以上的效率提升。这些案例将为未来万卡国产集群上的优化训练提供技术储备和经验参考。
上述技术的研发得到国家自然科学基金和鹏城实验室的支持和资助。
相关论文信息:https://doi.org/10.1145/3620666.3651359
面对以大模型通用人工智能为代表的新技术,以及由此带来的工业界、产业界的新发展新模式,MBA人才教育何去何从? 12月1日,在清 “太忙了。”这是清华大学人工智能(AI)国际治理研究院副院长梁正面对记者脱口而出的一句话。 去年11 12月19日,《自然-计算科学》发表的一项研究描述了一种机器学习方法,能够从不同方面准确预测人类生活,包括早死可能性和 ·“我相信,有一天我们将能够以像手术那样的精确度来改变致病基因。” ·“目前还没有在大脑中使用任 科技日报讯 (记者张梦然)美国罗切斯特大学研究人员报告了一种策略,用于了解在具有完全化学复杂性的溶剂中,分子如何失去 ? 夏培肃 (1923.7.28—2014.8.27),四川江津人 (今重庆江津),著名计算机专家和教育家,我国计算机研究的先驱和计算机事业 。本文链接:国产千卡集群训练优化技术AdaPipe发布http://www.sushuapos.com/show-11-5846-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: OpenAI CEO:看好人形机器人,未来人类不必再掌握计算机科学
下一篇: 多管齐下让人工智能更节能