近日，APUS与深圳大学大数据系统计算技术国家工程实验室（以下简称“大数据国家工程实验室”）联合训练伶荔Linly-70B中文大模型，并在GitHub上正式首发开源，这是APUS大模型3.0的首个开源大模型。
据了解，APUS大模型3.0伶荔在中文基准测评榜单C-Eval上评分80.6分，中文能力超越GPT-4，在所有参评模型中排名第三，相比原始开源模型标杆LLaMa2-70B取得了大幅提升。
值得注意的是，大数据国家工程实验室由深圳大学牵头，与国家信息中心、清华大学和腾讯科技等联合建设；更有中国科学院陈国良院士、国家重点研发项目首席科学家李坚强等一批拔尖人才组成研发组，实验室副主任沈琳琳教授领导的伶荔项目团队支撑了此次模型的联合训练和开源发布。
此次APUS与大数据国家工程实验室联合训练开源的APUS大模型3.0伶荔中文大模型，进一步推动了AI技术创新与国内场景应用深化融合。“伶荔是国内仅有的几家700亿参数规模的中文开源大模型之一，相信能让更多国人开发者参与到人工智能产业大潮中。”伶荔项目团队李煜东博士如此表示。
可以看到，APUS大模型3.0伶荔中文大模型在词表大小、训练语料等方面进行了定制化调优，基于模块化增量预训练框架开发，针对中文场景扩充词表，增加汉字和中文符号支持，实现综合性能达到同量级开源模型的领先水平。在语料训练上，APUS大模型3.0伶荔采用高质量中英文公开数据源包括悟道、万卷、MNBVC等，并结合自研数据选择策略，构成模型高效训练的混合语料库。基于APUS郑州智算中心的算力支持，APUS大模型3.0伶荔耗时3个月完成训练，当前上下文长度设定为4K（约8000-10000汉字）。
此外，伶荔项目团队还提出课程学习策略，基于动态数据采样，在训练中调整数据的分布，实现将模型的英文语言能力平稳迁移学习到中文能力领域，为训练出高性能中文大模型提供有力保障。
随着APUS大模型3.0伶荔的联合发布、开源，国产开源大模型向构建中文场景大型语言模型又迈出了重要一步。此次合作也是双方深化践行“为中国定制人工智能大模型，积极构建人工智能生态，让大模型应用和价值创造接轨”战略的重要举措。
据悉，APUS还将与大数据国家工程实验室持续推动模型的能力提升和应用拓展，积极探索深化大模型在工具使用、剧情生成和角色扮演、医疗等领域的专业能力，聚力构建大模型生态，让为中国打造的AI大模型真正驱动中国AI产业高质量发展，实现价值共创，赋能千行万业。
近日，APUS与深圳大学大数据系统计算技术国家工程实验室（以下简称“大数据国家工程实验室”）联合训练伶荔Linly-70B中文大模型，并在GitHub上正式首发开源，这是APUS大模型3.0的首个开源大模型。
据了解，APUS大模型3.0伶荔在中文基准测评榜单C-Eval上评分80.6分，中文能力超越GPT-4，在所有参评模型中排名第三，相比原始开源模型标杆LLaMa2-70B取得了大幅提升。
值得注意的是，大数据国家工程实验室由深圳大学牵头，与国家信息中心、清华大学和腾讯科技等联合建设；更有中国科学院陈国良院士、国家重点研发项目首席科学家李坚强等一批拔尖人才组成研发组，实验室副主任沈琳琳教授领导的伶荔项目团队支撑了此次模型的联合训练和开源发布。
此次APUS与大数据国家工程实验室联合训练开源的APUS大模型3.0伶荔中文大模型，进一步推动了AI技术创新与国内场景应用深化融合。“伶荔是国内仅有的几家700亿参数规模的中文开源大模型之一，相信能让更多国人开发者参与到人工智能产业大潮中。”伶荔项目团队李煜东博士如此表示。
可以看到，APUS大模型3.0伶荔中文大模型在词表大小、训练语料等方面进行了定制化调优，基于模块化增量预训练框架开发，针对中文场景扩充词表，增加汉字和中文符号支持，实现综合性能达到同量级开源模型的领先水平。在语料训练上，APUS大模型3.0伶荔采用高质量中英文公开数据源包括悟道、万卷、MNBVC等，并结合自研数据选择策略，构成模型高效训练的混合语料库。基于APUS郑州智算中心的算力支持，APUS大模型3.0伶荔耗时3个月完成训练，当前上下文长度设定为4K（约8000-10000汉字）。
此外，伶荔项目团队还提出课程学习策略，基于动态数据采样，在训练中调整数据的分布，实现将模型的英文语言能力平稳迁移学习到中文能力领域，为训练出高性能中文大模型提供有力保障。
随着APUS大模型3.0伶荔的联合发布、开源，国产开源大模型向构建中文场景大型语言模型又迈出了重要一步。此次合作也是双方深化践行“为中国定制人工智能大模型，积极构建人工智能生态，让大模型应用和价值创造接轨”战略的重要举措。
据悉，APUS还将与大数据国家工程实验室持续推动模型的能力提升和应用拓展，积极探索深化大模型在工具使用、剧情生成和角色扮演、医疗等领域的专业能力，聚力构建大模型生态，让为中国打造的AI大模型真正驱动中国AI产业高质量发展，实现价值共创，赋能千行万业。
记者19日从西北大学获悉，该校地质学系、大陆动力学国家重点实验室刘鹏副教授与中国地质大学（北京）李国武教授团队申请的两种新矿物，近日经国际矿物学学会新矿物命名与分类专业委员会审查、投票，均 据阿根廷布宜诺斯艾利斯经济新闻网报道，一项国际研究发现，阿尔茨海默病的早期症状可能表现在视力上。研究显示，即便眼科检查结果正常，但阅读、估计距离和触及物体的困难都是可能揭示阿尔茨海默病 “当时是怎样选中低空经济这个领域，并且来深圳发展的？”面对这个关乎事业发展的问题，“95后”台青张晏纶坦言，“这是一场面试带来的惊喜。”张晏纶来自台湾台中市，本科就读于台湾成功大学机械工程 科技日报从哈尔滨工业大学获悉，北京时间2024年3月20日8时31分28秒，“天都一号”“天都二号”通导技术试验星伴随探月工程四期鹊桥二号中继星任务搭乘长征八号遥三运载火箭从文昌航天发射场发射 记者3月21日从安徽师范大学获悉，该校生命科学学院张方教授课题组通过野外自然抱对、控制实验下抱对以及视频回放等实验手段，证实他们前期提出的，眨眼行为可能在雌性凹耳蛙性选择中起着重要作用 3月18日，记者从中南大学生殖与干细胞研究所获悉，研究所林戈、卢光琇教授团队提出的一项新理论称，原始生殖细胞的性染色体组成在人类性别决定中起关键作用。相关论文日前发表于国际生殖领域杂志 。本文链接：赶超GPT-4！APUS大模型3.0伶荔问世http://www.sushuapos.com/show-2-2779-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 上交所专项工作组调研进行时：已走访 30 余家科创板上市公司
下一篇： 国产工业软件为装备数字化提供核心支撑