6月17日记者获悉,由北京智源研究院(以下简称智源)打造的FlagEval天秤大模型评测平台实现了全面升级,并公布202406期FlagEval模型评测排行榜单。最新一期榜单显示,百度文心大模型、字节跳动“云雀”和“豆包”大模型的综合评分在闭源对话模型中位列前三,GPT-4o、百川、零一万物、kimi等紧随其后。
智源FlagEval榜单截图。 来源:智源
据了解,FlagEval天秤大模型评测平台是北京智源研究院推出的开放的大模型评测体系,自2023年发布以来,该评测平台已从主要面向语言模型扩展到视频、语音、多模态模型,实现多领域全覆盖,目前已评测国内外 300 余个开源和商业闭源的语言及多模态大模型。资料显示,FlagEval大语言模型评测体系当前包含6大评测任务,近30个评测数据集,超10万道评测题目。6月的评测结果显示,在中文语境下,文心大模型等国内头部语言模型的综合表现出色。
就在上周,国际数据公司(IDC)发布的《中国大模型市场主流产品评估,2024》中,百度文心一言、阿里通义千问和OpenAI GPT-4等也位于第一梯队,其中,百度是唯一一家在问答理解类、推理类、创作表达类、数学类、代码类的基础能力,toC通用场景类、toB特定行业类的应用能力等7个维度上均为“优势厂商”的企业。阿里获6项优势维度,OpenAI GPT-4和商汤分获5项。
截图自IDC《中国大模型市场主流产品评估,2024》。
12月11~15日,第32届Texas相对论天体物理学研讨会(Texas Symposium on Relativistic Astrophysics)在上海交通大学李政 面对以大模型通用人工智能为代表的新技术,以及由此带来的工业界、产业界的新发展新模式,MBA人才教育何去何从? 12月1日,在清 一种使用深度学习方法设计出来的新蛋白质。图片来源:华盛顿大学医学院蛋白质设计研究所 美国科学家借助机器学习 12月16日,纪念姜维壮教授诞辰百年学术研讨会暨中国财税史研究院2023年年会在中央财经大学召开。在会上,与会者深切缅怀我 科技日报讯 (记者张梦然)日本大阪都立大学科学家设计了一种高效、无创、无痛的方法,从尿液样本中重新编程犬类干细胞,使 河南省科学技术厅关于2024年度河南省国际科技合作项目拟立项项目的公示 根据《河南省科技计划项目管理办法(试行)》 。本文链接:IDC、智源最新一期大模型评测结果出炉http://www.sushuapos.com/show-11-7354-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 中国科大人工智能与人形机器人前沿论坛举行