1月15日，“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型，包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新，以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。
未来，AI智能体有望成为最重要的产品形态，由于智能体处理的任务变得越来越复杂，涉及的数据量也越来越大，单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此，长上下文能力与多模态处理能力的提升至关重要。
技术上，MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别，受益于此次架构创新，该系列模型在处理长输入的时候具有非常高的效率，接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑，MiniMax选择模型参数量为4560亿，其中每次激活459亿，能够高效处理400万token的上下文，将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型，MiniMax-01随着输入长度变长，性能衰减最慢。
值得注意的是，MiniMax还开源了Text-01模型、VL-01模型的完整权重，以便于更多开发者做有价值、突破性的研究。MiniMax方面表示，“我们认为这有可能启发更多长上下文的研究和应用，从而更快促进Agent时代的到来，二是开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。”
1月15日，“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型，包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新，以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。
未来，AI智能体有望成为最重要的产品形态，由于智能体处理的任务变得越来越复杂，涉及的数据量也越来越大，单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此，长上下文能力与多模态处理能力的提升至关重要。
技术上，MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别，受益于此次架构创新，该系列模型在处理长输入的时候具有非常高的效率，接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑，MiniMax选择模型参数量为4560亿，其中每次激活459亿，能够高效处理400万token的上下文，将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型，MiniMax-01随着输入长度变长，性能衰减最慢。
值得注意的是，MiniMax还开源了Text-01模型、VL-01模型的完整权重，以便于更多开发者做有价值、突破性的研究。MiniMax方面表示，“我们认为这有可能启发更多长上下文的研究和应用，从而更快促进Agent时代的到来，二是开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。”
监管AI，欧盟出手，美国掉队？ 上个世纪，科幻小说家艾萨克・阿西莫夫提出了“机器人三定律”，带来了对“机器人”与“规则”的美好幻想。 如今，伴随着ChatGPT、Sora的爆火，人工智能(AI)领域的激烈竞争，对该领域的监管 21世纪经济报道记者王峰北京报道 近日，全球教育集团培生（NYSE：PSO）公布2023财年财报。2023财年，培生的销售额为36.74亿英镑（下同），同比下降4%，但基础销售额同比增长1%；调整后营业利润5.73亿，同 英伟达AI风暴席卷医疗行业 “AI制药”是风口还是泡沫？ 季媛媛 全球医疗健康行业正刮起最强AI风暴。 当地时间3月18日，全球瞩目的顶级AI盛会――英伟达2024年GPU技术大会(NVIDIA GTC 2024)正式开幕。据相关 联合国机构3月20日发布的《全球电子垃圾监测》报告显示，2022年全球范围内共产生6200万吨电子垃圾，其中仅有不到四分之一被回收利用。报告显示，2022年全球电子垃圾的产生量相比2010年增长了82%。 3月23日消息，vivo即将于3月26日发布vivo X Fold3系列折叠屏电话，其中包含vivo X Fold3和vivo X Fold3 Pro两款新品。据悉，vivo X Fold3采用了首发的碳纤维龙骨铰链，重量仅为219克，厚度为4.65毫米。相 3月21日，人工智能大模型赋能企业科技创新研讨会在广州召开。中国知网在会议期间发布了专利大数据智能应用产品“AI Pat+”。据中国知网相关负责人介绍，中国知网在人工智能大模型领域的深入研发 。本文链接：解决传统架构记忆瓶颈 MiniMax发布新一代模型http://www.sushuapos.com/show-2-10161-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 深瞳丨AI为药物研发按下“快进键”