1月15日，“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型，包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新，以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。
未来，AI智能体有望成为最重要的产品形态，由于智能体处理的任务变得越来越复杂，涉及的数据量也越来越大，单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此，长上下文能力与多模态处理能力的提升至关重要。
技术上，MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别，受益于此次架构创新，该系列模型在处理长输入的时候具有非常高的效率，接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑，MiniMax选择模型参数量为4560亿，其中每次激活459亿，能够高效处理400万token的上下文，将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型，MiniMax-01随着输入长度变长，性能衰减最慢。
值得注意的是，MiniMax还开源了Text-01模型、VL-01模型的完整权重，以便于更多开发者做有价值、突破性的研究。MiniMax方面表示，“我们认为这有可能启发更多长上下文的研究和应用，从而更快促进Agent时代的到来，二是开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。”
1月15日，“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型，包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新，以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。
未来，AI智能体有望成为最重要的产品形态，由于智能体处理的任务变得越来越复杂，涉及的数据量也越来越大，单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此，长上下文能力与多模态处理能力的提升至关重要。
技术上，MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别，受益于此次架构创新，该系列模型在处理长输入的时候具有非常高的效率，接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑，MiniMax选择模型参数量为4560亿，其中每次激活459亿，能够高效处理400万token的上下文，将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型，MiniMax-01随着输入长度变长，性能衰减最慢。
值得注意的是，MiniMax还开源了Text-01模型、VL-01模型的完整权重，以便于更多开发者做有价值、突破性的研究。MiniMax方面表示，“我们认为这有可能启发更多长上下文的研究和应用，从而更快促进Agent时代的到来，二是开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。”
记者3月18日从兰州大学获悉，该校动物医学与生物安全学院郑海学教授团队解析了非洲猪瘟病毒（ASFV）在猪体内感染的靶细胞，以及在靶细胞内延长感染的机制。这项研究系统阐明了ASFV感染的细胞嗜性、 据韩国建国大学研究人员发表在最新一期开放获取期刊《公共科学图书馆·综合》上的一项研究，与狗共度美好时光可减轻压力，同时可增强与放松和注意力相关的脑电波。动物辅助干预措施，如犬类 3月21日，由安徽省工业和信息化厅指导、中国光伏行业协会主办、阳光电源股份有限公司承办的“PAT2024爱光伏一生一世”先进技术研讨会在合肥举办。光储高压先进技术发布会现场。阳光电源股份有 3月20日，在2024全球游戏开发者大会（GDC）上，腾讯发布了自研游戏AI引擎——GiiNEX。基于生成式AI和决策AI技术，GiiNEX将为游戏全生命周期提供丰富的AI解决方案。据悉，借助大模型等生成式AI 记者3月21日获悉，商汤科技与遥感数据平台吉林一号网、四维地球、星图地球等展开合作，此举标志着“SenseEarth智能遥感云”平台数据源全面升级，将为行业用户提供更完善、精准的一体化的高分辨率 3月22日消息，根据huawei旗舰机型迭代策略，今年上半年将发布影像旗舰huaweiP70系列。然而，这两天一张流出的图片声称huaweiP70将于3月23日开始预售，并附有各个版本的具体售价。但据媒体报道，huawei相关 。本文链接：解决传统架构记忆瓶颈 MiniMax发布新一代模型http://www.sushuapos.com/show-2-10161-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 深瞳丨AI为药物研发按下“快进键”