近日，中国科学院自动化研究所李国齐和徐波团队与相关单位合作，推出类脑脉冲大模型“瞬悉1.0”（SpikingBrain-1.0）。该模型基于团队原创“内生复杂性”理论，在国产千卡GPU算力平台上完成全流程训练和推理，实现大模型在超长序列推理上数量级的效率和速度提升，展现出构建国产自主可控的新型（非Transformer）大模型架构生态的可行性。研究团队开源了SpikingBrain-1.0-7B模型，开放SpikingBrain-1.0-76B测试网址，同步公开经工业界大规模验证的类脑脉冲大模型SpikingBrain-1.0中英文技术报告。
当前主流的Transformer模型存在固有缺点，即训练时开销随序列长度呈平方级增长，推理时显存占用随序列长度线性增加，造成资源消耗，导致其处理超长序列能力受限。
研发团队借鉴大脑神经元内部复杂工作机制，提出“基于内生复杂性”大模型构架方式，打造类脑脉冲大模型“瞬悉1.0”，在理论上建立脉冲神经元内生动力学与线性注意力模型之间的联系，揭示现有线性注意力机制是树突计算的特殊简化形式，展示出一条不断提升模型复杂度和性能的新型可行路径。进一步，研发团队构建并开源了基于脉冲神经元、具有线性及混合线性复杂度的新型类脑基础模型，开发出面向国产GPU集群高效训练和推理框架、Triton算子库、模型并行策略、集群通信原语。
SpikingBrain-1.0在多个性能方面实现突破：实现极低数据量高效训练、实现推理效率数量级提升、构建国产自主可控类脑大模型生态、提出基于动态阈值脉冲化的多尺度稀疏机制。
这是我国首次提出大规模类脑线性基础模型架构，并首次在国产GPU算力集群上构建类脑脉冲大模型的训练和推理框架。其超长序列处理能力在法律与医学文档分析、复杂多智能体模拟、高能粒子物理实验、DNA序列分析、分子动力学轨迹等超长序列任务建模场景中具有显著的潜在效率优势。
相关链接：
网络端的试用端口
英文技术报告
本报北京11月11日讯（记者 林焕新）11月8日，十四届全国人大常委会第十二次会议表决通过了《中华人民共和国学前教育法》（以下简称“学前教育法”），标志着学前教育步入“有专门法可依”新阶段。今天，教育部召开新闻发布会，解 中国教育报-中国教育新闻网北京11月11日讯（记者 林焕新）学前教育的发展离不开家庭、社会的共同支持。在今天教育部召开的新闻发布会上，记者获悉，学前教育法不仅对幼儿园做好保育和教育工作提出了 2021年，广西壮族自治区柳州市绘就教育共同体建设的画卷落下第一笔。三年来，柳州积极推动城市优质教育资源辐射乡村和薄弱地区常态化。2024年，柳州累计建成教育共同体52个，覆盖中小学、幼儿园共17 中国教育报-中国教育新闻网讯（记者 魏海政 通讯员 王胜利 胡勇）11月11日上午，山东省泰安市东平县旧县乡中心学校一名学生家长饱含感激之情，将一面写有“关爱生命施援手，全家不忘救命恩”的锦旗，送 对住宿在校的学生来说，特别是留守学生，最缺的就是陪伴。在湖北省襄阳市谷城县一所乡镇学校，为了让初中生在校能安心睡觉、吃饭和学习，校长每天都坚持陪餐、陪寝，和学生住在一栋宿舍楼，尽可能地陪在 中国教育报-中国教育新闻网讯（记者 任朝霞 通讯员 袁圆）“我们创作的作品名称叫《古韵新景》，是由笔挂、笔山、镇纸、砚台组成的文房四宝。”10月27日，2024年世界职业院校技能大赛总决赛争夺赛高 。本文链接：类脑脉冲大模型“瞬悉1.0”成功研发http://www.sushuapos.com/show-12-1751-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。