近年来,深度学习网络凭借卓越的能力,在不同领域取得了成果,但训练出高质量的深度学习网络面临挑战。尽管可视化方法为深度学习网络训练提供了辅助,但当前主流的事后分析策略在实际应用中存在较多问题,如数据量庞大导致存储困难、I/O开销过高以及无法实现实时干预等。特别是对于深度学习网络训练过程产生的海量时间序列数据,现有工具难以从中提取出详细的训练过程信息,这阻碍了模型优化。
中国科学院计算机网络信息中心先进交互式应用与发展部团队创新性地提出了针对深度学习模型训练数据的原位可视分析框架,形成了原位特征提取算法和神经元学习模式抽象算法。原位特征提取算法在模型运行时复用内存数据,实时分析动态数据,解决了传统事后分析的数据存储和I/O瓶颈问题;而神经元学习模式抽象算法则基于原位特征数据,抽象出神经元的三种学习模式,为可视分析提供支持。
这一框架在性能方面表现良好,对千万参数深度神经网络模型的时序训练数据压缩率可达1% ,能够支撑训练全过程的问题可视分析与回溯,可以实现batch level神经元信息可视化,为深度学习模型优化提供全新视角和支持。
相关研究成果被IEEE Transactions on Visualization and Computer Graphics录用。研究工作得到国家自然科学基金和中国科学院战略性先导科技专项的支持。
深度学习模型原位分析流程
深度学习模型原位可视分析系统
中国教育报-中国教育新闻网讯(记者 刘玉)记者近日获悉,辽宁在全省14个市共设计了46条精品研学路线,并由鲁迅美术学院全国高校黄大年式教师团队设计制作了14张研学路线图,以此进一步丰富中小学研学 “我要做三个香包,送给爸爸、妈妈和外婆!”幼儿小花(化名)在家长义工的帮助下,将研磨好的香材放入布袋中,小小香包承载了亲子间浓厚的温情。走入广州市越秀区东方红幼儿园,一轮“明月”耀眼夺目,两只 中国教育报-中国教育新闻网讯(通讯员 李觅 记者 阳锡叶)日前,湖南省高雅艺术进校园活动启动仪式暨话剧《深海养牛人》首演在湖南大剧院举行,1200余名师生观看了演出。湖南省高雅艺术进校园活动由 中国教育报-中国教育新闻网讯(记者 阿妮尔 通讯员 徐磊)日前,南京邮电大学联合中北大学、河北科技大学和临沂大学举办八路军红色文化思政育人研讨会。据悉,此次研讨会是四校进一步用好红色资源,落 ◎摘 要 加大对学生的认知规律和接受特点的研究,发挥学生主体性作用,对推动思政课建设内涵式发展,不断提高思政课的针对性和吸引力具有重要意义。思政课的传统教学方式在大学生心理接受方面存 ◎摘 要 高校作为统筹推进教育科技人才体制机制一体改革的先行区和试验田,要以更高的政治站位、更强的使命担当、更远的战略眼光深入实施人才强校战略。坚持党管人才,健全统一高效的人才工作 。本文链接:深度学习模型的原位可视分析研究取得进展http://www.sushuapos.com/show-12-664-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。