近日，鹏城实验室网络智能研究部视觉智能研究所与中国科学院大学电子电气与通信工程学院共同合作，分别在GitHub和OpenI启智社区开源了物理传热启发的高效视觉表征模型vHeat。
vHeat与ViT核心算子计算复杂度对比。研究团队供图
研究团队认为，CNN和ViT的卷积算子与自注意力算子都是特征内部的像素传播过程，分别是一种信息传递的形式，从而联想到物理领域的热传导，因此提出了基于热传导的视觉表征模型vHeat。vHeat将图片特征块视为热源，通过预测热扩散率，以物理学热传导原理来提取图像特征。
相比基于Attention机制的视觉模型，vHeat同时兼顾了低计算复杂度、全局感受野、物理可解释性等特性，计算复杂度降低为1.5次方。
HCO与HCO Layer示意图。研究团队供图
研究团队根据热传导方程，将视觉语义的空间传播和物理热传导建立联系，根据傅里叶变换求得通解，并依据通解进行离散化和通道维度扩展，提出了一种1.5次方计算复杂度的视觉热传导算子（Heat Conduction Operator，HCO）。
此外，团队认为不同图像内容对应不同的热扩散率，提出了频率值编码（Frequency Value Embeddings，FVEs)来表示频率信息，并采用FVEs来预测热扩散率，使得HCO可进行非均匀、自适应的传导。
用FVEs预测热扩散率，形成非均匀、自适应的传导。研究团队供图
实验证明，vHeat在各种视觉任务中表现优秀。例如vHeat-T在ImageNet-1K上分类准确率达到82.2%，比Swin-T高0.9%，比Vim-S高1.7%。除性能优势之外，vHeat还拥有高推理速度、低GPU显存占用和低FLOPs等优点。在输入图像分辨率较高时，相比于Swin，base规模的vHeat模型达到3倍吞吐量，同时GPU显存占用为其1/4倍，FLOPs为其3/4倍。
vHeat这一创新性研究成果为视觉模型的发展提供了新的方向和思路。未来，研究团队将继续推进新型视觉模型研究，为模型在各行业、多领域的人工智能发展和应用贡献力量。
中新网广州12月3日电 (记者 蔡敏婕)人工智能是人类发展新领域。当前，全球人工智能技术快速发展，对经济社会发展和人类 这些年，我们为什么越来越频繁提到创新？因为只有在原始创新上持续发力，在基础理论方法上有所突破，我们才能摆脱对国外的 中新网上海12月19日电 (记者 许婧)上海交通大学分析测试中心实验动物中心新大楼启用仪式19日举行。随着新大楼的落成，一 近日，日本政府批准了一项立法，要求6所顶尖大学成立新的管理政策委员会，使外部专家在决策中有更大的发言权。 据《科 2023年12月28日，陕西省审计厅在官网发布《2023年第9号审计结果公告》，其中西安工业大学2020年度预算执行及其他财务收支 编者按 近两年，中国有一小部分年轻学子正在涌入Gap year文化的潮流，有些人甚至选择延毕去体验这种间隔年。Gap year兴起于 。本文链接：学者开源物理传热启发的视觉表征模型vHeathttp://www.sushuapos.com/show-11-7236-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
下一篇： 外来入侵植物资源化利用研究获进展