近期，中国科学院合肥物质科学研究院团队将多模态融合方法应用于遥感图像全色锐化领域。
遥感图像全色锐化技术旨在融合低分辨率的多光谱图像与高分辨率的全色图像，生成兼具高空间分辨率和丰富光谱信息的遥感影像。文本引导的多模态学习方法在自然图像领域已取得进展，但由于缺乏全色锐化领域多模态数据集以及遥感场景的复杂性等问题，对准确提取语义信息提出了挑战。
研究团队提出了新的文本引导多模态融合框架TMMFNet。该框架基于多模态大语言模型，结合超分辨率模型、地理空间分割模型及思维链提示技术，为LRMS图像生成高质量的语义描述文本构建出面向全色锐化的多模态遥感数据集。此基础上，团队设计了文本增强模块与文本调制模块两个核心融合单元，将文本蕴含的高层语义信息注入融合网络，引导并优化视觉特征的融合过程。
在WorldView-II、GaoFen2和WorldView-III等公开卫星数据集上的实验结果显示，这一框架在峰值信噪比和结构相似性等评价指标上展现出优越性能。
相关研究成果发表在IEEE Transactions on Geoscience and Remote Sensing（IEEE TGRS）上。
论文链接
基于视觉—文本多模态融合的遥感图像全色锐化网络
多光谱影像语义描述生成方法
港理工大学吴波与中国空间技术研究院北京卫星环境工程研究所研究员董杰等合作，研究认为火星表面发现的沉积矿床或来 随着全球水产养殖产业的发展，每年会产生大量海藻、牡蛎壳等废弃物。而这些废弃物通常被堆放在垃圾填埋场、近海滩涂或直接丢弃到海洋中，对土壤、自然水域及海洋生态系统带来环境影响。为促进水产养殖的可持续发展 交变磁性是近年来提出的第三类基本磁相。交变磁性既有反铁磁体的零净磁场，又具有铁磁体的自旋劈裂现象。通常，两者被认为是不相容的。交变磁性兼具铁磁性和反铁磁性的优势，为制造自旋电子器件带来了新突破口，在磁存 中国教育报-中国教育新闻网讯（记者 尹晓军 通讯员 赵明）“The Gansu Jiandu Museum is China`s only provincial level museum focusing on bamboo and wooden slips”……翰墨著竹帛，一笔越千 中国教育报-中国教育新闻网讯（记者 焦以璇）近日，“以改革精神和严的标准加强纪检监察学科建设”——第二届纪检监察学科建设高端论坛暨中国自主的纪检监察学知识体系联盟成立大会在中国人民大学 中国教育报-中国教育新闻网讯（记者 陈文静 通讯员 张少利 龙海燕 刘嫄 刘意 肖顺彬）日前，2024年世界职业院校技能大赛总决赛争夺赛财经商贸赛道三“关务实务小组”赛项在长沙航空职业技术学院（简 。本文链接：研究提出基于视觉—文本多模态融合的遥感图像全色锐化方法http://www.sushuapos.com/show-12-2145-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 金属卤化物发光动力学研究取得进展