近期，中国科学院合肥物质科学研究院团队将多模态融合方法应用于遥感图像全色锐化领域。
遥感图像全色锐化技术旨在融合低分辨率的多光谱图像与高分辨率的全色图像，生成兼具高空间分辨率和丰富光谱信息的遥感影像。文本引导的多模态学习方法在自然图像领域已取得进展，但由于缺乏全色锐化领域多模态数据集以及遥感场景的复杂性等问题，对准确提取语义信息提出了挑战。
研究团队提出了新的文本引导多模态融合框架TMMFNet。该框架基于多模态大语言模型，结合超分辨率模型、地理空间分割模型及思维链提示技术，为LRMS图像生成高质量的语义描述文本构建出面向全色锐化的多模态遥感数据集。此基础上，团队设计了文本增强模块与文本调制模块两个核心融合单元，将文本蕴含的高层语义信息注入融合网络，引导并优化视觉特征的融合过程。
在WorldView-II、GaoFen2和WorldView-III等公开卫星数据集上的实验结果显示，这一框架在峰值信噪比和结构相似性等评价指标上展现出优越性能。
相关研究成果发表在IEEE Transactions on Geoscience and Remote Sensing（IEEE TGRS）上。
论文链接
基于视觉—文本多模态融合的遥感图像全色锐化网络
多光谱影像语义描述生成方法
? 张焕乔（1933—） 1933年12月23日生于重庆。1956年毕业于北京大学物理系。1997年当选为中国科学院院士。中国原子 中新社香港11月11日电在香港特区政府教育局推动下，应用科学大学联盟11日正式成立。联盟创会成员为4所专上院校，香港都 实现“教育链、人才链、产业链、创新链”在纵向上内部融通，在横向上相互打通，无疑是今后一段时间内，我国职业教育的主要改革方向 近日，中共中央、国务院印发《关于深化产业工人队伍建设改 在第十五届中国航展期间，首次实装参展的中国海军和首批舰载机女飞行学员——韩梦和王梦迪，成为关注的焦点。两位“00后”舰载机女飞行学员主要负责在室内场馆的人民海军展厅进行招飞政策宣讲、 2024年11月8日，十四届全国人民代表大会常务委员会第十二次会议表决通过《中华人民共和国学前教育法》，自2025年6月1日起施行。学前教育是国民教育体系的组成部分，是重要的社会公益事业，关系到亿 日前，教育部印发《关于做好2025届全国普通高校毕业生就业创业工作的通知》（以下简称《通知》），部署各地各高校深入贯彻落实党中央、国务院决策部署，实施“2025届全国普通高校毕业生就业创业促进和 。本文链接：研究提出基于视觉—文本多模态融合的遥感图像全色锐化方法http://www.sushuapos.com/show-12-2145-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 金属卤化物发光动力学研究取得进展