视觉目标跟踪旨在连续视频帧中持续定位特定目标,在自动驾驶等领域具有应用价值。但目标形变、遮挡及外观剧烈变化等因素常导致传统跟踪方法鲁棒性不足,通常需引入历史帧的时空信息以提升稳定性。
近日,中国科学院沈阳自动化研究所团队提出一种即插即用视觉跟踪框架PNPTrack。该框架在无需全参数重训练且无需额外引入时空处理模块的前提下,即可有效利用时空信息提升跟踪的稳定性与精度。
科研团队将骨干网络的编码器划分为浅层与深层:浅层编码器在训练中保持冻结、不参与时空交互,降低可训练参数和训练资源;深层编码器依靠正向、负向时空特征整合时空信息。其中,正向时空特征提取目标信息,用于增强目标响应,帮助模型在复杂场景下更准确地识别目标;负向时空特征提取背景信息,用于抑制背景干扰、细化目标边界。两类时空特征分别与搜索区域特征进行独立的交互计算,避免相互抑制。同时,研究将时空特征的“提取”与“利用”过程解耦,二者可在网络内部并行执行,减少对推理速度的影响。
该框架并非简单地将时空信息与原有匹配信息叠加在一起,而是让两者“各司其职”。时空特征主要用于对搜索区域特征做增强与抑制处理——增强目标相关响应、抑制背景干扰,尽量不改变原有的模板与搜索特征匹配过程,降低单一信息不准确带来的影响。基于该设计,模型在推理时可以自由开启或关闭时空特征:关闭后即可恢复为原始跟踪器,无需重新加载模型或调整参数,真正实现即插即用。
多组公开视觉跟踪数据集测试显示,PNPTrack具有优异性能。该框架仅需引入少量额外的投影参数,即可在保持较高推理速度的同时提升跟踪精度。
该研究为平衡跟踪精度与计算效率提供新思路。通过针对性挖掘目标与背景的历史信息,该框架以较低的模型改造成本改善复杂场景跟踪效果,为智能监控、移动机器人、自动驾驶等领域的视觉感知技术发展提供参考。
相关研究成果发表在Expert Systems with Applications上。
论文链接
PNPTrack 在复杂场景下跟踪目标
? 11月8日,新疆和田学院揭牌仪式在科技路校区涵德楼报告厅举行。自治区人民政府副主席凯赛尔·阿不都克热 11月8日,记者从清华大学李菂团队获悉,清华大学天文系教授、中国天眼原首席科学家李菂领衔的国际团队又有新发现。名为FRB 中新社香港11月11日电在香港特区政府教育局推动下,应用科学大学联盟11日正式成立。联盟创会成员为4所专上院校,香港都 11月13日,中国科学院分子细胞科学卓越创新中心高栋研究组等在《自然-遗传学》(Nature Genetics)上,发表了题为JAK/STAT signaling maintains an intermediate cell population during prostate basal cell fate det 中国教育报-中国教育新闻网成都9月23日讯(记者 陈朝和)今天,四川省成都市推进国家学前教育实验区暨金牛区幼儿园保育教育质量提升实验区工作会召开,进一步推动完善普惠性学前教育保障机制实验区 中国教育报-中国教育新闻网讯(记者 方梦宇)近日,由教育部学校规划建设发展中心主办,合肥工业大学承办的2024国际产学研用合作会议新能源与智能网联汽车研讨会在合肥召开。来自国内外知名高校、企 。本文链接:科研人员构建即插即用视觉跟踪框架http://www.sushuapos.com/show-12-4547-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 研究提出三维自旋玻璃高效采样新方法
下一篇: 高倍率锌离子混合电容器厚电极设计取得进展