近期，中国科学院软件研究所研究团队为提升大语言模型时间序列预测性能，提出了向量注入式上下文学习框架。该框架能够稳定提升时间序列预测性能，并可以降低计算开销。
大语言模型进行时间序列预测时面临一项主要挑战——预训练文本与时间序列数据在分布与结构上存在差异。传统方法采用全量微调来减少这种差异，但其训练成本高、显存占用大，限制了实际应用。
研究团队提出引入上下文学习的方法LVICL。该方法通过在输入提示中引入任务示例，使模型无需更新参数即可实现“类似微调”的效果。为提升上下文学习对示例选择与顺序敏感的不稳定问题，该方法提取示例的向量表示，并以置换不变的方法进行聚合，从而消除顺序敏感性；采用轻量适配器对聚合后的上下文向量进行精练，抑制其中可能干扰预测的分量，增强对示例选择的鲁棒性；将优化后的向量注入到大语言模型各层的残差流中，以可控方式引导模型进行预测。
研究团队在多个时间序列预测基准数据集上对LVICL进行系统评估。实验表明，LVICL在保持大语言模型完全冻结、训练开销降低的前提下，能够稳定复现并进一步放大上下文学习带来的收益。与轻量微调方法相比，LVICL在多种数据集与实验设置下均表现出更强的预测能力，并在效率与性能的平衡上展现出更好的实用性。
相关论文被互联网领域顶级国际学术会议The Web Conference 2026（WWW-26）录用。
论文链接
LVICL总体框架
中新网香港11月11日电(记者魏华都)“中银香港科技创新奖2024”于11日揭晓，香港5大领域学者获奖。香港科技创新联盟主席、 包括人类在内的脊椎动物的大脑都有两个脑半球，左右脑半球在结构上是对称的。由于大量的神经连接主要为同侧大 全球陆地生态系统通过光合作用每年吸收近1/4人类活动排放的CO2，在减缓全球变暖中发挥了作用。而随着全球范围内极端高温事件频率和强度的持续增加，陆地生态系统的CO2吸收能力受到挑战。当前，相关研究聚焦于持续时 中国教育报-中国教育新闻网讯（特约通讯员 苏勤）为推进国家通用语言文字普及工作，提高原民族语言授课学校教师国家通用语言文字教学水平，11月12日至14日，内蒙古教育厅举办全区原民族语言授课学校教 中国教育报-中国教育新闻网讯（记者 黄星）日前，福建省福州市委教育工委书记、市教育局党组书记、局长游昕一行赴闽侯第一中学开展食品安全专项督导工作，并在学校陪餐。游昕一行深入学校的食堂后厨 中国教育报-中国教育新闻网讯（记者 方梦宇）近日，由教育部学校规划建设发展中心主办，合肥工业大学承办的2024国际产学研用合作会议新能源与智能网联汽车研讨会在合肥召开。来自国内外知名高校、企 。本文链接：研究提出新型时间序列预测框架http://www.sushuapos.com/show-12-2556-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 量子电路优化研究获进展
下一篇： 可持续超润滑水凝胶研究获进展