近日，华南理工大学（以下简称华工）土木与交通学院2025届本科毕业生、2025级硕士研究生张鼎伦的研究成果发表于《专家系统与应用》（Expert Systems With Applications）。该成果提出面向领域知识增强的多模态图检索增强生成框架（DOKE-RAG），是其在导师、华工副教授陈太聪指导下完成的本科优秀毕业论文成果。
面向领域的知识增强多模态图检索增强生成框架。华轩供图针对《结构力学》等土木工程核心课程中概念关系复杂、公式图表密集、知识层次性强等特点，传统大语言模型在回答专业问题时易出现依据不充分、推理不清晰、术语不准确等问题。张鼎伦等将专家知识、知识图谱与大语言模型相结合，提出DOKE-RAG框架，旨在服务于结构力学等深度垂直领域的智能知识问答。
该框架可从复杂PDF文档、课程讲授音频、数学公式、工程图表及表格等异构资料中提取多模态知识，并将其整合为统一的结构化知识图谱。同时，论文提出Hi-LVEA层级式大语言模型验证实体对齐算法，将专家构建的核心知识图谱与大语言模型生成的扩展知识图谱进行对齐、验证与融合。实验表明，DOKE-RAG在结构分析领域专业问答任务中的表现优于现有RAG和Graph RAG方法。
在论文研究和插图绘制过程中，张鼎伦尝试将AI绘图方法用于科研图示表达，相关经验整理成方法论文章发表于AI开源学习社区Datawhale公众号，并受人民邮电出版社邀请，独立撰写《AI科研绘图Nano Banana极速实战指南》，该书目前已正式出版。
据悉，张鼎伦本科期间曾参与学科交叉类大学生创新创业训练项目，参与智能语音引导式结构设计分析软件开发，在多模态信息处理、智能问答系统和大语言模型方向积累了交叉研究基础。其本科毕业论文成果体现了华工土木与交通学院在传统土木工程优势学科基础上，面向人工智能、智能建造和工程知识服务等新兴方向推进交叉融合培养的阶段性成效。
相关论文信息：https://doi.org/10.1016/j.eswa.2026.133291
一种使用深度学习方法设计出来的新蛋白质。图片来源：华盛顿大学医学院蛋白质设计研究所 美国科学家借助机器学习 堆叠、扭曲铜酸盐超导体的示意图。图片来源：物理学家组织网 几十年来，超导体一直是物理学界研究的热点。但这些允许 流感、肺炎支原体、新型冠状病毒、呼吸道合胞病毒等病原体在这个冬天叠加来袭，让国内医疗机构的发热门诊、儿科门诊异常 12月16日，2023第二届可持续能源发展国际会议在北京开幕。此次会议以“零碳科技、创新未来”为主题，汇聚了来自全球多 “这些小胶质细胞在tau蛋白病变有效地扩散到下一个细胞之前就开始吸收并降解tau蛋白。没有tau病理学，就不会有神经退 2日，世界华人数学家联盟2023年会在复旦大学开幕。这是世界华人数学家联盟年会首次在上海举行。当天，上海数学与交叉学 。本文链接：华工本科毕业生提出多模态图检索增强生成框架http://www.sushuapos.com/show-11-35677-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： “智能编译优化系统”为国产芯片提速