近日，华南理工大学（以下简称华工）土木与交通学院2025届本科毕业生、2025级硕士研究生张鼎伦的研究成果发表于《专家系统与应用》（Expert Systems With Applications）。该成果提出面向领域知识增强的多模态图检索增强生成框架（DOKE-RAG），是其在导师、华工副教授陈太聪指导下完成的本科优秀毕业论文成果。
面向领域的知识增强多模态图检索增强生成框架。华轩供图针对《结构力学》等土木工程核心课程中概念关系复杂、公式图表密集、知识层次性强等特点，传统大语言模型在回答专业问题时易出现依据不充分、推理不清晰、术语不准确等问题。张鼎伦等将专家知识、知识图谱与大语言模型相结合，提出DOKE-RAG框架，旨在服务于结构力学等深度垂直领域的智能知识问答。
该框架可从复杂PDF文档、课程讲授音频、数学公式、工程图表及表格等异构资料中提取多模态知识，并将其整合为统一的结构化知识图谱。同时，论文提出Hi-LVEA层级式大语言模型验证实体对齐算法，将专家构建的核心知识图谱与大语言模型生成的扩展知识图谱进行对齐、验证与融合。实验表明，DOKE-RAG在结构分析领域专业问答任务中的表现优于现有RAG和Graph RAG方法。
在论文研究和插图绘制过程中，张鼎伦尝试将AI绘图方法用于科研图示表达，相关经验整理成方法论文章发表于AI开源学习社区Datawhale公众号，并受人民邮电出版社邀请，独立撰写《AI科研绘图Nano Banana极速实战指南》，该书目前已正式出版。
据悉，张鼎伦本科期间曾参与学科交叉类大学生创新创业训练项目，参与智能语音引导式结构设计分析软件开发，在多模态信息处理、智能问答系统和大语言模型方向积累了交叉研究基础。其本科毕业论文成果体现了华工土木与交通学院在传统土木工程优势学科基础上，面向人工智能、智能建造和工程知识服务等新兴方向推进交叉融合培养的阶段性成效。
相关论文信息：https://doi.org/10.1016/j.eswa.2026.133291
12月20日，由中国工程院院刊Engineering评选的 “2023全球十大工程成就”在京发布，期刊执行主编、中国工程院陈建峰院士发 大学校门要全面敞开吗？开放程度如何把握？ 近日，北京大学李植副教授发表文章《从今天与保安比赛跑步说起——北京大学的门卫 科技日报北京12月19日电 （记者马爱平）19日，记者从中国农业科学院茶叶研究所获悉，该所茶叶质量与风险评估创新团队首创了 12月17日，由中国科学院大学马克思主义学院、中国科学院大学党史党建研究中心主办的“纪念毛泽东同志诞辰130周年学术研讨 12月16日，纪念姜维壮教授诞辰百年学术研讨会暨中国财税史研究院2023年年会在中央财经大学召开。在会上，与会者深切缅怀我 据“浙江大学”微信公众号1月2日消息，加利福尼亚大学伯克利分校数学系正教授孙崧日前加盟浙江大学数学高等 。本文链接：华工本科毕业生提出多模态图检索增强生成框架http://www.sushuapos.com/show-11-35677-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： “智能编译优化系统”为国产芯片提速