近日，华南理工大学（以下简称华工）土木与交通学院2025届本科毕业生、2025级硕士研究生张鼎伦的研究成果发表于《专家系统与应用》（Expert Systems With Applications）。该成果提出面向领域知识增强的多模态图检索增强生成框架（DOKE-RAG），是其在导师、华工副教授陈太聪指导下完成的本科优秀毕业论文成果。
面向领域的知识增强多模态图检索增强生成框架。华轩供图针对《结构力学》等土木工程核心课程中概念关系复杂、公式图表密集、知识层次性强等特点，传统大语言模型在回答专业问题时易出现依据不充分、推理不清晰、术语不准确等问题。张鼎伦等将专家知识、知识图谱与大语言模型相结合，提出DOKE-RAG框架，旨在服务于结构力学等深度垂直领域的智能知识问答。
该框架可从复杂PDF文档、课程讲授音频、数学公式、工程图表及表格等异构资料中提取多模态知识，并将其整合为统一的结构化知识图谱。同时，论文提出Hi-LVEA层级式大语言模型验证实体对齐算法，将专家构建的核心知识图谱与大语言模型生成的扩展知识图谱进行对齐、验证与融合。实验表明，DOKE-RAG在结构分析领域专业问答任务中的表现优于现有RAG和Graph RAG方法。
在论文研究和插图绘制过程中，张鼎伦尝试将AI绘图方法用于科研图示表达，相关经验整理成方法论文章发表于AI开源学习社区Datawhale公众号，并受人民邮电出版社邀请，独立撰写《AI科研绘图Nano Banana极速实战指南》，该书目前已正式出版。
据悉，张鼎伦本科期间曾参与学科交叉类大学生创新创业训练项目，参与智能语音引导式结构设计分析软件开发，在多模态信息处理、智能问答系统和大语言模型方向积累了交叉研究基础。其本科毕业论文成果体现了华工土木与交通学院在传统土木工程优势学科基础上，面向人工智能、智能建造和工程知识服务等新兴方向推进交叉融合培养的阶段性成效。
相关论文信息：https://doi.org/10.1016/j.eswa.2026.133291
近日，全国教育信创与密码行业产教融合共同体成立大会及新疆职业院校产教融合人才培养论坛于在乌鲁木齐举办。 航天 “老年人肺部感染是推倒老年人体重要机能的第一张‘多米诺骨牌’。预防老年人的呼吸道感染，最重要的一是做好免疫接 2019年，我国新能源汽车产销量刚刚迈过100万辆的关口不久，当时市场渗透率约为5%。之后的5年时间，我国新能源汽车的发展 过去的数个月，对我国道路交通智能检测领域知名专家赵祥模教授来讲，一如既往地保持着忙碌而有序的“快节奏”，他从容地在多 “超高清双频IVUS系统于12月12日在西安交通大学第一附属医院由心血管病院院长袁祖贻团队成功完成首例冠脉介入手术（PCI）患 如果说起这两年印度蹿升最猛的高校，那无疑应包括萨维塔医学和技术科学研究所（SIMATS）。 其所属牙科学院以一己之力，累计发表 。本文链接：华工本科毕业生提出多模态图检索增强生成框架http://www.sushuapos.com/show-11-35677-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： “智能编译优化系统”为国产芯片提速