21世纪经济报道记者王峰北京报道 语言文字是大模型的资源池，语料库的质量决定着大模型的发展。而在大模型时代，语言文字已成为赋能产业发展的数据要素。
近日，教育部、国家语委、中央网信办印发《关于加强数字中文建设 推进语言文字信息化发展的意见》（以下简称《意见》），全面谋划数字中文建设。
在3月31日教育部新闻发布会上，教育部语言文字信息管理司司长刘培俊指出，《意见》创新应用自然语言处理、大语言模型、多模态信息处理、知识图谱、语料加工等五项前沿技术，重点服务大语言模型等人工智能技术创新应用“制高点”，夯实国家关键语料基础设施“新基建”。
数字中文推动产业升级
20世纪80年代，王选院士的团队发明激光照排技术，并结合汉字的编码标准，突破了中文数字化的空间限制，让承载中华文化的中文在全球互联网空间获得新生。
当前，大语言模型技术对大规模高质量语料提出前所未有的需求，赋予了数据中文化新的历史内涵和使命任务。
3月31日教育部新闻发布会 图片来源：教育部官网
北京大学王选计算机研究所所长汤帜认为，新形势下，语言文字将实现与信息技术的深度融合，要形成“技术突破—场景落地—生态繁荣”的良性循环，打造数字化引领品牌，有力服务教育发展、助力科技创新、赋能文化传承、推动产业升级、促进社会进步。
《意见》特别提出，要实施数字中文推动产业升级行动。支持语言文字信息技术新产品、新职业和新业态发展，鼓励传统语言产业数字化转型升级，培育基于数字中文的新型语言产业。推动语言资源、语言翻译、智能机器人、中文内容服务等软硬件产品研发应用，支持围绕语音、语料、语言应用生态形成产业聚集，鼓励创建语言产业应用示范品牌。
汤帜介绍，新形势下，语言文字将实现从“静态符号”向“动态数字资产”，从“信息载体”向“生产要素”的转型，要重点推动语料库、数据标注与评价等标准的研制，支持文本生成与理解、语言翻译、情感分析等各种任务。
比如，广东省教育厅在广州大学设立粤语语料库建设与大模型评测重点实验室，为语料基础设施建设、语言智能应用等提供坚实数据支撑，指导深圳大学建立语言障碍多模态数据库，涵盖汉语失语症语料库、儿童语言障碍语料库，有力服务语言康复研究。
北京师范大学针对古汉语信息处理任务“低资源”“富知识”的特点，以解决领域知识学习需求为核心任务，使用1.8B（18亿）参数量，训练出“AI太炎”古汉语大语言模型。
北京师范大学副校长康震介绍，该模型在确保语料来源安全、语料内容安全、语料标注安全、模型安全等基础上，能够高质量完成古典文献释读，支持字词释义、文白翻译、句读标点、用典分析等多种具有挑战性的文言文理解任务。截至目前，该模型已广泛应用于海内外的学术科研、基础教育、编辑出版等多个领域，辅助古籍整理、语言研究、语文教育、辞书编纂等应用场景任务。
建设新型国家语料库
《教育强国建设规划纲要（2024—2035年）》提出，要建设新型国家语料库。《意见》也提出，到2027年初步建成国家关键语料库。语料库在语言文字信息化工作中发挥什么样的作用，下一步将如何推进？
刘培俊指出，将聚焦“需求”这一关键。在关键学科、重点行业、战略区域、民生期待和社会急需领域，分批建设规范、安全、优质的国家关键语料库。目前，教育部、国家语委已经支持建设了30余项关键领域的语料库。
北京师范大学已建设了通用汉字全息数据库，《说文》学数字资源库、历代碑刻与手写文字属性资源库、甲骨文拓片资源库等专业数字资源库。
刘培俊指出，目前，教育部、国家语委已经支持布局了五个领域的自主安全可控大语言模型建设项目，下一步将根据需求稳步扩大建设范围，提升建设成效。
下一步，将逐步建立健全语料共建共享新机制，研制语言资源、语言数据、基础语料以及大语言模型的技术和管理标准，依托高校研究机构推进多学科交叉融合，为语言科技、语料建设以及人工智能创新应用培养高素质人才。
教育部语言文字应用管理司副司长王晖指出，当前以DeepSeek等为代表的人工智能技术创新不断取得突破性的进展，在这个大背景下，国家提出这样一个战略部署，建设新型国家语料库，凸显了其重要性、必要性和紧要性，我们应当积极统筹、广泛协同、大力推进。
“但是很多语料库还处于单一文本模式和领域应用阶段，在建设的理念、技术和方法、规模，以及数据多样性、时效性尤其是与人工智能相结合的大规模应用方面还存在不足，难以满足多元化、动态化尤其是智能化的语言数据需求。”王晖说。
对此，下一步将立足人工智能时代大背景，突破传统语料库单一文本模式和领域应用壁垒，以大模型训练及性能评测、智能计算为核心，以新质态、多模态、多语言、大规模、全域性为突出特性，为通用领域和细分领域多场景应用及创新发展提供规范、可信、高质量的语言文化语料资源。
据介绍，目前已经启动开发建设“中华文脉新型语料库”“中华大阅读体系语料库”，以这两个示范库建设整体打造出标杆。
“中华文脉新型语料库可以简单理解为瞄准的是智慧教师，中华大阅读体系语料库瞄准的是智慧学伴。在此基础上，探索建设系列教育、语言文化国家新型语料库群，服务教育强国、文化强国建设。”王晖说。
来源：新华社微博 南方财经全媒体记者 欧雪 深圳报道今年，中国外贸将迎来更加复杂严峻的外部形势。商务部部长王文涛此前在新闻发布会上表示，今后将扩大优质消费品、先进技术、重要设备、关键零部件进口 南方财经全媒体见习记者林鹏 广州报道惊蛰日起，“企业助力绿美广东生态建设联盟”再扩容，绿美广东将再焕新生机。绿美广东建设是近年来广东部署的重要工作任务之一，是广东省“百千万工 21世纪经济报道记者吴文汐 北京报道 3月5日，十四届全国人大二次会议在人民大会堂开幕，国务院总理李强作政府工作报告。“加强生态文明建设，推进绿色低碳发展”被作为2024年的重要任务 新华社北京3月7日电 中共中央政治局委员、外交部长王毅7日在两会记者会上就巴以冲突阐明中方立场主张。（直播 | 十四届全国人大二次会议举行外交主题记者会） 王毅表示，本轮巴以冲突已造成10万平民伤亡，还有不知多少无辜 AI技术持续迭代，各类大模型层出不穷，算力军备竞赛不止。近日，海外人工智能公司推出的大模型Claude3，能力对标GPT-4，在同期AI模型中处于领先水平，进一步带来了AI大模型领域技术层面的新突破。AI模型端的不断 。本文链接：语言文字领域重大部署：国家队开工新基建，高品质“投喂”大模型http://www.sushuapos.com/show-1-39202-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 国家标准《住宅项目规范》落地
下一篇： 旅游在县丨家在磁州