随着机器翻译系统的广泛应用，其中的公平性问题日益突显，也就是说，系统在处理不同语言、性别、种族、文化等受保护属性时，可能表现出偏见或不公正。中国科学院软件研究所天基综合信息系统全国重点实验室特别研究助理孙泽宇聚焦可信人工智能的公平性问题，提出了首个旨在检测机器翻译系统公平性的框架FairMT，近日相关论文被软件工程顶级期刊ACM Transactions on Software Engineering and Methodology (TOSEM)接收。
研究人员介绍，现有的几种关于自然语言处理公平性的测试方法主要是利用任务分类，通过输入中变更与公平相关的词汇来检测输出类别的差异。但当前并没有专门为机器翻译任务设计的公平性测试方法，主要挑战在于机器翻译输出的句子是序列而非单一类别，自动检测两个序列之间的公平性问题，目前仍是个难题。
为应对这一挑战，研究团队提出的FairMT框架首先遵循蜕变关系，通过模板化方法变更涉及公平性的相关词汇，将源内容和更改内容作为一组输入。随即使用基于神经网络的语义相似性度量来评估输入所对应的翻译结果，将得分低于预定义阈值的测试案例报告为具有潜在公平性问题的内容。最后，FairMT用额外的蜕变关系判断输入中与公平性无关的内容，通过变异这些内容再度生成测试输入进行语义相似性度量，最终确认是否存在公平性问题。
研究团队已在谷歌翻译、T5和Transformer上使用FairMT方法进行测试，分别检测到最多832、1984和2627个公平性问题。进一步的人工评估也证实了检测结果的有效性。研究团队还发现，常用自动化翻译质量衡量指标BLEU分数与公平性的相似性度量存在正相关关系，可以证明公平性问题的解决有助于提升翻译质量。
相关论文信息：https://dl.acm.org/doi/pdf/10.1145/3664608
欧洲空间局公布了“欧几里德”空间望远镜拍摄的首批彩色图像，有助于揭示暗物质和暗能量等宇宙奥秘。图为马头星云的 今天上午，中国首家公办本科职业学校——南京工业职业技术大学与柬埔寨柬华理事总会合作共建的柬华应用科技大学成立揭牌 图为在上海科技创新成果展上拍摄的科学刊物展台。新华社记者 方喆摄 一直以来，学者们向学术期刊投稿面临着激烈竞 为纪念中国航空仪表技术与惯性技术的奠基人、北京航空航天大学建校元老林士谔先生110周年诞辰暨北航仪器科学与光电工 美国哈佛大学校长克洛迪娜·盖伊当地时间1月2日发表声明，宣布辞去哈佛大学校长一职。 盖伊在声明中说，她 记者1月2日从中国科学院昆明植物研究所获悉，近期高黎贡山国家级自然保护区怒江管护局、贡山管护分局联合该所组成的考察 。本文链接：机器翻译有“偏见”，如何检测发现？http://www.sushuapos.com/show-11-10091-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 香港特区政府医卫局局长：积极考虑建设香港第三所医学院
下一篇： 科学家在大模型少样本域适应方面取得进展