提出新基准，结果GPT-4V不合格
大模型不看图，竟也能正确回答视觉问题？！
中科大、香港中文大学、上海AI Lab的研究团队团队意外发现了这一离奇现象。
他们首先看到像GPT-4V、GeminiPro、Qwen1.5-72B、Yi-VL-34B以及LLaVA-Next-34B等大模型，不管是闭源还是开源，语言模型还是多模态，竟然只根据在多模态基准MMMU测试中的问题和选项文本，就能获得不错的成绩。
△蓝色表示能看到图的LVLMs，橘色和绿色分别表示只接收问题和选项文本的LLMs和LVLMs
（LLM：大语言模型；LVLMs：多模态大模型）
不知道的还以为是大模型的隐藏技能被发现了。
有网友发出灵魂拷问：我们评估多模态模型的方法正确吗？
这一结果也激起了研究者们的好奇，于是他们决定对此展开进一步探究。
大模型隐藏技能被发现？
针对现有的评估样本和评估过程，研究人员认为造成这种现象的两个主要问题。
第一，一些多模态评估样本缺少对视觉内容的依赖性。
这种问题反映了现有的benchmark中的不合理之处。这个问题包含了两种情况：
一种是有些评估样本的答案可以被蕴含在了题目和选项中从而免去了看图的必要。
比如会有这种问题，这个圆形土圈是什么形状？
另外一种则是有些评估样本可以直接被语言大模型利用嵌入的丰富世界知识进行解答而无需依赖图片。
比如下图中的问题：内布拉斯加州的首府是什么？
第二，现有评估过程未考虑语言和多模态大模型训练过程中的数据泄露问题。
LVLM通常由一个vision encoder，一个语言模型基座，以及一个视觉-语言连接件组成。而且现有的多模态benchmark中有大量的评估样本是从单模态的文本语料中转化过来的（比如从考试题目中转化而来）。
因此如果大语言模型的训练数据中无意间泄露了多模态benchmark中转化不充分的评估样本，就会影响LVLMs之间的公平比较。
为了定量观察大语言模型中广泛存在的泄露现象，研究者们采用了22个大语言模型在6个公开benchmark上进行评估。
这些大语言模型包含了2个闭源模型（GPT4-Turbo以及GeminiPro）和20个大小、架构各异的开源模型（比如Qwen系列，LLaMA2系列，Baichuan系列，Mixtral-8x7B等），并且使用了2-shot推理策略来减少拒绝回答的情况以及对齐回答的格式。
结果看到，闭源模型GeminiPro和开源模型Qwen1.5-72B在极具挑战性的MMMU基准上可以分别取得42.7和42.4的惊人成绩，一度逼近GeminiPro-Vision (44.4)，LLaVA-Next-34B (47.0)和Yi-VL-34B (43.2)等多模态模型在能看到图片情况下的表现。
进一步的，他们还定量观察多模态大模型在训练过程中的数据泄露情况：屏蔽了LVLM的图片输入从而只根据文本问题和选项来进行评估（标记为LVLM-text）。
可以看到，像Sphinx-X-MoE和Monkey-Chat经过多模态训练后在不看图的情况下相比原始大模型在MMMU基准上可以分别提升惊人的17.9和12.6，而它们即使进一步在看到图片的情况下也只能获得1.2和4.7的性能提升。
GPT-4在新基准上没有及格
为了解决上述问题从而进行更公平和准确的评估，研究者们设计了一个多模态评估基准MMStar——
包含了1,500个具有视觉依赖性的高质量评估样本，涵盖了样本均衡的粗略感知、精细感知，实例推理、逻辑推理、科学技术、数学这六个核心能力以及18个详细的能力维度。
伴随着MMStar benchmark，作者们还提出了multi-modal gain (MG)和 multi-modal leakage (ML)两个评估指标来反映出LVLMs在多模训练过程中的真实性能增益和数据泄露程度。
随后，为了检验所提出的MMStar质量，他们进行了三项评估。
1）用22个大语言模型只根据MMStar中的问题和选型进行了评估，结果显示，他们的表现都接近于随机选择，这表明MMStar在现有大模型训练语料中有着很少的数据泄露。
2）评估16个多模态模型在MMStar上的性能。
高分辨率设置下的GPT4V取得了57.1的最高平均性能（但还是没有及格）。
开源模型中InternLM-Xcomposer2取得了平均性能为55.4的好成绩，LLaVA-Next在数学维度上的表现要略优于GPT4V和GeminiPro-Vision。
值得注意的是，没有多模态大模型能够在精细感知（FP），逻辑推理（LR），科学技术（ST）以及数学（MA）上及格。
3）用16个LVLMs在6个公开benchmark以及所提的MMStar上对MG和ML指标进行了广泛评估。
可以看到，而MMStar展示出了最少的平均数据泄漏程度。
研究团队相信，这种跨模型间的ML指标对社区之后检验新开发的多模态benchmarks也是有益的。
论文链接：
https://arxiv.org/pdf/2403.20330.pdf
项目链接：
https://mmstar-benchmark.github.io/
https://huggingface.co/datasets/Lin-Chen/MMStar
代码链接：
https://github.com/MMStar-Benchmark/MMStar
— 完 —
据阿根廷布宜诺斯艾利斯经济新闻网报道，一项国际研究发现，阿尔茨海默病的早期症状可能表现在视力上。研究显示，即便眼科检查结果正常，但阅读、估计距离和触及物体的困难都是可能揭示阿尔茨海默病 在3月24日世界防治结核病日前夕，比尔及梅琳达∙盖茨医学研究所（以下简称盖茨医学研究所）宣布，启动评估结核病候选疫苗M72有效性的Ⅲ期临床试验。在Ⅱb期试验中，数据显示这一新疫苗可为艾滋病毒检 造成女性更容易睡不好的原因是多方面的，包括更年期等生理周期等，而女性长期的失眠除了会导致内分泌进一步失调，还会诱发心脏病、高血压、糖尿病、免疫力低下、记忆下降、脱发、皮肤松弛等。北京 那些在吃完一顿饱饭后不久就在冰箱里翻找零食的人，可能不是胃口好，而是因为寻找食物的神经元过度活跃的缘故。美国加州大学洛杉矶分校心理学家在老鼠大脑中发现了一个回路：即使它们不饿，也会让它 据英国《每日电讯报》网站3月18日报道，根据英国政府的新航空计划，首批电动飞行出租车将于2026年试飞。周一发布的《“飞行未来”行动计划》为飞行出租车在2030年广泛使用铺平道路。尽管在最初 近日，民航华东地区管理局向峰飞科技公司颁发V2000CG无人驾驶航空器系统型号合格证，这也是中国民航系统颁发的首个无人驾驶吨级电动垂直起降航空器型号合格证。航空器型号合格证取证是保障航空 。本文链接：中科大等意外发现：大模型不看图也能正确回答视觉问题！http://www.sushuapos.com/show-2-4604-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。