神经网络越来越强大，利用数据集偏差的能力也越来越厉害了
MIT新晋副教授何恺明，新作新鲜出炉：
瞄准一个横亘在AI发展之路上十年之久的问题：数据集偏差。
该研究为何恺明在Meta期间与刘壮合作完成，他们在论文中指出：
这不禁让人怀疑：我们在消除数据集偏差的战斗中，真的取得了胜利吗？
数据集偏差之战，在2011年由知名学者Antonio Torralba和Alyosha Efros提出——
Alyosha Efros正是Sora两位一作博士小哥（Tim Brooks和William Peebles）的博士导师，而Antonio Torralba也在本科期间指导过Peebles。
当时他们发现，机器学习模型很容易“过拟合”到特定的数据集上，导致在其他数据集上表现不佳。
十多年过去了，尽管我们有了更大、更多样化的数据集，如ImageNet、YFCC100M、CC12M等，但这个问题似乎并没有得到根本解决。
反而，随着神经网络变得越来越强大，它们“挖掘”和利用数据集偏差的能力也越来越强了！
为了分析这个问题，何恺明团队设计了一个虚构的”数据集分类”任务。
听名字你可能就猜到了：给定一张图像，模型需要判断它来自哪个数据集。通过看模型在这个任务上的表现，就可以了解它们捕捉数据集偏差的能力。
现代AI轻松识破不同数据集
在实验中团队发现，各种现代神经网络架构，如AlexNet、VGG、ResNet、ViT等，在数据集分类任务上表现出惊人的一致性：它们几乎都能以超过80%的准确率区分不同数据集的图像！
更令人吃惊的是，这个发现在各种不同的条件下都非常稳健：
不管是不同的数据集组合、不同的模型架构、不同的模型尺寸、不同的训练数据量，还是不同的数据增强方法，神经网络始终能轻松”一眼识破”图像的数据集来源。
那么，神经网络是如何做到这一点的呢？是靠单纯的记忆，还是学到了一些更普适的规律？
为了揭开谜底，团队做了一系列对比实验。他们发现，如果把不同的数据集随机混在一起，神经网络就很难再区分它们了（准确率下降到了33%）。这说明，神经网络并不是在单纯地记忆每一张图像，而是真的学到了一些数据集特有的模式。
更有趣的是，即使在自监督学习的设置下，神经网络也展现出了惊人的”数据集辨识力”。在这种设置下，模型在训练时并没有用到任何数据集的标签信息，但当在这些自监督学习到的特征上训练一个简单的线性分类器时，它依然能以超过70%的准确率区分不同的数据集！
通过这一系列的实验，何恺明、刘壮等人的研究给我们敲响了警钟：尽管这十年我们一直在努力构建更大、更多样化的数据集，但数据集偏差这个问题似乎并没有得到根本解决。相反，现代神经网络越来越善于利用这些偏差来获得高准确率，但这可能并不代表它们真正学到了鲁棒、普适的视觉概念。
论文的最后，作者呼吁整个AI社区重新审视数据集偏差这个问题，并重新思考如何在算法和数据两个层面上来应对这一挑战。
CVPR最佳论文作者的通力合作
本文是何恺明在Meta期间，与Meta研究科学家刘壮合作完成。
现在，何恺明已经正式在MIT上岗，担任电气工程与计算机科学系的助理教授。他的“开学第一课”开课即火爆，在youtube上已经有2.9万的播放量。
和何恺明一样，刘壮本科毕业自清华，并且也是CVPR最佳论文奖得主——他是CVPR2017最佳论文DenseNet的第一作者。
2017年，刘壮从清华姚班毕业，进入加州大学伯克利分校攻读博士学位，师从Trevor Darrell，是贾扬清的同门师弟。
博士毕业后，刘壮进入Meta AI Research工作。在此之前，他已经在Meta实习了一年多时间，期间和谢赛宁合作，发表了ConvNeXt。
论文地址：
https://arxiv.org/abs/2403.08632
参考链接：
https://twitter.com/liuzhuang1234/status/1768096508082008289
— 完 —
据阿根廷布宜诺斯艾利斯经济新闻网报道，一项国际研究发现，阿尔茨海默病的早期症状可能表现在视力上。研究显示，即便眼科检查结果正常，但阅读、估计距离和触及物体的困难都是可能揭示阿尔茨海默病 记者3月20日从中国科学院地质与地球物理研究所获悉，该所科研人员在东北黑土区开展了大范围的野外调查和样品采集工作，通过分析采集的黑土样品发现，黑土物质最初都是由风力搬运而来。相关研究成 据中国科学院武汉植物园消息，我国科研人员在大别山区开展植物多样性科学考察时，发现了天门冬科天门冬属新物种，并将其命名为大别山天门冬。相关研究成果日前发表在国际知名植物分类学期刊《植物 记者3月20日从中国科学技术大学获悉，该校郭光灿院士团队在量子态分辨研究中取得重要进展。研究组在最小资源消耗的量子态分辨问题中首次提出了全局最优自适应策略，并发展了自适应集体测量实验 3月22日消息，今天，数码博主“数码闲聊站”曝光了一部新款千元机的部分配置。该博主表示，欧加（OPPO/一加）有个5500mAh超大电池的千元曲屏机，正在测试IP68级防尘防水效果，主打就是防水抗摔耐用。该博主最 今天（23日）是第64个世界气象日，今年世界气象日的主题是“气候行动最前线”。地球是人类赖以生存和发展的家园，气候变化给人类造成的影响广泛而深远，关乎当下，更关乎未来。世界气象组织确认2023年全 。本文链接：何恺明刘壮新作：消除数据集偏差的十年之战http://www.sushuapos.com/show-2-3865-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。