设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

何恺明刘壮新作:消除数据集偏差的十年之战

发布时间: 2024-03-17 20:21:54 来源: 量子位

神经网络越来越强大,利用数据集偏差的能力也越来越厉害了WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

MIT新晋副教授何恺明,新作新鲜出炉:WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

瞄准一个横亘在AI发展之路上十年之久的问题:数据集偏差。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

何恺明刘壮新作:消除数据集偏差的十年之战

该研究为何恺明在Meta期间与刘壮合作完成,他们在论文中指出:WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这不禁让人怀疑:我们在消除数据集偏差的战斗中,真的取得了胜利吗?WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

数据集偏差之战,在2011年由知名学者Antonio Torralba和Alyosha Efros提出——WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

Alyosha Efros正是Sora两位一作博士小哥(Tim Brooks和William Peebles)的博士导师,而Antonio Torralba也在本科期间指导过Peebles。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

当时他们发现,机器学习模型很容易“过拟合”到特定的数据集上,导致在其他数据集上表现不佳。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

十多年过去了,尽管我们有了更大、更多样化的数据集,如ImageNet、YFCC100M、CC12M等,但这个问题似乎并没有得到根本解决。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

反而,随着神经网络变得越来越强大,它们“挖掘”和利用数据集偏差的能力也越来越强了!WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为了分析这个问题,何恺明团队设计了一个虚构的”数据集分类”任务。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

听名字你可能就猜到了:给定一张图像,模型需要判断它来自哪个数据集。通过看模型在这个任务上的表现,就可以了解它们捕捉数据集偏差的能力。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

何恺明刘壮新作:消除数据集偏差的十年之战

现代AI轻松识破不同数据集

在实验中团队发现,各种现代神经网络架构,如AlexNet、VGG、ResNet、ViT等,在数据集分类任务上表现出惊人的一致性:它们几乎都能以超过80%的准确率区分不同数据集的图像!WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

何恺明刘壮新作:消除数据集偏差的十年之战

更令人吃惊的是,这个发现在各种不同的条件下都非常稳健:WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

不管是不同的数据集组合、不同的模型架构、不同的模型尺寸、不同的训练数据量,还是不同的数据增强方法,神经网络始终能轻松”一眼识破”图像的数据集来源。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

那么,神经网络是如何做到这一点的呢?是靠单纯的记忆,还是学到了一些更普适的规律?WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为了揭开谜底,团队做了一系列对比实验。他们发现,如果把不同的数据集随机混在一起,神经网络就很难再区分它们了(准确率下降到了33%)。这说明,神经网络并不是在单纯地记忆每一张图像,而是真的学到了一些数据集特有的模式。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

何恺明刘壮新作:消除数据集偏差的十年之战

更有趣的是,即使在自监督学习的设置下,神经网络也展现出了惊人的”数据集辨识力”。在这种设置下,模型在训练时并没有用到任何数据集的标签信息,但当在这些自监督学习到的特征上训练一个简单的线性分类器时,它依然能以超过70%的准确率区分不同的数据集!WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

通过这一系列的实验,何恺明、刘壮等人的研究给我们敲响了警钟:尽管这十年我们一直在努力构建更大、更多样化的数据集,但数据集偏差这个问题似乎并没有得到根本解决。相反,现代神经网络越来越善于利用这些偏差来获得高准确率,但这可能并不代表它们真正学到了鲁棒、普适的视觉概念。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

何恺明刘壮新作:消除数据集偏差的十年之战

论文的最后,作者呼吁整个AI社区重新审视数据集偏差这个问题,并重新思考如何在算法和数据两个层面上来应对这一挑战。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

CVPR最佳论文作者的通力合作

本文是何恺明在Meta期间,与Meta研究科学家刘壮合作完成。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

现在,何恺明已经正式在MIT上岗,担任电气工程与计算机科学系的助理教授。他的“开学第一课”开课即火爆,在youtube上已经有2.9万的播放量。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

何恺明刘壮新作:消除数据集偏差的十年之战

和何恺明一样,刘壮本科毕业自清华,并且也是CVPR最佳论文奖得主——他是CVPR2017最佳论文DenseNet的第一作者。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

2017年,刘壮从清华姚班毕业,进入加州大学伯克利分校攻读博士学位,师从Trevor Darrell,是贾扬清的同门师弟。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

博士毕业后,刘壮进入Meta AI Research工作。在此之前,他已经在Meta实习了一年多时间,期间和谢赛宁合作,发表了ConvNeXt。WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

何恺明刘壮新作:消除数据集偏差的十年之战

论文地址:
https://arxiv.org/abs/2403.08632WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

参考链接:
https://twitter.com/liuzhuang1234/status/1768096508082008289WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

— 完 —WVR速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

英国《自然》周刊网站3月12日刊登题为《OpenAI的文生视频工具Sora会如何改变科学——以及社会》的文章,作者为乔纳森·奥卡拉汉,内容编译如下:美国开放人工智能研究中心(OpenAI 据英国《泰晤士报》网站3月15日报道,2020年1月,英国帝国理工学院的亚当·汉普希尔与英国广播公司合作,对8万人进行了30分钟的测试,目的是揭示生活方式的改变会影响我们的大脑功能。三个月 据法新社3月18日报道,周一,美国半导体巨头英伟达公司发布了其最新型号的电子芯片,这些芯片旨在支持人工智能(AI)革命,英伟达正努力巩固其作为人工智能领域关键供应商的地位。“我们需要更加强大的 肺癌是全球死亡率最高的恶性肿瘤。其中非小细胞肺癌(NSCLC)占比达到85%。表皮生长因子受体(EGFR)是NSCLC最常见的驱动突变基因。现在,一个国际科学家团队首次证明,EGFR的一个关键界面可能会成为更 3月20日,在2024全球游戏开发者大会(GDC)上,腾讯发布了自研游戏AI引擎——GiiNEX。基于生成式AI和决策AI技术,GiiNEX将为游戏全生命周期提供丰富的AI解决方案。据悉,借助大模型等生成式AI 记者3月21日从中国科学技术大学获悉,该校物理学院张斗国教授课题组,提出并实现了一种基于矢量光场调控原理的动量空间偏振滤波器件。该滤波器件安装于传统无标记光学显微镜后,可采集到单个纳米 。

本文链接:何恺明刘壮新作:消除数据集偏差的十年之战http://www.sushuapos.com/show-2-3865-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 来感受一下“人工智能+”,三甲医院是这样用大模型的

下一篇: 星舰失联了!SpaceX第三次发射功败垂成,但马斯克又把人类推进了一大步

热门资讯

推荐资讯

  • 科普五种方法:拼多多先用后付大额怎么提出

    拼多多是一款可以拼团下单的在线购物平台,到了很多顾客朋友的喜爱,其优势主要就是价格更低,可以发起与朋友之间的社交联系。很多喜欢用拼多多购物平台买东西的朋友,一旦到了购

  • 小二推荐便捷秒到方法-拼多多先用后付哪里套出来靠谱

    拼多多先用后付是拼多多推出的一种消费信贷服务,可以帮助用户在拼多多购物时享受先用后付、分期付款等优惠。用户可以在拼多多APP上申请开通先用后付服务,开通后即可在拼多多

  • 小二分享真实秒到攻略-拼多多先用后付怎么变现出来

    拼多多作为中国最大的社交电商平台之一,拥有庞大的用户群体和丰富的商品资源。其中,拼多多先用后付是一种特殊的购物方式,让用户可以先收到商品再付款。 但是,很多人可能会想知

  • 本人分享:拼多多先用后付如何提现到银行卡

    拼多多上面消费的商品,顾客可以先使用,觉得满意再进行付款。本质上,这是一种信用支付方式,先让用户享受0元下单的权益,然后再是用户守信付款。先用后付的这个时间间隔大概是15天

  • 科普五大攻略:拼多多先用后付套出多久到账

    拼多多凭借前几年一番病毒式的营销之后,如今已经成为了和淘宝、京东齐名的电商巨头之一,为了更好的留住用户,还专门开通了先用后付的服务,拼多多的先用后付功能许多用户都

  • 秒到必看-拼多多先用后付哪里变现出来靠谱

    拼多多凭借前几年一番病毒式的营销之后,如今已经成为了和淘宝、京东齐名的电商巨头之一,为了更好的留住用户,还专门开通了先用后付的服务,拼多多的先用后付功能许多用户都

  • 介绍靠谱秒到方法-拼多多先用后付怎么提出现金

    随着电商的发展,购物方式也在发生改变。拼多多作为国内领先的电商平台,其“先用后付”的额度政策吸引了众多消费者。 那么,如何巧妙地套出拼多多先用后付的额度呢?今天,我将为大

  • 大额度必看-拼多多先用后付怎么找取现商家

    在拼多多平台上,先用后付是一种常见的支付方式,让买家能够在确认收货前先使用商品,并在一定时间内完成支付。对于一些小额购物,想要快速到手,可以参考以下诀窍: 拼多多先用后付

  • 讨取:拼多多先用后付的钱怎么取出来

    拼多多是一款可以拼团下单的在线购物平台,到了很多顾客朋友的喜爱,其优势主要就是价格更低,可以发起与朋友之间的社交联系。很多喜欢用拼多多购物平台买东西的朋友,一旦到了购

  • 介绍精简秒到攻略-拼多多先用后付额度如何取现出来

    随着网络购物的日益普及,人们对于购物体验的要求也越来越高。其中,拼多多先用后付作为一种新兴的消费方式,逐渐受到了广大消费者的青睐。拼多多作为一家国内知名的电商平台,也

  • 靠谱秒到方法-拼多多先用后付如何套现到银行卡

    在拼多多平台上,先用后付是一种常见的支付方式,让买家能够在确认收货前先使用商品,并在一定时间内完成支付。对于一些小额购物,想要快速到手,可以参考以下诀窍: 拼多多是一款可

  • 推荐:拼多多先用后付怎么变现出来

    拼多多先用后付额度怎么套出来的,最简单的方法拼多多先用后付是拼多多平台推出的一款消费服务,现在网络消费额度比较流行,其中的利润也是非常可观的,多多现在也是一个比较热

  • 日榜
  • 周榜
  • 月榜