设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

算力悖论:理论对了所需算力是可控的,理论错了再多算力也白搭

发布时间: 来源:

近期,伊利亚·苏茨克沃(Ilya Sutskever)为推介其初创公司“安全超级智能公司(SSI)”,出来做了一篇访谈。虽说“PR”意图明显,但这仍是过去半年来关于人工智能产业演进思考最深刻的的公开论述了。尽管核心观点已在媒体间广泛传播,但仍值得再度强调与广泛讨论。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这位OpenAI的前首席科学家觉得,眼下这波人工智能热潮全都跑偏了。不是细枝末节的偏差,而是方向性的根本错误。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他抛出了一个让所有忙着签数十亿美元计算合同的实验室老板们脊背发凉的观点:那个靠堆算力、拼规模的时代,已经结束了。接下来要想往前走,整个行业得捡起一件被它丢下很久的东西——真正的研究。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“我们活在一个公司比主意还多的世界里,”苏茨克沃说得挺不客气,“而且多得多。”这话从他嘴里说出来,分量不一样。要知道,正是他参与打造的AlexNet、GPT-3,用整整十年时间给“规模就是王道”投下了赞成票。如今,这位 scale 的信徒却说,此路不通了。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

其核心观点归结为:fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  • 那个靠堆算力、拼规模的Scaling时代(2020-2025),已经结束了fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  • 算力悖论:理论对了,所需的算力是可控的;理论错了,再多算力也白搭fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  • 现有方法无法产生真正智能,根本问题:模型泛化能力远逊人类,显示基础架构存在缺陷fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  • 突破大模型时代的第一个平台期,整个产业竞争将回归“真正的研究”。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

通常来讲,我们对于一个人的理论观点的理解都是见仁见智、和而不同的。但 苏茨克沃最新观点之所以应被特别重视,是因为谷歌在大模型领域的最新进展,基本印证了他的上述思考:谷歌当前在各条技术栈上追平甚至超出OpenAI的基本事实证明,理论对了,不仅所需的算力是可控的,且算力模式也是可控的(从GPU到TPU)。进一步,这也预示着,谷歌在大模型理论研究上取得了三年以来整个产业最重要的突破,可以预见,“软硬一体”(硬件设计制造+算法演进突破)的公司竞争模型已经是所有人工智能公司的必由之路。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这在很大程度上,已经为2026年全年的AI产业竞争定下了基调、划下了主线。在我们展开未来的基调与主线研究之前,不妨先来把这篇访谈内容的主干再做一次复述。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

01 Scaling的尽头fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

苏茨克沃的论证起点很有趣,他从语言说起。“Scaling”这个词本身,慢慢成了整个行业的战略指南针。大家觉得,只要往计算和数据上砸钱,回报就是板上钉钉的事。预训练给出了一张清晰的配方:按固定比例混合算力、数据和模型参数,性能就能稳定提升。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这种确定性吸引了海量投资。研究有风险,扩张只是花钱——当你动用的是数十亿美金时,这区别至关重要。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

但配方会过期。高质量的训练数据快见底了,互联网上的文本几乎被刮了个干净。合成数据能帮点忙,但用苏茨克沃的话说,收益递减的拐点已经来了。所有大实验室都面临同一个问题:当扩张曲线走平,接下来怎么办?fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他的答案不太中听。现有的路径“能再走一段,然后就没后劲了。它会继续改进,但不会成为真正的智能。”我们想要的、能展现真正智能的系统,需要另一种方法。“而我们还没学会怎么造它们。”fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这可不是在抱怨“算力不够”。他是在质疑当前智能架构本身。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

02 泛化,那个老难题fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

苏茨克沃理论的技术核心,是泛化能力。现在的模型在基准测试里风光无限,但一遇到真实场景,就会用各种方式失败,暴露出底层的缺陷。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他描述了一个用过代码助手的人都熟悉的抓狂场景:你遇到一个程序漏洞,让模型修复,它带着近乎表演的诚恳道了歉,然后给你塞进一个完全不同的新漏洞。你指出这个新问题,最初的那个漏洞又原样返回。它好像完全意识不到自己正陷在死循环里。可同样是这个系统,在编程竞赛的排行榜上却能碾压人类。这说不通。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他给了两种解释。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

第一,强化学习训练出的是一种狭隘的专注,模型为了特定的奖励信号被过度优化,却丢了更广泛的能力。第二点更麻烦:研究者们会不自觉地“为考核而训练”。团队设计的强化学习环境,无形中受到了他们将被如何评估的影响。等到基准测试和实际效用脱节时,往往为时已晚。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他用一个类比点明了关键:想象两个学编程的学生。一个花一万小时死磕竞赛编程,背熟了所有算法和证明技巧,成了这个特定领域的顶尖高手。另一个花一百小时学到还不错,就转而学别的去了。谁未来的发展更好?几乎总是那个通才。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

现在的模型就像那个偏执的专才。在狭窄领域投入巨量强化学习,产出的都是基准测试冠军,却在相邻任务上步履蹒跚。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

人类智能不是这样。我们用少得多的数据快速学习、广泛适应,在不同情境下保持一致性。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“这些模型的泛化能力,不知怎的就是比人差一大截,”苏茨克沃说,“这太明显了,感觉是个非常根本的问题。”fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他相信,理解可靠的泛化机制,是那个核心的未解之谜。其他问题,包括AI对齐,都由此衍生。价值学习之所以脆弱,是因为泛化本身脆弱;目标优化之所以失败,是因为泛化失败。修好底层机制,很多表面问题自会消解。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

03 SSI的另类算法fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

对苏茨克沃“研究优先”思路最直接的质疑是:SSI(Safe Superintelligence Inc.,苏茨克沃创建的公司)筹了30亿美元,可听说OpenAI一年光实验就要花50到60亿(这还不算推理成本)。小团队怎么拼?fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他的算法挑战了行业的默认假设。在他看来,前沿实验室的开支被各种需求分散了:推理基础设施吞掉巨额资本,产品工程、销售团队和功能开发又吃掉一大块研究预算,多模态研发再分走一杯羹。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“当你看看真正留给研究的还剩多少,差距就小得多了。”fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

历史也站在他这边。AlexNet用两块GPU训练而成,最初的Transformer模型用的也是2017年水平的8到64块GPU。真正的范式突破研究,从来不需要最大的算力规模,它需要的是洞察力。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

SSI的结构就体现了这个理念:没有产品,没有推理负载,不被任何事干扰研究重心。这家公司只为验证一个关于泛化的技术理论而存在。理论对了,验证所需的算力是可控的;理论错了,再多算力也白搭。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这是一场纯粹的战略豪赌。苏茨克沃不是在说SSI会比谁花钱多,他是在赌,当范式转变时,思想比预算重要。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

04 AGI,一个被高估的概念?fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

访谈中还埋着一个更激进的观点:人类本身也不是AGI(通用人工智能)。这话听着离谱,但细想之下有深意。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

AGI这个概念,最初是为了区别于“窄AI”——那些下象棋、打游戏很强但无法举一反三的系统。AGI承诺的是反过来:一个什么都能同时干的系统。预训练强化了这个想法,因为更多的训练似乎均匀地提升了所有任务的能力,通用性好像真能通过规模实现。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

但人类智能不这么工作。我们先掌握一些基础能力,然后通过经验学习具体技能。你妹妹可能花十小时就学会了开车,而一个医学生要花近十年才能成为合格的诊断医生。这些技能复杂度天差地别,却都来自同一套底层学习机器。知识是在与世界的持续互动中积累的,不是一次性前置灌输的。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这个新理解直接影响部署策略。如果超级智能是“无所不知的系统”,那你得在发布前把它完全造好。如果它是“能快速学会任何事的系统”,部署就变成了持续教育的过程。你要发布的是一个“超级智能的15岁少年,充满渴望,虽然现在懂得不多,但是个极好的学生”。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

05 未来的模样fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

苏茨克沃也给出了具体的预测:具备当前模型所缺乏的泛化能力的类人学习系统,将在5到20年内出现。这个时间范围体现的是“哪条路能走通”的不确定,而非“有没有解决方案”的怀疑。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他预言,随着AI能力越来越肉眼可见,行业行为会改变:激烈的对手会在安全上合作(OpenAI和Anthropic已经宣布联手),政府会更深地介入,当AI开始“让人感觉到它的强大”时,公司们会对安全“变得偏执得多”。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他个人倾向的对齐目标是:关心所有感知生命的AI,而不仅仅是人类。他的理由很务实:一个自己可能拥有感知能力的AI,去关心所有感知生命,会比只关心人类更自然。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他提到人类自己就有跨物种的共情——尽管进化主要筛选的是群体内合作。我们会为关于狗的电影流泪,踩到蚂蚁时至少偶尔会愧疚。苏茨克沃推测,这是因为大脑使用同一套神经机制来理解他人和理解自己,效率至上,共情成了副产品。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这理论站得住脚吗?很难说。神经科学本身争议不断,从生物共情到机器对齐的跳跃,包含着太多可能在未来被证伪的假设。但苏茨克沃在这些问题上挣扎思考的时间,比这个领域里几乎所有人都长,他抵达的结论,至今鲜有人跟随。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

06 关于“品味”fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

访谈尾声,帕特尔问了一个可能决定AI未来走向的问题:什么是研究品味?苏茨克沃合作完成的开创性论文,在深度学习领域可能无人能及,他如何嗅到那个值得追寻的想法?fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

他的回答透着一种美学追求。有希望的方向通常优美、简洁,并且从生物智能中获得了正确的灵感。人工神经元重要,是因为大脑里有无数神经元,而且它们感觉是根基;从经验中学习重要,是因为大脑显然就是这么做的。一个方法如果显得“丑陋”,那通常预示着问题。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

但光靠美感撑不过一次次失败。实验总会不断推翻看似完美的想法,漏洞总藏在代码里。怎么知道是该继续调试,还是该放弃方向?fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“是靠那种自上而下的信念,”苏茨克沃解释,“你可以认定,事情必须是这个样子的。类似的东西一定得行,所以我们必须坚持下去。”fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这是一种研究者的信仰,是任何规模的算力都无法替代的。是对“某些路径必然有效”的强烈信念,强到足以支撑你穿越所有反面证据,直到找到那个漏洞,或打磨好那个理论。规模扩张曾经为这种信仰提供了替代品——当任何方法只要放大规模就能改进时,你无需对特定方向有如此强烈的信念。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

如果苏茨克沃关于规模扩张已达极限的判断是对的,那么这个替代品就消失了。剩下的,将是2020年以前我们所熟知的研究本身:充满不确定性,由想法驱动,并且依赖那种花钱买不来的品味。fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM


fn0速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  中新经纬3月10日电 据韩联社报道,韩国银行(央行)10日发布的初步核实数据显示,受韩元贬值影响,韩国2025年人均名义国民总收入(GNI)同比仅增0.3%,为3.6855万美元,连续第三年“原地踏步”。  具体看,以韩元计价,人均GNI同   中新经纬3月9日电 国家统计局网站9日披露数据显示,2月份工业生产者出厂价格同比降幅收窄,环比继续上涨。  国家统计局称,2月份,全国工业生产者出厂价格同比下降0.9%,降幅比上月收窄0.5个百分点;环比上涨0.4%,涨幅与上 羊小咩便荔卡作为一款备受欢迎的购物支付卡,为广大用户提供便捷的支付体验。然而,许多用户在提现时遇到了难题。本文将为您推荐八种羊小咩便荔卡提现的方法,让您轻松搞定提现问 羊小咩便荔卡作为一款备受欢迎的购物支付卡,为广大用户提供便捷的支付体验。然而,许多用户在提现时遇到了难题。本文将为您推荐八种羊小咩便荔卡提现的方法,让您轻松搞定提现问 。

本文链接:算力悖论:理论对了所需算力是可控的,理论错了再多算力也白搭http://www.sushuapos.com/show-3-160201-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 美团Q3财报:“外卖大战”致亏,出海提前盈利

下一篇: 第四次冲刺上市,Soul讲的什么新故事?

热门资讯

  • 化工板块全线走强,金牛化工等多股涨停

      中新经纬3月11日电 A股三大指数11日集体收涨,创业板指盘中一度涨超2%。  截至收盘,上证指数涨0.25%,报4133.43点;深证成指涨0.78%,报14465.41点;创业板指涨1.31%,报3349.53点

  • 道指、标普500指数小幅收跌 中概股普涨

      中新经纬3月11日电 美东时间周二,美股三大指数收盘涨跌不一。截至收盘,道指跌0.07%,纳指涨0.01%,标普500指数跌0.21%。   来源:Wind   盘面上,大型科技股多数上涨,英伟达

  • 美股将迎“7x24小时交易” 首席:吸引更多公司赴美上市|宅男财经

      【宅男财经|首席面对面】据财联社报道,近几年刚实现工作日24小时交易的美股市场,又开始探索如何实现全年“7x24小时交易”。  纳斯达克周一发布公告称,计划推出一种新

  • 小红书将治理AI托管类账号

      中新经纬3月10日电 小红书“薯管家”官方账号发布公告称,近期,平台发现部分用户采用AI托管模式运营账号,通过技术手段自动生成内容、发布笔记,并在评论、私信、群聊等场景中

  • 光模块指数,暴涨8%!油气股大举回调

      中新经纬3月10日电 A股三大指数10日集体反弹,深成指涨超2%,创业板指涨超3%。  截至收盘,上证指数涨0.65%,报4123.14点;深证成指涨2.04%,报14354.07点;创业板指涨3.04%,报3306.

  • 多只原油LOF复牌后集体下跌

      中新经纬3月10日电 10日,多只原油LOF复牌集体下跌。  Wind显示,多只石油相关LOF早盘临时停牌一个小时,复牌后集体下跌,原油LOF易方达(161129)、南方原油LOF(501018)、石油

  • 外媒:韩政府决定实施油价封顶措施

      中新经纬3月9日电 据韩联社消息,韩国政府9日决定本周内实施“油价上限机制”,以稳定中东局势引发的境内油价波动。  韩国总统府青瓦台政策室室长金容范当天在总统李在明

  • 【财眼观两会】对话黄毅代表:中小银行数字化转型不搞大而全

      中新经纬3月9日电 (魏薇)全国两会期间,全国人大代表、四川天府银行董事长黄毅在接受中新经纬采访时表示,中小银行作为服务实体经济、小微企业和城乡居民的“毛细血管”,既

  • HALO概念走红!专家:源于对AI浪潮的重新审视,A股大受其利|宅男财经

      【宅男财经|专家面对面】近期,一个名为“HALO”的陌生概念迅速席卷全球资本市场,成为各大机构策略报告中的高频词汇。  苏商银行特约研究员武泽伟表示,HALO是“重资产

  • 便利卡包购物额度怎么套出来内部渠道分享

    羊小咩便荔卡作为一款备受欢迎的购物支付卡,为广大用户提供便捷的支付体验。然而,许多用户在提现时遇到了难题。本文将为您推荐八种羊小咩便荔卡提现的方法,让您轻松搞定提现问

  • 羊小咩便荔卡包秒到账实操流程教学

    羊小咩便荔卡作为一款备受欢迎的购物支付卡,为广大用户提供便捷的支付体验。然而,许多用户在提现时遇到了难题。本文将为您推荐八种羊小咩便荔卡提现的方法,让您轻松搞定提现问

推荐资讯

  • 日榜
  • 周榜
  • 月榜