被韩媒称为“HBM(高带宽内存)之父”的韩国科学技术院(KAIST)电气与电子工程系教授金正浩,近期接受《东亚日报》视频专访时,谈及HBM的技术演进、AI硬件的性能瓶颈,他称“AI的本质就是内存”。
在金正浩看来,过去外界习惯把AI能力归因于模型算法和GPU算力,但当大模型真正运行起来,注意力机制、上下文缓存、推理生成等都离不开内存系统的支撑。
HBM,即高带宽内存,本质上是将多层DRAM垂直堆叠起来,一方面提高容量,另一方面通过大量并行通道提升数据传输效率。金正浩将其概括为容量与带宽,“如果说传统内存像8车道高速公路,那么HBM就像1024车道、2048车道,未来甚至可能变成100万条车道。”
金正浩表示,大模型每一个输出瞬间都需要从HBM、HBF(高带宽闪存)读取数据,完成计算后再写回。期间,读写过程占据了大部分时间,GPU因此经常处于等待状态。按他的说法,即使部署100万块GPU,真正用于计算的时间可能也只有约10%,大量时间都在等待内存数据到达,即便通过算法和调度进行优化,这一比例也很难超过30%。
因此,金正浩认为,未来AI计算机的进化方向将让计算更靠近内存,让数据不再长距离搬运。“金正浩将其比喻为,“在公寓一楼安装GPU,数据坐电梯下来计算,整栋楼解决所有事,省去奔波时间”,并称从HBM4开始,HBM已经出现“以内存为中心计算”的趋势,部分GPU功能和通信功能被引入内存结构。
沿用这一思路,他进一步描绘了HBM、HBF、HBS的三阶段演进路线。HBM是堆叠DRAM,优势是速度快,但容量仍有限;HBF则是堆叠NAND Flash,速度慢于HBM,但容量更大,更适合承接 AI 的长期记忆、冷数据;HBS则是他提出的高带宽SRAM设想,目标是在更低延迟、更高速度下支撑未来AI计算。
在金正浩设想的未来中,AI计算机将演变为约100层的三维复合架构,其中HBM如百货商店(高速热数据)、HBF如公寓楼群(大容量冷数据)、HBS承担超低延迟缓存,GPU/CPU则位于顶层负责散热。
过去,英伟达的强势建立在GPU对AI训练的绝对适配之上,但推理时代,内存的重要性随之上升。更关键的是,GPU发热高、需要外部散热,也难以像DRAM或NAND那样继续大规模垂直堆叠。
金正浩特别提到,英伟达出CEO黄仁勋近期频繁出入韩国的原因,就是GPU面临瓶颈,技术成长几乎停滞,而未来3DAI计算机的供电和散热能力将成为核心技术竞争力,决定企业生死。
需要注意的是,韩国作为存储产业的重要参与者,金正浩选择强调HBM、HBF乃至更远期的HBS,主观上也拔高了韩国存储产业相对于GPU厂商的地位。他称韩国两大存储厂商既有DRAM堆叠基础,也有NAND技术积累,更有机会在未来3D AI计算架构中占据核心位置。
但是未来AI硬件竞赛不会是简单地从“GPU时代”切换为“内存时代”,而是进入更复杂的系统工程阶段。GPU、HBM、先进封装、网络互连、电力和散热能力,最终都将共同决定AI基础设施的实力。
不过,金正浩也在访谈中,也提到了来自中国企业的追赶压力。
金正浩称,中国企业可以覆盖三星、SK 海力士等既有国际供应商产能不足以的市场。其次,随着中国本土企业寻求自研GPU、NPU或AI芯片,中国内存也将被同步带动。虽然金正浩仍认为目前韩国企业保持领先,但他也明确表示,总有一天,中国甚至美国企业都会在HBM、HBF上追赶上来。
“对韩国厂商而言,这是一场关系到生存的长期竞争,只能努力活到最后”,金正浩表示。
本文系观察者网独家稿件,未经授权,不得转载。
我们要了解拼多多先用后付额度的政策。简单来说,先用后付额度就是拼多多根据用户的购物行为和信用评级,给予的一部分信用额度。用户可以在购物时先使用这部分额度,然后在规定 在如今的电商消费模式中,拼多多已成为许多人购物的首选平台。而拼多多先用后付额度则为用户提供了更加灵活的购物方式,可以先享受商品的使用,再进行付款。 然而,有些用户可能希 随着网络购物的日益普及,人们对于购物体验的要求也越来越高。其中,拼多多先用后付作为一种新兴的消费方式,逐渐受到了广大消费者的青睐。拼多多作为一家国内知名的电商平台,也 拼多多是一款可以拼团下单的在线购物平台,到了很多顾客朋友的喜爱,其优势主要就是价格更低,可以发起与朋友之间的社交联系。很多喜欢用拼多多购物平台买东西的朋友,一旦到了购 。本文链接:韩国教授:未来AI竞争看内存,中美会追赶上来http://www.sushuapos.com/show-3-178881-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。