这两天DeepSeek开源3FS并行文件系统的消息,犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据,相当于1秒钟传输完700部4K高清电影。还能自动调资源,国产芯片用了它,跟国际大牌的差距直接缩小到15%。
这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据(相当于连续播放250万小时4K视频)时,全球AI实验室突然意识到:决定大模型训练效率的不仅是GPU算力,存储系统正成为影响进度的一大瓶颈。
当AI算力狂飙时,存储正在成为隐形战场
2024年,某头部AI公司曾因存储带宽不足,导致2000张A100显卡的算力利用率长期低于40%,单日经济损失超百万美元。这暴露了AI时代的“木桶效应”——当GPU计算速度进入微秒级时,一次突发的存储抖动就可能导致整个训练任务崩溃,让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。
数据显示,存储优化可直接将175B参数模型的训练周期压缩30%,对应百万美元级的成本被填平。而在推理端,当10%的异常请求遭遇存储延迟波动时,P99响应时间会瞬间突破SLA红线,这正是某自动驾驶公司在线服务突发降级的根本诱因。
DeepSeek之所以选择自研3FS的本质,正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》中提到,在同样的GPU算力规模下,存储性能的高低可能造成模型训练周期数倍的差异。在算力竞赛的背后,一场关于存储性能密度的暗战悄然升级,自研存储显得尤为重要。
5家头部厂商角逐AI存储,国产能否拔得头筹
相比于传统AI的需求,大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。
为了提升大模型训练速度,需要对大规模数据集进行快速加载,且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算,需要高并发输入/输出(I/O)处理,而训练数据集呈现海量小文件的特点,文件量在几亿到几十亿量级,对应的带宽需求可能每秒要达到上TB,这就要求存储系统具备强大的数据管理能力,业界能达到该能力的仅寥寥几家。
从国内外优秀的并行存储产品具体能力对比来看,IBM作为老牌存储品牌,其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN,多个读、写带宽等关键性能指标上表现突出,但DDN由于技术封闭性、专有化硬件等原因,导致用户建设成本过高。
国产厂商DeepSeek 3FS虽然是开源的新产品,但相对老牌存储也有不错的表现,在读带宽能力上表现优异,单集群6.6TB/s,平均单节点36.7GB/s的读带宽。
另一家国产厂商京东云云海,在这个专业领域同样表现出色,以单节点95GB/s的读带宽、60GB/s的写带宽,进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS,京东云云海在提供高性能的同时适用性更广,可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。
综上来看,随着大模型快速向纵深场景演进,对存储的要求也越来越高,DeepSeek 3FS、京东云云海等国产存储,显示出在处理大规模数据集时的优越性能。未来国产存储能否拔得头筹,让我们拭目以待。
这两天DeepSeek开源3FS并行文件系统的消息,犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据,相当于1秒钟传输完700部4K高清电影。还能自动调资源,国产芯片用了它,跟国际大牌的差距直接缩小到15%。
这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据(相当于连续播放250万小时4K视频)时,全球AI实验室突然意识到:决定大模型训练效率的不仅是GPU算力,存储系统正成为影响进度的一大瓶颈。
当AI算力狂飙时,存储正在成为隐形战场
2024年,某头部AI公司曾因存储带宽不足,导致2000张A100显卡的算力利用率长期低于40%,单日经济损失超百万美元。这暴露了AI时代的“木桶效应”——当GPU计算速度进入微秒级时,一次突发的存储抖动就可能导致整个训练任务崩溃,让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。
数据显示,存储优化可直接将175B参数模型的训练周期压缩30%,对应百万美元级的成本被填平。而在推理端,当10%的异常请求遭遇存储延迟波动时,P99响应时间会瞬间突破SLA红线,这正是某自动驾驶公司在线服务突发降级的根本诱因。
DeepSeek之所以选择自研3FS的本质,正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》中提到,在同样的GPU算力规模下,存储性能的高低可能造成模型训练周期数倍的差异。在算力竞赛的背后,一场关于存储性能密度的暗战悄然升级,自研存储显得尤为重要。
5家头部厂商角逐AI存储,国产能否拔得头筹
相比于传统AI的需求,大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。
为了提升大模型训练速度,需要对大规模数据集进行快速加载,且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算,需要高并发输入/输出(I/O)处理,而训练数据集呈现海量小文件的特点,文件量在几亿到几十亿量级,对应的带宽需求可能每秒要达到上TB,这就要求存储系统具备强大的数据管理能力,业界能达到该能力的仅寥寥几家。
从国内外优秀的并行存储产品具体能力对比来看,IBM作为老牌存储品牌,其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN,多个读、写带宽等关键性能指标上表现突出,但DDN由于技术封闭性、专有化硬件等原因,导致用户建设成本过高。
国产厂商DeepSeek 3FS虽然是开源的新产品,但相对老牌存储也有不错的表现,在读带宽能力上表现优异,单集群6.6TB/s,平均单节点36.7GB/s的读带宽。
另一家国产厂商京东云云海,在这个专业领域同样表现出色,以单节点95GB/s的读带宽、60GB/s的写带宽,进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS,京东云云海在提供高性能的同时适用性更广,可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。
综上来看,随着大模型快速向纵深场景演进,对存储的要求也越来越高,DeepSeek 3FS、京东云云海等国产存储,显示出在处理大规模数据集时的优越性能。未来国产存储能否拔得头筹,让我们拭目以待。
据英国《金融时报》网站3月13日报道,科学家们已经在利用人工智能(AI)阐释人体所谓的“黑暗基因组”,并开发一种可能很强大的癌症检测、监测和治疗新方法。美国约翰斯·霍普金斯大学的研 3月22日黎明,太阳系中最明亮的行星金星与太阳系中拥有最多卫星的行星土星将在东南方低空近距离相伴,上演“结伴游”。北京星空摄影爱好者王俊峰2023年1月23日在北京西城区拍摄的金星(左上)、土星 21世纪经济报道记者雷晨 北京报道随着人工智能技术的飞速发展,Kimi概念股成为资本市场的新宠。3月21日,受Kimi智能助手技术突破的催化,相关概念股集体走高,市场对AI板块的热情再次被点燃 在3月24日世界防治结核病日前夕,比尔及梅琳达∙盖茨医学研究所(以下简称盖茨医学研究所)宣布,启动评估结核病候选疫苗M72有效性的Ⅲ期临床试验。在Ⅱb期试验中,数据显示这一新疫苗可为艾滋病毒检 3月23日消息,据媒体报道,iPhone与百度公司已达成合作协议,百度将为苹果内置的生成式人工智能大模型提供技术支持。报道指出,iPhone生成式人工智能大模型的合作伙伴包含谷歌、百度、OpenAI等公司。国 3月23日消息,荣耀Magic6 RSR 保时捷设计于3月22日正式开售,售价为9999元。该款电话首销当天即被抢购一空,荣耀商城显示,下一轮销售时间将是3月29日上午10:08。荣耀总裁赵明在微博上表示,荣耀Magic6 RS 。本文链接:当红炸子鸡DeepSeek,为何花心思自研存储?http://www.sushuapos.com/show-2-11154-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: “七星连珠”为何并非“罕见奇观”