（文/万肇生 编辑/张广凯）
近日，华为公开了昇腾服务器上部署DeepSeek V3/R1推理的最佳实践，并介绍了一系列创新技术。
其中，华为在降低计算资源需求方面，创新提出了昇腾亲和的低比特量化解决方案OptiQuant，最终实现了INT8量化模式与FP8的模型推理精度持平。
由于DeepSeek V3/R1模型是基于英伟达生态训练，并推荐使用FP8精度推理，而国产芯片普遍没有原生支持FP8精度，导致国产芯片对DeepSeek的适配不佳。华为昇腾的上述研究应该就是为了解决这一问题。
通常情况下，在模型推理阶段，进行量化（如FP8量化为INT8）可以显著降低模型对硬件的存储需求和计算复杂度，但也会造成模型推理精度的损失以及逻辑错误等问题。因此如何保持推理精度，是低比特量化满足不同平台部署需求时的前提。
据华为介绍，基于BF16的DeepSeek需要1.3TB的显存空间，同时导致极大的算力和跨机通信开销。而校准集的泛化性缺失导致了在很多任务上难以达到与原有模型相近的精度水平，甚至在某些场景下精度下降十分严重。同时，还要考虑如何设计昇腾亲和的量化算法，以发挥硬件性能。
针对上述问题，华为提出了OptiQuant量化框架，一种高性能保精度量化方案，设计了层间自动混精、自动混合校准、离群值抑制、可学习的截断和SSZW参数量化算法。除了支持业界主流量化算法功能之外，它还新增支持三个功能：接入自定义量化算法和数值类型，可以将多种量化算法的自由组合搭配使用；支持业内主流评测数据集和用户自定义的数据校准集；支持数据并行和流水并行，针对不同大小的大语言模型实现精度验证性能加速。
OptiQuant框架主要由以下几个模块组成：
量化类型和数值类型：OptiQuant支持了Int2/4/8和FP8/HiFloat8等数据类型，支持业界的Qserve，HQQ，LUT等量化方法，在此基础上提出了可学习截断和量化参数优化等算法，进一步减少了量化误差。
多样化测试数据集和用户自定义校准集：多样化测试数据集和用户自定义校准集：OptiQuant支持了判断题，问答题，代码题和数学题等多种测试类别，语种上支持了十种常见语言。此外，OptiQuant支持用户自定义校准集，提升模型量化过程中的泛化性。
量化权重生成：OptiQuant提出了自适应层间混精算法，并且根据对应的量化配置生成对应的权重参数，通过去冗余技术减少参数保存的参数量；OptiQuant进一步提出了FlexSQ等算法，在数据校准过程中，对大模型激活异常值进行了平滑处理，有助于对激活做低比特量化。
最终，基于Atlas 800I A2服务器的精度测试实验结果显示，对于DeepSeek-V3-0324模型，W8A8C16和W4A8C16均采用Per-channel量化，实现了推理精度与FP8-GPU持平。
华为表示，在DeepSeek R1/V3大模型推理场景中，实现了INT8量化模式与FP8的模型推理精度持平，而且进一步发挥了华为Atlas 800I A2和CloudMatrix384集群推理硬件性能。而相关代码也将逐步开源。
本文系观察者网独家稿件，未经授权，不得转载。
这个便荔卡包是什么来头？V—20514655 它是鹰潭市信江广达小额贷款股份有限公司联合持牌金融机构搞出来的一款先享后付产品。说人话就是——类似支付宝花呗、京东白条那种东西。只是花呗白条用的人多、名气大，便荔卡包相对小众一点，但功能上真差不多。 先给你一个额度。然后告诉你去哪儿花。就这么简单。 白条怎样套出来 1、京东商城套出来 京东商城上的店铺基本上都支持白条支付，所以我们选择这样的店，然后和商家协商。你可以用白条在他的店里买些东西，然后把地址填成商家的地址。这样，商品就会直接发给商家，然后商家就可以把费用转到你的银行卡上。 2、朋友代付套出来 京东白条在这个平台上支付时，有一个朋友代付选项。如果你碰 诚信商家24小时在线《V+5814098》欢迎咨询！秒到秒回！ （一）通过商品取现京东白条额度 1. 电子商品取现 通过购买特定的电子商品来实现白条额度取现是一种常见的方法。用户只需要选择一款电子商品，利用京东白条进行下单，然后与合作的商家进行协调。商家在验证付款后，将现金返还给用户。这一方法的核心在于与商家的配合与信任。 操 羊小咩额度怎么套出来取现？羊小咩额度怎么套出来？ 羊小咩便荔卡包购物额度可以通过以下几种方式套现: 1.微信扫码套现:在羊小咩商城q购买商品时，选择使用羊小咩额度支付，购买成功后可以将商品卖给羊小咩提现商家，商家直接返现金给你。 2.手机充值套现:通过充值话费q、Q币、携程卡等虚拟货币，充值成功后将虚拟货币卖给羊小咩额度 。本文链接：华为昇腾推出高性能保精度量化方案，更好适配DeepSeekhttp://www.sushuapos.com/show-3-144845-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 华为折叠电脑更换全新屏幕需1.5万