8月4日，腾讯混元宣布开源4款小尺寸模型，参数规模分别为0.5B、1.8B、4B、7B，消费级显卡即可运行，适用于笔记本电脑、手机、智能座舱、智能家居等低功耗端侧场景，且支持垂直领域低成本微调。
据介绍，新开源的4个模型属于融合推理模型，具备推理速度快、性价比高的特点，用户可根据使用场景灵活选择模型思考模式——快思考模式提供简洁、高效的输出；而慢思考涉及解决复杂问题，具备更全面的推理步骤。效果上，四个模型均实现了跟业界同尺寸模型的对标，特别是在语言理解、数学、推理等领域有出色表现。
这4款模型的亮点在于agent和长文能力，模型支持上下文窗口可达256k，可以一次性记住并处理相当于40万中文汉字或50万英文单词的超长内容，在实际应用中可胜任深度搜索、excel 操作、旅行攻略规划等任务。
腾讯方面表示，目前这4款模型已经在腾讯多个业务中应用，可用性和实用性经过了实践检验，是真正实用的模型。如，腾讯手机管家利用小尺寸模型可提升垃圾短信识别准确率，实现毫秒级拦截，隐私零上传。部署要求上，这4个模型均只需单卡即可部署，部分个人电脑、手机、平板等设备可直接接入。并且，模型具有较强的开放性，主流推理框架（如SGLang，vLLM and TensorRT-LLM）和多种量化格式均能支持。
近期，全球开源社区分外热闹，中国大模型表现抢眼。腾讯混元大语言模型也在持续推进开源，参与技术社区的共建之中，其开源模型已覆盖文本、图像、视频和3D生成等多个模态。腾讯方面表示，开源是腾讯混元大模型长期坚持的方向，未来腾讯混元也将不断提升模型能力，继续积极拥抱开源，加速产业落地和应用。
目前，4款模型均在Github 和 HuggingFace 等开源社区上线，Arm、高通、Intel、联发科技等多个消费级终端芯片平台也都宣布支持部署。
本文链接：手机就能跑！腾讯推出4款可端侧部署的开源模型http://www.sushuapos.com/show-11-24297-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 第19届复合医学工程国际会议召开