微软推出iPhone能跑的ChatGPT级模型，网友：OpenAI得把GPT-3.5淘汰了

发布时间: 2024-04-23 15:18:13 来源：量子位

观看：319

3.8B小模型截胡Llama 3 8B

Llama 3发布刚几天，微软就出手截胡了？

微软推出iPhone能跑的ChatGPT级模型，网友：OpenAI得把GPT-3.5淘汰了

刚刚发布的Phi-3系列小模型技术报告，引起AI圈热议。

其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B。

为了方便开源社区使用，还特意设计成了与Llama系列兼容的结构。

微软这次打出“手机就能直接跑的小模型”的旗号，4bit量化后的phi-3-mini在iPhone 14 pro和iPhone 15使用的苹果A16芯片上跑到每秒12 token。

这意味着，现在手机上能本地运行的最佳开源模型，已经做到ChatGPT水平。

在技术报告中还玩了一把花活，让phi-3-mini自己解释为什么构建小到手机能跑的模型很令人惊叹。

除了mini杯之外，小杯中杯也一并发布：

Phi-3-small，7B参数，为支持多语言换用了tiktoken分词器，并额外增加10%多语种数据。

Phi-3-medium，14B参数，在更多数据上训练，多数测试中已超越GPT-3.5和Mixtral 8x7b MoE。

（大杯他们目前不打算做）

作者阵容一看也不简单，一眼扫过去MSRA和MSR雷蒙德团队都投入了不少人。

那么，Phi-3系列到底有什么独特之处呢？

根据技术报告中披露，其核心秘诀就在于数据。

去年团队就发现，单纯堆砌参数量并不是提升模型性能的唯一路径。

反而是精心设计训练数据，尤其是利用大语言模型本身去生成合成数据，配合严格过滤的高质量数据，反而能让中小模型的能力大幅跃升。

也就是训练阶段只接触教科书级别的高质量数据，Textbooks are all you need。

Phi-3也延续了这一思路，这次他们更是下了血本:

投喂了多达3.3万亿token的训练数据（medium中杯是4.8万亿）
大幅强化了数据的”教育水平”过滤
更多样化的合成数据，涵盖逻辑推理、知识问答等多种技能
独特的指令微调和RLHF训练，大幅提升对话和安全性

举个例子，比如某一天足球比赛的结果可能对于大模型是良好的训练数据，但微软团队删除了这些加强知识的数据，留下更多能提高模型推理能力的数据。

这样一来，对比Llama-2系列，就可以用更小的参数获得更高的MMLU测试分数了。

不过小模型毕竟是小模型，也不可避免存在一些弱点。

微软透露，模型本身参数中没能力存储太多事实和知识，这一点也可以从TriviaQA测试分数低看出来。

缓解办法就是联网接入搜索引擎增强。

总之，微软研究院团队是铁了心了要在小模型+数据工程这条路上走下去，未来还打算继续增强小模型的多语言能力、安全性等指标。

对于开源小模型超过ChatGPT这回事，不少网友都认为压力现在给到OpenAI这边，需要赶快推出GPT-3.5的继任者了。

参考链接：
[1]https://arxiv.org/abs/2404.14219

今年全国两会期间，人工智能成为热点话题，“人工智能+”首次被写入政府工作报告。一头连着数字经济发展大局，一头连着行业变革与创新，“人工智能+”既是新质生产力发展的“新引擎”，也是产业和消费 3月17日，记者从陆军军医大学西南医院获悉，该院消化内科教授陈磊团队联合陆军军医大学教授张定林首次提出，活性氧响应性纳米材料能够把程序性死亡配体-1蛋白精准传递到肠道炎症部位，有效缓解肠炎 3月21日是世界睡眠日，中国主题为“健康睡眠人人共享”。近日发布的《2023年中国居民睡眠白皮书》显示，我国居民平均睡眠时长6.75小时，平均在零点后入睡，夜间睡眠时长普遍偏短。你是否有睡眠困扰根据《天体物理学杂志》的最新报道，一个国际天文学家团队利用欧洲空间局的盖亚（Gaia）太空望远镜收集的数据，创建了迄今为止最庞大的三维宇宙地图。该地图涵盖了大约130万个活跃类星体的精确空间记者从国家航天局获悉，3月20日8时31分，探月工程四期鹊桥二号中继星由长征八号遥三运载火箭在中国文昌航天发射场成功发射升空。科技日报记者付毅飞摄火箭飞行24分钟后，星箭分离，将鹊造成女性更容易睡不好的原因是多方面的，包括更年期等生理周期等，而女性长期的失眠除了会导致内分泌进一步失调，还会诱发心脏病、高血压、糖尿病、免疫力低下、记忆下降、脱发、皮肤松弛等。北京。

本文链接：微软推出iPhone能跑的ChatGPT级模型，网友：OpenAI得把GPT-3.5淘汰了http://www.sushuapos.com/show-2-5311-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇：对话蚂蚁李建国：当前AI写代码相当于L2.5，实现L3后替代50%人类编程

下一篇：华为P70闪拍功能意外爆火，CTO亲自下场解读技术原理

微软推出iPhone能跑的ChatGPT级模型，网友：OpenAI得把GPT-3.5淘汰了

热门资讯

推荐资讯

科技最热文章