随着ChatGPT横空出世，人工智能（AI）领域的竞争进入白热化。英伟达公司的高端图形处理单元（GPU）芯片“一飞冲天”，受到各大科技公司追捧。与此同时，也有一些初创公司另辟蹊径，专注于研制另一种芯片——AI推理芯片，为AI产品的蓬勃发展和应用注入全新动力。
据物理学家组织网近日报道，这些AI推理芯片旨在降低生成式AI所需的高昂计算成本，更贴合AI工具的日常运行要求。此类芯片成本的不断下探和性能的持续提升，有望掀起新一轮AI应用创新浪潮，让更多复杂且强大的AI应用走进千家万户。
推理计算需求水涨船高
训练与推理，是AI大语言模型两大核心能力的坚固基石。
在应用过程中，经过训练的ChatGPT等生成式AI工具会吸纳新信息，从中进行推理并生成回应，如撰写文档、生成图像等。这类AI工具可应用于医疗诊断、自动驾驶、自然语言理解等领域。
随着AI模型的广泛应用，需要进行推理计算的硬件日益增多，对推理芯片的需求也将“水涨船高”。国际数据公司（IDC）的报告显示，未来几年，推理端的AI服务器占比将持续攀升。预计到2027年，用于推理的工作负载将占据七成以上。
科技公司竞推新产品
Cerebras、Groq和d-Matrix等初创公司，以及超威半导体公司（AMD）和英特尔等传统巨头，纷纷推出了AI推理芯片。这些公司敏锐捕捉到了AI推理芯片“大显身手”的契机。
据Cerebras公司官网报道，2024年8月28日，该公司推出了同名AI推理芯片。这款芯片在Llama 3.1-8B模型上实现了1800token/秒的推理速度；在Llama 3.1 70B上实现了450token/秒的推理速度，约是英伟达GPU推理速度的20倍。Token指AI处理文本的最小单元或基本元素，如一个单词、一个字符等。
Cerebras公司解释说，这一卓越表现得益于其创新的AI芯片设计方案。其晶圆级引擎（WSE）宛如一座庞大的“计算工厂”，最大特点是尺寸惊人——单个芯片几乎占据了一整块晶圆的面积。在这个超大芯片上，计算单元和内存单元高度集成，形成一个密集的网格结构。这样的设计，让数据能在极短距离内，于计算单元和存储单元之间传输，从根本上降低了数据移动成本，解决了GPU推理无法避免的内存带宽瓶颈。此类大芯片能更快处理信息，从而在更短时间内给出答案。
早在去年2月，Groq公司就发布了自己的AI推理芯片GroqCloud。它在Llama 3.1 70B模型上实现了250token/秒的推理服务，速度比GPU几乎提升了一个量级。
去年11月19日，硅谷初创公司d-Matrix宣布，其首款AI推理芯片Corsair已开始出货，旨在提供聊天机器人和视频生成等服务。Corsair在单服务器环境下，能让Llama3 8B模型实现60000token/秒的处理能力，且每个token的延迟仅为1毫秒，充分彰显了其在高速处理大规模数据方面的卓越性能。更值得一提的是，与GPU及其他方案相比，Corsair能在提供同等性能的同时，大幅降低能耗和成本。
应用开发走上新赛道
亚马逊、谷歌、元宇宙平台、微软等科技公司纷纷斥巨资，抢购昂贵的GPU，以期在AI开发赛道拔得头筹。与此同时，AI推理芯片制造商则将目光瞄准了更广泛的客户群体，希望能在这片新蓝海中大显身手。
这些潜在客户不乏那些渴望利用新兴的生成式AI技术，却又不想大费周章自建AI基础设施的财富500强企业。而且，购买AI推理芯片比从英伟达等公司购买GPU便宜。AI推理芯片旨在优化推理计算的速度与效率，尤其擅长智能建议、语音识别、自然语言处理等领域。
业内专家称，一旦推理速度提升至每秒数千token，AI模型将能在眨眼之间完成复杂问题的思考与回答过程。这不仅能让现有应用的交互效率实现质的飞跃，还将带来一系列令人耳目一新的人机交互场景。例如，在语音对话领域，延时将被压缩至毫秒级，能实现近乎自然的对话体验；在虚拟现实/增强现实领域，AI将能实时生成和调整虚拟环境、角色对话以及交互逻辑，给用户带来个性化、沉浸式体验。
随着ChatGPT横空出世，人工智能（AI）领域的竞争进入白热化。英伟达公司的高端图形处理单元（GPU）芯片“一飞冲天”，受到各大科技公司追捧。与此同时，也有一些初创公司另辟蹊径，专注于研制另一种芯片——AI推理芯片，为AI产品的蓬勃发展和应用注入全新动力。
据物理学家组织网近日报道，这些AI推理芯片旨在降低生成式AI所需的高昂计算成本，更贴合AI工具的日常运行要求。此类芯片成本的不断下探和性能的持续提升，有望掀起新一轮AI应用创新浪潮，让更多复杂且强大的AI应用走进千家万户。
推理计算需求水涨船高
训练与推理，是AI大语言模型两大核心能力的坚固基石。
在应用过程中，经过训练的ChatGPT等生成式AI工具会吸纳新信息，从中进行推理并生成回应，如撰写文档、生成图像等。这类AI工具可应用于医疗诊断、自动驾驶、自然语言理解等领域。
随着AI模型的广泛应用，需要进行推理计算的硬件日益增多，对推理芯片的需求也将“水涨船高”。国际数据公司（IDC）的报告显示，未来几年，推理端的AI服务器占比将持续攀升。预计到2027年，用于推理的工作负载将占据七成以上。
科技公司竞推新产品
Cerebras、Groq和d-Matrix等初创公司，以及超威半导体公司（AMD）和英特尔等传统巨头，纷纷推出了AI推理芯片。这些公司敏锐捕捉到了AI推理芯片“大显身手”的契机。
据Cerebras公司官网报道，2024年8月28日，该公司推出了同名AI推理芯片。这款芯片在Llama 3.1-8B模型上实现了1800token/秒的推理速度；在Llama 3.1 70B上实现了450token/秒的推理速度，约是英伟达GPU推理速度的20倍。Token指AI处理文本的最小单元或基本元素，如一个单词、一个字符等。
Cerebras公司解释说，这一卓越表现得益于其创新的AI芯片设计方案。其晶圆级引擎（WSE）宛如一座庞大的“计算工厂”，最大特点是尺寸惊人——单个芯片几乎占据了一整块晶圆的面积。在这个超大芯片上，计算单元和内存单元高度集成，形成一个密集的网格结构。这样的设计，让数据能在极短距离内，于计算单元和存储单元之间传输，从根本上降低了数据移动成本，解决了GPU推理无法避免的内存带宽瓶颈。此类大芯片能更快处理信息，从而在更短时间内给出答案。
早在去年2月，Groq公司就发布了自己的AI推理芯片GroqCloud。它在Llama 3.1 70B模型上实现了250token/秒的推理服务，速度比GPU几乎提升了一个量级。
去年11月19日，硅谷初创公司d-Matrix宣布，其首款AI推理芯片Corsair已开始出货，旨在提供聊天机器人和视频生成等服务。Corsair在单服务器环境下，能让Llama3 8B模型实现60000token/秒的处理能力，且每个token的延迟仅为1毫秒，充分彰显了其在高速处理大规模数据方面的卓越性能。更值得一提的是，与GPU及其他方案相比，Corsair能在提供同等性能的同时，大幅降低能耗和成本。
应用开发走上新赛道
亚马逊、谷歌、元宇宙平台、微软等科技公司纷纷斥巨资，抢购昂贵的GPU，以期在AI开发赛道拔得头筹。与此同时，AI推理芯片制造商则将目光瞄准了更广泛的客户群体，希望能在这片新蓝海中大显身手。
这些潜在客户不乏那些渴望利用新兴的生成式AI技术，却又不想大费周章自建AI基础设施的财富500强企业。而且，购买AI推理芯片比从英伟达等公司购买GPU便宜。AI推理芯片旨在优化推理计算的速度与效率，尤其擅长智能建议、语音识别、自然语言处理等领域。
业内专家称，一旦推理速度提升至每秒数千token，AI模型将能在眨眼之间完成复杂问题的思考与回答过程。这不仅能让现有应用的交互效率实现质的飞跃，还将带来一系列令人耳目一新的人机交互场景。例如，在语音对话领域，延时将被压缩至毫秒级，能实现近乎自然的对话体验；在虚拟现实/增强现实领域，AI将能实时生成和调整虚拟环境、角色对话以及交互逻辑，给用户带来个性化、沉浸式体验。
记者3月18日从安徽明天氢能科技股份有限公司（以下简称明天氢能）获悉，国家电网近日向明天氢能及董事长王朝云分别授予科学技术进步奖一等奖，获奖项目为“大规模氢电一体化站关键技术、核心装备及 239万的无人驾驶航空器淘宝上架，人人可以“打飞的”还有多远 239万元/架的无人驾驶载人航空器也看上了电商渠道。 3月18日，亿航智能设备(广州)有限公司(下称“亿航智能”)在淘宝上架了其生产的EH216-S无人驾 造成女性更容易睡不好的原因是多方面的，包括更年期等生理周期等，而女性长期的失眠除了会导致内分泌进一步失调，还会诱发心脏病、高血压、糖尿病、免疫力低下、记忆下降、脱发、皮肤松弛等。北京 3月19日，记者从中国科学院海洋研究所了解到，该所研究团队在国际上首次发布了银鲳的高质量染色体水平参考基因组。相关研究论文近日在线发表于《自然》子刊《科学数据》。银鲳广泛分布于西北太 美国加州理工学院喷气推进实验室的一个机器人专家团队，与卡内基梅隆大学机器人研究所科学家合作，开发出一种蛇形机器人，用于调查土星第六大卫星土卫二的地形，以寻找生命的“蛛丝马迹”。相关研究 美国佐治亚理工学院机械工程师开发了一种控制机器人外骨骼的通用方法。无需专门训练、特别校准，对复杂算法进行调整后，用户穿上外骨骼就可以直接行走。研究成果3月20日发表在《科学·机 。本文链接：AI推理芯片激发新一轮应用创新http://www.sushuapos.com/show-2-10172-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。