英特尔Gaudi2加速器MLPerf测试出炉 较英伟达竞品更具性价比
英特尔发布了其Gaudi2加速器的英特英伟最新MLPerf基准测试结果,数据表明,加速具性价比Gaudi 2 AI加速器正在成为NVIDIA H100 GPU的试出环球信用盘出租可行替代品。
近日,炉较MLCommons公布针对60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的达竞MLPerf推理v3.1性能基准测试结果,其中包括英特尔所提交的品更基于Habana Gaudi 2加速器、第四代英特尔至强可扩展处理器,英特英伟以及英特尔至强CPU Max系列的加速具性价比测试结果。该结果显示了英特尔在AI推理方面极具竞争力的试出表现,并进一步加强了其对加速从云到网络到边缘再到端的炉较工作负载中大规模部署AI的承诺。
根据6月披露的MLCommons AI训练结果和Hugging Face性能基准测试验证,Gaudi2在先进的品更视觉语言模型上拥有卓越的性能,而今天的英特英伟环球信用盘出租结果进一步证明了英特尔能够提供满足AI计算需求的绝佳解决方案。考虑到客户的加速具性价比个性化需求,英特尔正在通过能够帮助解决AI工作负载中推理与训练问题的试出产品,让AI无处不在。英特尔的AI产品为客户提供了可根据各自性能、效率及目标成本进行灵活匹配以获取最佳AI解决方案的理想选择,同时亦帮助客户开放生态系统。
关于Habana Gaudi2的测试结果:
Habana Gaudi2在GPT-J模型上的推理结果强有力地验证了其具有竞争力的性能。
●Gaudi2在GPT-J-99和GPT-J-99.9上的服务器查询和离线样本的推理性能分别为78.58次/秒和84.08次/秒。
●Gaudi2提交的结果采用FP8数据类型,并在这种新数据类型上达到了99.9%的准确率。
随着每6-8周公布的Gaudi2软件更新,英特尔将继续在MLPerf基准测试中展现其产品的性能提升,以及持续扩大的模型覆盖范围。
关于第四代至强可扩展处理器的测试结果:
英特尔提交了基于第四代英特尔至强可扩展处理器的7个推理基准测试,其中包括GPT-J模型。结果显示,包括视觉、语言处理、语音和音频翻译模型,以及更大的DLRM v2深度学习推荐模型及ChatGPT-J模型在内,第四代至强处理器对于通用AI工作负载拥有出色的性能。此外,截至目前,英特尔仍是唯一一家使用行业标准的深度学习生态系统软件提交公开CPU结果的厂商。
●第四代英特尔至强可扩展处理器是通过流行的AI框架与库构建及部署通用AI工作负载的理想选择。对于GPT-J对约1000-1500字新闻稿进行100字总结的任务,第四代至强可扩展处理器可在离线模式下完成每秒两段的总结提要,在实时服务器模式下完成每秒一段的总结提要。
●英特尔首次提交了英特尔至强CPU Max系列的MLPerf结果,该系列可提供高达64GB的高带宽内存。对于GPT-J而言,它是仅有的能够达到99.9%准确度的CPU,这对于对精度要求极高的应用来说至关重要。
●英特尔与OEM厂商合作提交了测试结果,进一步展示了其AI性能的可扩展性,以及基于英特尔至强处理器的通用服务器的可获取性,充分满足客户服务水平协议(SLA)。
MLPerf是业内享有盛名的AI性能基准测试,旨在实现公平、可重复的产品性能比较。英特尔计划为下一个MLPerf测试提交新的AI训练性能结果。持续的性能更新彰显了英特尔致力于帮助客户、助力AI技术演进所迈出的每一步,无论是低成本的AI处理器,还是面向网络、云和企业用户的高性能AI硬件加速器或是GPU。
-
文章
38
-
浏览
7355
-
获赞
1
热门推荐
-
联发科技联合快手推出高效端侧视频生成技术
2024年7月4日,MediaTek与快手共同宣布,推出高效端侧视频生成技术,共同探索并推进生成式AI技术的革新。2024年7月4日,MediaTek与快手共同宣布,推出高效端侧视频生成技术,共同探索如何通过小学升初中面试经验分享
如何通过小学升初中面试经验分享来源:网络来源文章作者:奥数网编辑 2022-03-22 21:30:13小学生科普知识:春天与防病
小学生科普知识:春天与防病来源:网络来源文章作者:奥数网编辑 2023-09-17 20:24:41广东省深圳市罗湖区民办学校收费一览表
广东省深圳市罗湖区民办学校收费一览表来源:网络来源文章作者:奥数网编辑 2023-10-17 08:10:17全国首个“汽电”联合加热熔盐储能项目在华能成功投运
近日,全国首个“汽电”联合加热的熔盐储能项目——华能山东华源热电厂熔盐储能辅助煤电机组调频调峰项目建成投运。该项目大幅提高熔盐储能系统运行效率,实现多源2023上海徐汇区中小学民办校招生信息
2023上海徐汇区中小学民办校招生信息来源:网络来源文章作者:奥数网编辑 2023-10-07 09:18:462022年小学升初中英语真题试卷汇总(可下载)
2022年小学升初中英语真题试卷汇总可下载)来源:网络来源文章作者:奥数网编辑 2023-03-06 15:50:522022年小升初个人简历模板十四(图片版)
2022年小升初个人简历模板十四图片版)来源:网络来源文章作者:奥数网编辑 2022-03-23 14:59:44文案生成视频的软件2022 文案生成视频的软件推荐
现在是一个短视频时代,每一个用户都在利用闲暇之余在手机上刷着各式各样的短视频,而文案生成视频的软件2022有哪些大家知道吗?今天小编为大家带来的就是文案生成视频的软件推荐,还不知道如何制作这些精美短视小学升初中面试技巧及注意事项
小学升初中面试技巧及注意事项来源:网络来源文章作者:奥数网编辑 2022-03-22 21:28:482022年小学升初中英语真题试卷七(图片版)
2022年小学升初中英语真题试卷七图片版)来源:网络来源文章作者:奥数网编辑 2023-03-06 15:10:24小学六年级数学重点应用题及答案汇总
小学六年级数学重点应用题及答案汇总来源:网络来源文章作者:奥数网编辑 2021-05-15 22:24:57阿斯:因出场数无法达标,卢宁将无法参与竞争西甲最佳门将奖
4月2日讯据《阿斯报》报道,由于出场次数未达标,卢宁将无法参与竞争西甲最佳门将奖。卢宁目前已经击败了凯帕,成为了皇马的头号门将,本赛季至今,卢宁在联赛中出场18次,其中9场完成零封,一共只丢了11球,一年级数学天天练试题及答案2023.10.13(应用题)
一年级数学天天练试题及答案【题目】应用题新星小学美术兴趣小组有学生9人,书法兴趣小组的人数和美术兴趣小组的人数同样多, 这两个兴趣小组共有多少名学生?说明:·数学天天练栏目每日试题由学而小学生科普知识:天气预报的由来
小学生科普知识:天气预报的由来来源:网络来源文章作者:奥数网编辑 2023-09-17 20:22:40