宁德生活圈

网站首页 科技 > 正文

NVIDIA在第一次MLPerf推理基准测试中排名第�

2021-09-21 00:05:03 科技 来源:
导读 MLPerf联盟首个基准测试结果已经发布,英伟达显然是推理性能的赢家。对于不知道的,推理采用深度学习模型,对传入的数据进行处理,但都是经

MLPerf联盟首个基准测试结果已经发布,英伟达显然是推理性能的赢家。

对于不知道的,推理采用深度学习模型,对传入的数据进行处理,但都是经过训练的。

英伟达在首个MLPerf推理基准测试中名列前茅

MLPerf是一个联盟,旨在为推理性能提供一个“公平有用”的标准化基准。MLPerf可以看作是推断SPEC在基准CPU和整体系统性能上的工作。

联盟发布了第一个基准测试结果,这是一项艰苦的工作,涉及30多家公司和200多名工程师和员工。MLPerf的首次招标导致对14家公司和44个系统进行了600多次测量。

英伟达在首个MLPerf推理基准测试中名列前茅

然而,对于数据中心来说,只有四个处理器是商用的:

英特尔至强P9282。

哈瓦那戈雅(哈瓦那戈雅)

Google TPUv3

英伟达图灵

Nvidia在服务器和离线的各种神经网络中毫不犹豫地击败了其他三个处理器:

在ImageNet ResNet-50 v1.6线下方案中,最重要的参与者和创业公司提交的结果最多,因此可以进行最简单的直接比较。

在这种情况下,英伟达凭借其泰坦RTX图形处理器再次在每个处理器上拥有最佳性能。虽然谷歌云TPU v3-8已经提交了两次,搭载了8颗英特尔Skylake处理器,但其性能与4张Titan RTX卡的SCAN 3XS DBP T496X2 Fluid相似(65,65,431.40 vs,250.40输入/秒)。

英伟达加速计算总经理兼副总裁伊恩巴克说:

英伟达在首个MLPerf推理基准测试中名列前茅

“人工智能正处于一个转折点,因为它已经从研究迅速转移到实际应用的大规模部署。

人工智能推理是一个巨大的计算挑战。结合NVIDIA最先进的可编程加速器、CUDA-X AI算法套件以及我们在AI计算方面的深厚专业知识,可以帮助数据中心部署庞大且不断增长的复杂AI模型。"

但是,值得注意的是,泰坦RTX不支持ECC内存,因此尽管其性能出色,但这一遗漏可能会妨碍其在某些数据中心的使用。

将云TPU的结果与英伟达进行比较时,另一个有趣的收获是从离线到服务器的性能差异。

谷歌云TPU v3下线:32,716.00。

谷歌云TPU v3服务器:16,014.29。

Nvidia SCAN 3XS DBP T496X2线下流体:66,250.40。

Nvidia SCAN 3XS DBP T496X2流体服务器:60,030.57。

如您所见,在服务器方案中使用时,云TPU系统的性能降低了一半以上。与SCAN 3XS DBP T496X2流体系统相比,scan3xsdbpt496x2流体系统的性能仅下降10%左右。

郑重声明:本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误,请第一时间联系我们修改或删除。谢谢你。


免责声明: 本文由用户上传,如有侵权请联系删除!


标签: