宁德生活圈

网站首页 互联网 > 正文

衡量移动设备上的AI性能及其重要性

2021-09-14 23:28:34 互联网 来源:
导读 如今,人工智能已经成为一个流行的流行语,但大多数消费者可能不知道它与日常生活有着多么密切的联系。分析师和技术媒体中的一些人也可能会

如今,人工智能已经成为一个流行的流行语,但大多数消费者可能不知道它与日常生活有着多么密切的联系。分析师和技术媒体中的一些人也可能会嘲笑这个术语被用于与真正的人工智能很不相似的技术的频率。也就是说,除了强大的数据中心之外,还有一些平台是人工智能处理和驱动其神经网络的自然选择。其中之一就是AI推理(用AI推理信息代替训练NN),边口袋用智能手机。

衡量移动设备上的AI性能及其重要性

可以想象,从安卓到苹果,智能手机平台差异很大,但常见的语音到文本翻译、推荐引擎等工作负载(如Google Assistant、Siri)使用了很多常见的AI NN模型,可以提高速度和延迟。

衡量移动设备中的人工智能性能。

随着任何新设备的推出和热门新应用的出现,精通技术的消费者和技术媒体成员都希望测量和收集设备在各种移动生态系统中的相对性能。此外,目前智能手机测试和评论中的AI处理性能正在发展。所以各大应用商店肯定会出现各种各样的工具,号称可以衡量手机等移动设备的AI性能。而且——你猜对了——这些应用程序必须以不同的方式创建。

为了解决这个问题,我和Marco深入研究了HotHardware,分析了各种旗舰安卓手机在三个主流AI基准中的表现。在某些情况下,这些基准会产生截然不同的结果。

关键是更好地理解实际测试的具体基准度量。测试是否代表尽可能接近实际工作负载的工作负载?理想的基准测试使用消费者可能使用的实际应用程序,但是短基准测试可以使用流行应用程序的相同核心软件组件来表示实际的性能预期。在这种情况下,这意味着我们需要知道这些基准测试工具将测试哪些nns,以及将使用哪些数学精度和AI算法来处理工作负载。

AI对标的正确标准是什么?

衡量移动设备上的AI性能及其重要性

移动设备之所以有一个好的AI基准,是有一个比较深层次的细微差别,但简而言之,几乎所有的移动npu(神经处理单元或专用AI引擎)都采用INT8或量化数学精度或FP16浮点精度,例如,应用中的图像分类和分割采用ResNet-34或Google的DeepLab-v3等流行NN。那是一只猫还是一只狗?相机应该采取什么样的色彩平衡?这些问题是人工智能试图从电话环境中推断出的问题,至少在成像工作负载示例中是这样,尽管还有许多其他问题。

目前,INT8的精度被认为足以满足大多数消费类移动应用的需求,压缩技术和先进量化技术的进步不断提高了INT8在移动设备上的精度,同时仍然实现了比FP16更低的功耗。FP16提供了更好的精度,但在关键的智能手机功耗预算中,它更贵。

因此,大多数支持AI的移动应用都采用INT8来提高能效。然而,并非所有可用的基准都以同样的方式衡量移动平台的性能。一些应用强调FP16的准确性,尽管它没有INT8使用频繁。此外,高通等公司的AI平台SDK(软件开发工具包)针对INT 8进行了高度优化。所以问题是,就这些手机的真实AI性能而言,一些基准应用的各种测试结果到底意味着什么?和其他移动设备?从HotHardware收集的分数可以看出,高通和华为在一些领先的移动硅平台上的排名有很大的不同。显然,高通骁龙865设备在INT8 NPU处理吞吐量方面似乎占据领先地位,可能更接近目前移动应用中的实际AI性能。还值得指出的是,高通的骁龙移动平台目前支持美国大部分安卓手机,因此该公司对生态系统的影响深远。

衡量移动设备上的AI性能及其重要性

分析师从移动人工智能的早期发展中获得灵感。

基于边缘的人工智能和机器学习是一个快速变化的领域,它提供了越来越强大的功能和广阔的前景,并将在许多方面丰富我们的日常生活。因此,基准和用于衡量基准的应用程序也必须随着时间的推移而发展和变化。此外,和传统PC基准一样,未来几天,新闻、科技爱好者和精明的消费者会更加关注AI基准,因为AI已经成为移动体验和可用平台解决方案中更重要的组成部分市场。

因此,这些基准应用开发者和媒体将有责任对构成高质量移动AI基准的关键点和你自己的个人口袋AI助手的性能做出更现实的衡量。现在,如果基准测试没有采用常用的NN,真正代表了INT8精度的重要性,那就不得不质疑这个测试对普通消费者的价值了。但是,没有绝对值。目前的格局就是这样形成的,但是AI技术正在以疯狂的速度发展,整个行业的其他部分都需要跟上发展。

郑重声明:本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误,请第一时间联系我们修改或删除。谢谢你。

标签:智能手机AI。


免责声明: 本文由用户上传,如有侵权请联系删除!


标签: