莱斯大学的研究人员展示了如何设计创新的以数据为中心的计算硬件，以及如何将硬件与机器学习算法结合起来设计，这两者结合起来可以将能效提高两个数量级。

机器学习的进步、无人驾驶汽车背后的人工智能形式以及许多其他高科技应用创造了一个新的计算时代(以数据为中心的时代)，并迫使工程师们重新考虑它们已经消失了75年的事实。

“问题是，对于拥有最先进机器学习的大规模深度神经网络来说，运行整个系统所需的90%以上的电力都消耗在内存和处理器之间的数据移动上，”电气与计算机工程助理教授林说。

林和他的合作者提出了两个互补的优化数据中心处理的方法，这两个方法都在6月3日的国际研讨会上提出了计算机体系结构(ISCA)，而最大的会议是一个新的想法和一个研究的计算机体系结构。

以数据为中心的架构的驱动与一个叫做冯诺依曼瓶颈的问题有关。这种低效率的原因是，自从数学家约翰冯诺依曼在1945年发明了内存以来，内存和处理在计算结构中的分离一直占主导地位。从程序和数据的角度来看，冯诺依曼架构使单台计算机具有不可思议的通用性。根据从内存加载的存储程序，您可以使用计算机进行视频通话、准备电子表格或模拟火星上的天气。

但是将内存从处理中分离出来也意味着即使是简单的操作(比如加2和加2)也需要计算机处理器多次访问内存。深度神经网络中的大量运算使得这种内存瓶颈更加严重。深度神经网络是通过“研究”大量以往的例子来学习做出人性化决策的系统。网络越大，完成的难度越大，显示的网络示例越多，性能越好。深入的神经网络训练可能需要专门的处理器库，需要全天候运行一周以上。在基于智能网络的智能手机上执行任务可以在不到一小时的时间内耗尽电池。

莱斯高效智能计算()实验室主任林表示：“对于机器学习时代以数据为中心的算法，我们需要一个创新的以数据为中心的硬件架构。”“但是机器学习最好的硬件架构是什么？

“没有放之四海而皆准的答案，因为不同的应用需要机器学习算法，这些算法在算法结构和复杂度上可能有很大的差异，任务精度和资源消耗(如能量成本、时延和吞吐量)也不同，需要权衡。”她说。“许多研究人员正在为此进行研究，像英特尔、IBM和谷歌这样的大公司都有自己的设计。”

林在2020上的一次演讲提供了关于“及时”的结果，这是她和她的学生为“内存处理”(PIM)开发的创新架构，这是一种将处理引入内存阵列的非冯诺依曼方法。一个有前途的PIM平台是电阻随机存取存储器(ReRAM)，它类似于闪存。虽然还提出了其他的ReRAM PIM加速器架构，但林说，在10多个深度神经网络模型上的实验表明，与最具竞争力的最新技术的ReRAM PIM加速器相比，time的能效提高了18倍，计算密度提高了30多倍。

time代表“时域，内存中的执行，localization”，通过消除导致效率低下的主要因素来实现其性能，效率低下是由于频繁访问主内存来处理中间输入输出以及本地和主内存之间的接口造成的。回忆。

在主存储器中，数据以数字方式存储，但当它被带入本地存储器进行内存处理时，必须将其转换为模拟量。在以前的ReRAM PIM加速器中，结果值从模拟转换为数字，然后发送回主存储器。如果从主存调用到本地ReRAM进行后续操作，会再次转换成模拟信号，以此类推。

通过在本地存储器中使用模拟格式缓冲器，及时避免了访问主存储器和接口数据转换的不必要开销。这样一来，time几乎可以将所需的数据保留在本地存储阵列中，从而大大提高了效率。

该集团在ISCA 2020上提出的第二个建议是SmartExchange，它将算法和加速器硬件创新相结合，以节约能源。

“访问主存DRAM所需的能量是执行计算所需能量的200倍，因此SmartExchange的关键思想是在算法中强制执行该结构，这样我们就可以用成本更高的内存交换成本更低的内存，并计算成本。”

例如，她说：“例如，我们的算法有1000个参数。”“在传统方法中，我们将所有1000个存储在DRAM中，并根据计算需要进行访问。借助SmartExchange，我们搜索并找到了这1000个结构中的一些。然后，我们只需要存储10，因为如果我们知道它们之间的关系，10和剩下的990，

我们可以计算990中的任何一个，而不必从DRAM调用它们。

她说：“我们将这10个称为“基础”子集，其想法是将它们存储在靠近处理器的本地位置，以避免或大幅度减少为访问DRAM而支付的费用。

研究人员使用SmartExchange算法及其自定义的硬件加速器对七个基准深度神经网络模型和三个基准数据集进行了实验。他们发现，与最先进的深度神经网络加速器相比，该组合将等待时间减少了多达19倍。

郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。 标签:计算机AI

---

免责声明： 本文由用户上传，如有侵权请联系删除！

---

标签：