水稻的“早起鸟”不太注意虫子。它正在寻找数百万吨的温室气体排放。

“早起鸟”是一种以人工智能(AI)形式进行训练的节能方法，落后于深度神经网络(DNN)、无人驾驶汽车、智能助手、面部识别等诸多高科技应用。

4月29日，莱斯大学和德克萨斯A&M大学的研究人员在ICLR 2020上发表了一篇重点论文，宣布了《早起的鸟儿》。莱斯高效智能计算(EIC)实验室的主要作者游浩然和李超健的一项研究表明，“早起的鸟儿”可以将DNN训练到同样的精度水平，或者比典型训练多消耗10.7倍的能量。美国实验室主任林、莱斯大学的理查德巴拉纽克和德克萨斯AM大学的王共同领导了这项研究。

林说：“最近AI突破的主要驱动力是推出更大更贵的。”“但是训练这些DNN需要很大的精力。为了揭示更多的创新，我们必须找到一种‘绿色’的训练方法，既能解决环境问题，又能减少AI研究的资金障碍。”

培训最先进的DNN不仅成本高昂，而且越来越昂贵。西雅图艾伦研究所(Allen Research Institute)的AI在2019年发现了一项研究，培养一流深度神经网络所需的计算量在2012年至2018年间增加了30万倍。来自麻省大学2019年不同研究的研究人员发现，一个精英DNN在碳培训中的足迹大约相当于五辆美国汽车一生的二氧化碳排放量。

DNN包含数百万甚至数十亿个学习执行特定任务的人工神经元。在没有任何显式编程的情况下，人工神经元的深层网络可以通过“研究”大量以往的例子，学会做出类似人类的决策，甚至超越人类专家。例如，如果DNN研究猫和狗的照片，它将学会识别猫和狗。经过深入研究的棋盘游戏Go Deep Network AlphaGo在研究了数千种以前玩过的游戏后，于2015年击败了职业人类玩家。

水稻工程学院电子与计算机工程助理教授林说：“最先进的训练方法叫做渐进式修剪和训练。”“首先，你应该训练一个密集的大网络，然后删除不重要的部分(比如修剪树木)。然后，重新训练被修剪的网络以恢复其性能，因为修剪后性能会下降。事实上，你需要多次修剪和重新训练才能获得良好的表现。”

修剪是可能的，因为网络中只有少量的人工神经元可以潜在地完成特殊任务的工作。训练将加强必要神经元之间的联系，并揭示哪些神经元可以被修剪。修剪可以减少模型大小和计算成本，并使部署完全训练的DNN更经济，尤其是在内存和处理能力有限的小型设备上。

林说：“第一步是强化训练，庞大的网络最贵。”“我们在这项工作中的想法是，在这个昂贵的第一步开始时，确定最终的、功能齐全的修剪网络，我们称之为“早鸟票”。

在训练初期寻找关键的网络连接方式，林和同事不仅发现了早起鸟票的存在，还利用它们简化了的训练。通过在各种基准数据集和模型上的实验，林和他的同事发现，在训练的初始阶段，“早起的鸟儿”可能只出现十分之一或更少的时间。

林说：“我们的方法可以在巨人网络密集训练的前10%或更少的时间内自动识别早期鸟票。”“这意味着，你可以训练DNN，在传统训练所需的大约10%或更少的时间内，为给定任务实现相同甚至更好的精度，这可以节省大量计算和精力。”

开发使人工智能更加环保的技术是林团队的主要工作重点。关心环境是主要动机，但林说有很多好处。

她说：“我们的目标是让人工智能更加环保和包容。”“复杂人工智能问题的巨大规模让规模较小的参与者望而却步。绿色AI可以打开大门，让研究人员可以用笔记本电脑或有限的计算资源探索AI创新。”

郑重声明：本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误，请第一时间联系我们修改或删除。谢谢你。

标签:早期鸟类人工智能。

免责声明： 本文由用户上传，如有侵权请联系删除！

标签：