密歇根大学的一项最新研究表明,培训大型语言模型的一种不那么浪费的方法,如GTP系列,在相同的时间内完成,最多能减少30%的能量。

这一方法可以节省足够的能源,为110万美元供电。2026年,根据富国银行对人工智能电力需求的预测。国际货币基金组织(IMF)预测,到2027年,数据中心可能占全球碳排放量的1.2%--以及随之而来的水资源需求--这一预测也可能会受到影响。

一些专家说,这些成本可能被环境利益所抵消。他们认为,人工智能可能成为应对气候变化的"游戏改变者",通过确定优化供应链和电网的方式,管理我们的能源需求,以及改进对气候变化的研究。 气候变化 .不过,这并不能成为浪费能源的借口,而且训练AI的部分动力对训练时间和模型的准确性没有任何影响。

"没有意义的时候,为什么要花钱呢?他是计算机科学和工程学的副教授,也是研究报告的作者。 第三十届操作系统原则研讨会 上周一。

"我们不能继续建造越来越大数据中心因为我们没有能力管理他们,"乔杜里说。"如果我们能够减少人工智能的能源消耗,我们就可以减少人工智能的碳足迹和冷却需求,并允许更多的计算符合我们当前的能源约束。"

当人工智能训练在GPPS之间的分配不平均时,就会产生能量浪费。 计算机处理器 专门用于大型数据和图形应用。虽然它为废物打开了大门,但要处理庞大的数据集,必须将工作分开。

"今天的人工智能模型太大了,它们不可能装在一个计算机处理器里,"计算机科学和工程学博士生、该研究的第一位作者钟智元说。"他们需要被训练成成千上万个处理器,但实际上不可能将所有处理器的模型划分为完全相等的尺寸。"

训练作业很难平均分配,因为有些任务需要在同一个处理器上组合在一起--就像系列书的每一个部分将如何被组合在一个有组织的书架上一样。根据任务的分组方式,有些处理器可能会陷入等同于大英百科全书的AI培训中,而另一些处理器则会被分配到幻想三部曲中。

由于当前的训练方法以最快的速度运行每一个处理器,具有较轻负载的处理器将在其他处理器之前完成它们的计算。这并不能加快训练的速度,在每个处理器完成工作之前,训练还没有完成--但这是一种浪费,因为更快的计算需要更多的能量。此外,硬件故障或网络延迟等问题会减缓单个处理器的计算速度,造成能源浪费。

为了节约能源研究人员开发了 软件工具 名叫珀尔修斯 它确定了一个关键路径,或一系列需要最长时间才能完成的子任务。接下来,珀尔修斯减缓了处理器的速度,因为处理器没有走在关键的道路上,所以他们都能在同一时间完成工作--消除不必要的电源使用。

乔杜里说:"降低人工智能的电力成本会对公平使用人工智能产生重要影响。""如果一个国家没有足够的 权力 要运行一个大型模型,他们可能需要从遥远的地方使用服务,或者无法运行更小、更不精确的模型。这种差距可能进一步使不同社区之间的差距永久化。"

这个小组通过训练GTP-3,另外三个测试了珀尔修斯大型语言模型以及一个电脑视觉模型。珀尔修斯是一个开放来源的工具,可以作为宙斯是测量和优化人工智能能源消耗的工具。