训练最先进的人工智能系统所需的巨大计算资源意味着，经验丰富的科技公司将学术团队置于尘埃中。但是一种新方法可以帮助平衡规模，使科学家可以在一台计算机上解决最先进的AI问题。
OpenAI的2018年报告发现，用于训练最强大的AI的处理能力以令人难以置信的快速速度增长，每3.4个月翻一番。最需要数据的方法之一是深度强化学习，其中AI通过遍历数百万次仿真来通过反复试验来学习。最近在诸如Starcraft和Dota2之类的视频游戏上取得的令人印象深刻的进步依赖于装有数百个CPU和GPU的服务器。
诸如Cerebras System的Wafer Scale Engine之类的专用硬件有望用完美优化用于训练AI的单个大型芯片来取代这些机架式处理器。但是，由于价格高达数百万美元，对于资金不足的研究人员来说，这并不是什么安慰。
现在，南加州大学和英特尔实验室的团队创建了一种方法，可以在学术实验室常用的硬件上训练深度强化学习(RL)算法。在本周于2020年国际机器学习大会(ICML)上发表的一篇论文中，他们描述了他们如何能够使用单个高端工作站在第一人称射击游戏中训练具有最先进性能的AI电子游戏Doom。他们还使用一小部分正常计算能力来解决DeepMind提出的30种多样化3D挑战套件。
“发明对商品硬件进行深度RL的方法是一个了不起的研究目标，”德克萨斯大学奥斯汀分校的教授Peter Stone说，他专门研究深度RL。他补充说，除了将较小的研究小组抛在身后之外，进行此类研究通常所需的计算资源也会产生大量的碳足迹。他说：“在使RL民主化和减少进行研究所需的能源方面取得的任何进展都是朝着正确方向迈出的一步。”
USC研究生的主要作者Aleksei Petrenko说，该项目的灵感来自于必须成为发明之母的经典案例。随着在英特尔的暑期实习期结束，Petrenko失去了进入该公司的超级计算集群的权限，这使尚未完成的深度RL项目陷入危险之中。因此，他和同事决定找到一种方法来继续进行简单系统的工作。