让AI自己调整超参数，谷歌大脑新优化器火了，自适应不同任务，83个任务训

还在担心如何为优化器调整更好的参数吗。

现在Google Brain又出了一个新的优化器VeLO，可以直接使用，不需要手动调整任何超级参数。

与其他人工设计的算法不同，VeLO完全基于AI，可以适应各种任务。

有网友看到了优化器进步的曙光:

亚当之后出现了很多优化师，但都失败了这个优化器可能确实表现得更好

那么，这个基于人工智能的优化器是如何构建的呢。

VeLO到底是怎么建成的。

在训练神经网络的过程中，优化器是必不可少的一部分。

但是AI模型应用广泛，用来训练AI模型的优化器还是手工设计，听起来有些不合理。

所以谷歌大脑的研究人员灵机一动:为什么不用AI做优化器。

在设计上，optimizer的原理是基于元学习的思想，即从相关任务中学习经验来帮助学习目标任务。

与迁移学习相比，元学习强调获取元知识，元知识是一种关于任务的一般性知识，可以推广到更多的任务。

基于这一思路，VeLO还会吸收渐变，自动输出参数更新，无需任何超参数调谐，适应各种需要优化的任务。

在架构上，人工智能优化器由LSTM和超级网络MLP组成。

每个LSTM负责设置多个MLP的参数，每个LSTM通过全局上下文信息相互协作。

在训练中，AI优化器采用元训练，以参数值和梯度为输入，输出需要更新的参数。

经过4000个月的TPU训练，结合各种优化任务的长处，VeLO终于诞生了。

效果优于手动调优优化器。

结果表明，VeLO对83个任务的加速效果超过了现有的一系列优化器。

y轴是加速度与Adam的比值，x轴是任务的比例。

结果表明，VeLO不仅优于不需要调整超参数的优化器，甚至优于一些仔细调整超参数的优化器:

与经典老大哥亚当相比，VeLO在所有任务上的训练速度都更快，其中超过50%的训练速度比调整自己学习速度4倍以上的亚当更快，超过14%的任务学习速度甚至快16倍。

在六种学习任务的优化效果上，VeLO在五种任务上的绩效效果与Adam相当甚至更好:

值得一提的是，VeLO这次也部署在JAX看来谷歌真的推广了这个新框架

巴特，有网友认为训练VeLO需要4000 TPU月，计算成本太高:

虽然这个进步很重要，但它甚至可以赶上GPT—3的训练量。

目前VeLO是开源的，有兴趣的朋友可以试试这个新的AI优化器。

还有一点

前段时间，哈佛的一个博士生提出了一个有趣的想法，得到了很多人的赞同:

Kareem Carr是生物统计学的博士生，他的贡献在生物论文中很常见，之前在AI论文中不多。

不知道以后会不会成为机器学习圈的新趋势。

GitHub地址:

论文地址:

参考链接: