DeepMind最新结果登上Nature，或可重新认识大脑的事情机制

*泉源：量子位（ID：QbitAI），作者赖可、乾明、十三、发自、凹非寺

人工智能，往往从人类思维方式中获取灵感。

但现在反过来了！

人工智能的进步，已经能够为揭秘大脑如何学习提供启发。

这是来自DeepMind的最新研究，刚登上Nature，研究证明：

漫衍式强化学习，也就是AlphaGo的顶级版Alpha Zero和AlphaStar背后的焦点技术，为大脑中的夸奖通路如何事情提供了新解释。

如此结论，也让DeepMind首创人哈萨比斯很是激动，揭晓推文表现：

我们在机械学习方面的研究，能够重新认识大脑的事情机制，这是很是令人兴奋的！

他固然有理由兴奋。

从久远来看，这也证明晰DeepMind提出的算法与大脑运作逻辑相似，也就意味着能够更好地拓展到解决庞大的现实世界问题上。

而且一直以来，哈萨比斯的目的就是打造通用人工智能。

Alpha系列背后利器：漫衍式强化学习

强化学习，就是让智能体在一个未知的情况中，接纳一些行动，然后收获回报，并进入下一个状态。

而时间差分学习(temporal difference learning，TD)算法，可以说是强化学习的中心。

它是一种学习如何凭据给定状态的未来值，来预测价值的方法。

算法会将新的预测和预期举行比力。

如果发现两者差别，这个“时间差分”就会把旧的预测调整到新的预测中，让效果变得越发准确。

△当未来不确定时，未来的回报可以表现为一种概率漫衍。有些可能是好的效果(蓝绿色)，有些效果可能是欠好的(红色)。

一个特定的行为所带来的未来奖励数量，通常是未知且随机。在这种情况下，尺度的TD算法学习去预测的未往返报是平均的。

而漫衍式强化学习则是更庞大的预测方式，会预测所有未来奖励的概率漫衍。

那人类大脑的多巴胺夸奖机制是怎么样的呢？

然后研究的雏形就在DeepMind研究人员的脑海中生根了。

不研究不知道，一研究真的“吓一跳”。

已往，人们认为多巴胺神经元的反映，应该都是一样的。

有点像在一个诗唱班，每小我私家唱的都是一模一样的音符。

但研究小组发现，单个多巴胺的神经元似乎有所差别——所出现的努力性是多样的。

于是研究人员训练小鼠执行一项任务，并给予它们巨细各异且不行预测的奖励。

他们从小鼠腹侧被盖区域(Ventral tegmental area，控制多巴胺向边缘和皮质区域释放的中脑结构)中发现了“漫衍式强化学习”的证据。

这些证据讲明，奖励预测是同时并行地由多个未来效果表现的。

这和漫衍式机械学习的原理也太像了吧？

解释大脑多巴胺系统

实验运用了光识别技术来记载小鼠大脑中腹侧被盖区中单个多巴胺神经元的反映。

腹侧被盖区富含多巴胺与5-羟色胺神经，是两条主要的多巴胺神经通道的一部门

基于强化学习理论，研究假设大脑存在多巴胺的夸奖预测误差(RPE)。

一个信号会引起一个夸奖预测，当夸奖预测低于漫衍的均值时，会引起负的RPE，而较大的奖励会引起正的RPE。

在一般强化学习中，获得的奖励幅度低于平均值漫衍将引起消极（负）的RPE，而较大的幅度将引出努力（正）的RPE（如上图a左所示）。

在漫衍式强化学习中，每个通道都携带差别的RPE价值预测，差别通道的努力水平差别。

这些值的预测反过来又为差别的RPE信号提供了参考点。在最后的效果上，一个单一的奖励效果可以同时引发努力（正）的RPE和消极的RPE（如上图a右所示）。

记载效果显示，小鼠大脑的多巴胺神经元反转点凭据努力水平的差别而差别。切合漫衍式强化学习的特点（如上图b所示）。

为了验证神经元反映多样性不是随机的，研究者做了进一步验证。

将随机地将数据分成两半，并在每一半中独立地预计反转点。效果发现其中一半的反转点与另一半的反转点是相关的。

为了进一步了神经元对夸奖预测的处置惩罚方式。研究者给神经元举行了三种差别的信号刺激。

划分是10%、50%、90%的夸奖概率，并同时记载了四个多巴胺神经元的反映。

每条轨迹都是对三种线索之一的平均反映，零时是开始时间。

效果显示，一些细胞将50%的线索编码为90%的线索，而另一些细胞同时将10%的线索编码为10%的线索。

最后 ，研究者还举行了验证，试图从多巴胺细胞的放电率来解码夸奖漫衍。

通过举行推理，乐成地重建了一个与老鼠到场的任务中奖励的实际分配相匹配的分配。

开端验证了小鼠的大脑漫衍式强化学习机制，给研究员带来了更多的思考：

是什么电路或细胞级机制导致了差池称的多样性？

差别的RPE通道是如何与相应的奖励预测在剖解学上联合？

这些大脑的谜团都有待于进一步相识。

而且这一研究效果也验证了之前多巴胺漫衍对成瘾和抑郁等精神障碍机制影响的假说。

有理论认为，抑郁症和双相情感障碍都可能涉及关于未来的负面情绪。

这些情绪与未来的负面预测偏差有关，偏差则可能来自于RPE coding28、29中的差池称。

但更多的意义，则是对当前机械学习技术生长的激励。

DeepMind 神经科学研究卖力人Matt Botvinick说：“当我们能够证明大脑使用的算法，与我们在人工智能事情中使用的算法类似时，这将增强我们的信心。”

跨学科研究团队的结果

这篇论文中一共有3位配合一作，也是跨学科团队的研究结果。

排在第一位的是Will Dabney，DeepMind的高级研究科学家。

△Will Dabney

本科结业于美国奥克拉荷马大学，在马萨诸塞大学阿默斯特分校获得了博士学位。

在加入DeepMind之前，曾在亚马逊的Echo团队事情过。

2016年加入DeepMind。

第二位配合一作是Zeb Kurth-Nelson，他是DeepMind的研究科学家。

△Zeb Kurth-Nelson

博士结业于明尼苏达大学，2016年加入DeepMind。

第三位配合一作是Naoshige Uchida，来自于哈佛大学，是分子和细胞生物学教授。

△Naoshige Uchida

此外，DeepMind首创人哈萨比斯也在作者之列。

他一直都希望，能够通过人工智能的突破也将资助我们掌握基础的科学问题。

而现在的研究发现，他们致力的研究偏向，竟然能够给人们研究大脑带来启发，无疑坚定了他们的研究信心。

One More Thing

就在这篇论文登上Nature的同时，DeepMind另有另外一篇研究泛起了同一期刊上。

它就是DeepMind在2018年12月问世的AlphaFold，一个用人工智能加速科学发现的系统。

仅仅基于卵白质的基因序列，就能预测卵白质的3D结构，而且效果比以前的任何模型都要准确。

DeepMind称，这是自己在科学发现领域的第一个重要里程碑，在生物学的焦点挑战之一上取得了重大希望。

停止到现在，DeepMind提出Alpha系列，从AlphaGo，到AlphaZero，再到AlphaStar，以及现在的AlphaFold，一门4子，全上了Nature。

唉…顶级研究机构的快乐，就是这么朴实无华，且枯燥。

传送门