为了让AI像人一样思考，DeepMind这次又干了什么？

文 | 脑极体

通向AGI（通用人工智能）的门路上，始终有一道庞大的鸿沟横亘在研究者的眼前，那就是人工智能对于因果关系的明白。因果关系的推断，首先对于人类自己就是一个极为庞大的问题。无论是一定性推理还是或然性推理，人类总能在庞大的事物关系中建设精妙地因果推论。且无论对错，这种能力都让人类能力超群，成为站在生物链顶端的那颗孤星。

想象一下，如果你带着女儿去到场一个夏令营，在那里你遇到一个成年女人带着一个小女孩。你很可能会断定谁人女人是小女孩的母亲。过了几个星期，你又在你住的四周的一家咖啡店里，你再次看到这个小女孩，但这次她是由一个成年男子带着。基于这两段视察到的事实，你基本可以推断，这个男子和女人有一定的关系。可是否是伉俪关系或者此外关系，就会涉及到更多信息，诸如男子和女人的年事、衣着品味和小孩子的亲密水平等等信息。

在这一场景中，我们可以基于在较大跨度的时间、所在中的发生的事实关系举行相关的因果推论。我们把这种在庞大的事物关系中的这种推论称为“长距离推理”。

AI能否掌握这一能力？对于现在熟知的一些AI技术，通过数据库对他们举行人脸识别很容易；如果再给定他们相关身份的知识图谱，AI也可以认出他们。但如果仅给出以上事实场景（对于AI来说是单独的图像），而不提供任何其他信息，AI能否从图像形貌的事实中建设起因果推理么？

这一次，DeepMind的最新研究中为AI举行 “长距离推理”提出了一种解决方案。克日，DeepMind公然揭晓了一篇为ICLR 2020集会提交的论文《MEMO：一种用于情景影象灵活组合的深度网络》。论文主要提出了一种可以增强现有深度神经网络架构的推理能力的新架构——MEMO。MEMO具有长距离推理的能力，即能够发现在影象中的多个事实之间的长距离的关系。

那么MEMO的实际体现如何？MEMO这一新的深度神经网络对于AI生长的意义是什么？这些问题仍然需要我们思考息争答。

为什么长距离推理如此重要？

为了讨论长距离推理的重要性，首先我们需要知道感知、影象、命名、事实、判断以及推理、行动的内在和关系。历史学家尤瓦尔·赫拉利在《人类简史》中提到的“人的虚构能力”也就是“人可以想象不存在事物的能力”成为智人战胜其他物种的决议因素。但他仍然把庞大问题的解释简朴化了。

只要你认真审视自己的日活生活，我们险些都在根据上述认知能力在思考和行动。我们通过感官认知外界形成感知，这时只是一些时空中的感性要素；然后由我们大脑区分后对其中特别注意的要素（其他大量信息沦为认识的配景）举行命名，从而形成一个事实；再通过大脑的联接能力，把命名通过逻辑词毗连起来形成判断；然后，通过已往履历的总结和对未来的想象，我们形成相应的推理，最后据此形成计划和实施步骤，最后形成行动。固然，这一系列历程都险些发生在认知的短暂瞬间，以致于许多人忽视认知的庞大性。

我们可以举一个形象的例子。就在写作此文的同时，笔者的二岁半的女儿已经在客厅拿着塑料的喷壶和铲子对着空气做出舀水、喷水的行动，同时还喊出“水、湿了、擦擦”的单词。两岁半的女儿就如同人类的童年时代，她学会视察和区分了身边的物品，然后又学会给差别的事物命名（杯子、鞋、壶），然后又能明白事物之间的关系做出因果推断（壶可以用来盛水、铲子可以用来搬运工具）；而且最厉害的是，她还能虚构眼前不存在的事物，就如同孩子在想象用铲子给喷壶舀“水”，又把“水”从喷壶里倒了出来，弄“湿了”地面或者她的鞋子。甚至于她还能“条件反射”地想起大人们曾重复强调“弄湿了工具要擦洁净”的训诫，试图去找工具来擦拭基础不存在的“水”。

如果说许多动物能够制作和使用工具，而且使用起来比二岁小孩还熟练，但他们仍然无法完成人类小孩对于并未实际发生事情的想象的推理和计划能力。这份独属于人类的天赋怎能不令我们惊讶和自满。

借用图灵奖得主朱迪亚·珀尔在《为什么：关于因果关系的新科学》对于人的三种差别层级的认知能力的区分：视察、行动和想象（seeing、doing、imagining），我们再深入探讨下当前人工智能可以做哪些或者说还不能做哪些？

第一层是视察能力，即视察到事实A与事实B，随后建设起事实A与事实B的判断X，基于判断X，会影响我们得出另外一个结论Y。好比哲学上经典的三段论：我们视察到一小我私家（事实A）,人们都把他称作苏格拉底（事实B），我们获得“苏格拉底是人”（判断X）；我们还掌握了一条颠扑不破的真理：凡人皆有一死（判断Y）；最后，我们得出：苏格拉底会死（结论Z）。请不要小看这一能力，我们正是依靠强大的判断能力形成履历，让人类从严酷的自然选择中获告捷利。

第二层是干预能力，即实施干预X或Y，会造成怎样的效果Z。以上例子继续假设，如果我们对“苏格拉底是人”举行干预，好比，其时的人们将苏格拉底神圣化为像耶稣一样的人物，纵然他确实是喝下毒药而身亡，但因为已经“从人酿成了神”，所以，我们就可以得出“苏格拉底没有死”的结论。这一假设看似荒唐，正是由于这些能力，我们可以举行育种、畜牧、开采，建设宗教、城邦和帝国组织等，人类文明短短几百年对自然的干预已经凌驾之前数百万年的影响。

第三层是反事实的能力，涉及到人类的想象和反思能力。即如果判断X或Y引起了却论Z，那么，如果X、Y没有发生，那么结论Z也会变化。再假设，人类发现了时间机械且发现了永生不死的药物，那我们回到古希腊雅典的牢狱，将毒药换成了永生不死药喂给了苏格拉底，判断Y被推翻，同样改变了却论Z。正是这些更为夸张的想象，让人类提出科学假说、建设像相对论、量子力学等等的知识系统，举行文学艺术缔造等特殊能力。

那么，现在人工智能处在模拟人类智能的哪个层级。如果你对人工智能有几多乐观，那结论就会有多失望。现在纵然是结果斐然的深度学习算法，仍然处在这三层认知能力的第一层，其智慧的难度跟猫头鹰视察老鼠出没与否的能力平分秋色。

只管机械学习尤其是深度学习算法在好比图像识别、语音识别、无人驾驶、棋牌游戏对战等众多领域可以凌驾人类，但其模式仍然是“由一系列视察效果驱动，致力于拟合出一个函数……深度神经网络只是为拟合函数的庞大性增加了更多的条理，但其拟合历程仍然由原始数据驱动……处于因果关系之梯的任何运行系统都不行制止地缺乏这种灵活性和适应性。”

这意味着，机械学习及深度神经网络的算法，只是使用对于输入数据的相关性关系的拟合，而不明白因果关系，那么人工智能就不能从第一层认知上升到第二层级，无法回覆有关干预的种种问题。

以上作为明白配景稍显冗长。但MEMO所完成的长距离推理能力，在我们所述的三个认知条理上有了一个显著性的位置。MEMO成为深度神经网络开始具备长距离因果推理能力的一次乐成实验，也许可以视作人工智能从第一层级向第二层级的跃迁上搭建了一个更好的门路。

MEMO算法的创新之处

首先，MEMO参考了神经科学中的“遐想推理”的能力，他们从最新的对海马体的研究中获得了方法灵感。海马体通过一种被称为“模式分散”的历程中举行独立地影象储存，以最大限度地淘汰影象之间的滋扰；同时最新的研究又指出，这些被独立存储影象通过循环机制举行检索以实现整合，从而支持众多单个履历的灵活组合，以推断其未曾视察过的关系。最终由此而形成推理。

DeepMind 研究人员称，他们正是从这一神经科学模型的研究中获得启发，来研究和增强机械学习模型中的推理能力。

MEMO 相较于之前的推理系统，引入了两个新的组件：第一它引入了存储在外部影象中的事实与组成外部影象中这些事实的项之间的分散；第二个它使用自适应检索机制，在发生谜底之前允许有一些可变数量的“影象跃点”。

进一步解释下。第一个组件：MEMO接纳了基于EMN（End-to-End Memory Networks，端到端影象网络）的出现外部影象表征的基本结构，但其新结构中加入了通过参照海马体机制设计的新的任务PAI（Paired Associative Inference，遐想配对推理），它允许对影象中的单个元素举行灵活的加权，以增强推理的能力。

第二个组件：在运行中，还需要解决盘算时间过长的问题。在尺度的神经网络中，盘算量是基于输入的函数的巨细而增长，而MEMO更希望让盘算时长跟任务的庞大度相关。为此，它从人类遐想影象的模式中引入了一种被称为“REMERGE（重现）”的模型。在该模型中，从影象中检索到的内容作为新的查询被重新循环，然后使用在重新循环历程中的差别时间步骤检索到的内容之间的差异来盘算网络是否适应在牢固点上。MEMO可以接纳一种“终止计谋”，通过网络输出一个行动（在强化学习的意义上），表现它是否希望继续盘算和查询其影象，或者它是否能够回覆给定的任务。并在强化学习中引入一个新项——二进制停止随机变量（the binary halting random variable），以最小化预期的盘算步骤。

基于这两个新组件的加入，MEMO在下面三个履历性效果的任务测试中取得显著的优势结果，从而也证明晰这两个组件的有效性。

三组效果验证：MEMO与另外两种内存增强架构：EMN和DNC（the Differential Neural Computer，微分神经网络）以及UT（Universal Transformer，普遍转换器，bAbI任务套件中的最新模型）举行了比力。

1、关于遐想配对推理：在较小荟萃的推理查询上，MEMO可以和DNC一样到达最高的准确度，而EMN纵然有4或10跳，也不能到达相同的准确度，而且UT也不能准确地解决这个推理测试。而对于较长的序列联合（即下面的长度4和5），MEMO是唯一乐成地回覆最庞大推理查询的架构。

2、对于随机生成图形的最短路径的测试：表 2 显示与查找最短的两个节点之间的路径。在只有10个Nodes的短路径上，DNC、UT和MEMO具有完美的预测时中间最短路径节点的准确性。在20个Nodes的长路径上，MEMO 在具有高度连通性的更庞大的图形中优于 DNC，在最短路径中预测两个节点时，效果更凌驾 20%。

3、关于BABI任务的问答测试上：在10k训练集中，将 MEMO 与两个基准模型以及UT模型举行了比力，效果显示，MEMO唯一能够在较长的序列上乐成回覆最庞大的推理查询的体系结构。

显然，MEMO在基于影象表征的长距离推理的革新很是显着，而其创新之处在于它接纳了神经科学所应用于测试推理的遐想配对推理方法的新型结构。这也从反面证实了神经科学中关于影象推理的假设：影象中事实元素的分散储存与强大的注意力机制组合，在通过对影象存储中的单个元素的灵活组合来实现推理。

MEMO：通往AGI的正途？

从一开始，AGI就是DeepMind降生之初的目的。DeepMind首创人德米斯·哈萨比斯很早就接纳了神经科学的方法来研究AGI。

早在2010年8月，DeepMind建立前的三个月，哈萨比斯经在当年的奇点峰会上揭晓了一个题为“一种通过系统神经科学方法构建AGI” (A Systems Neurosciences Approach To Building AGI)的演讲。

在演讲中，他回应了之前两种靠近AGI的偏向：一是通过象征性AI，即通过形貌和编程体系来结构人类大脑的思考体系，其失败之处就是操作难度太大，难以真实形貌大脑的结构。二是通过数字形式复制大脑的物理网络结构，这一方法很有意义，但这一任务重点放在还原大脑的物理功效却不能解释人类智慧的运行规则。

经由比力，哈萨比斯接纳了折中门路：AGI应该从大脑处置惩罚信息的宏观方法中获得启发，而不是从其物理结构或者说大脑的特定脑区功效去寻找方法。简言之，AGI应专注于明白人脑的软件功效，而非硬件功效。通过磁共振成像(FMRI)等新技术，使得人们可以视察人类种种思维运动时大脑内部的运动，从而可以明白其运作机制。而AI研究应当效仿人类的大脑系统。

这奠基了DeepMind的研究思路，人工智能就应该像人一样学习和思考。这意味着，DeepMind坚信，神经科学研究所找到的“大脑算法”可以被神经网络所参照和使用。反过来，这套机制在神经网络机制上的乐成实践，又反过来促进神经科学的生长。

显然，从MEMO的效果而言，模拟人脑神经网络机制的方法似乎可以作为通向AGI的一条通路，但这条路也绝不是坦途，好比眼前这道“因果关系推理”的庞大鸿沟。MEMO的提出，仅仅是在为跨越这道沟壑搭建出的一步重要的门路。

在通向AGI的征途里，深度学习等技术还将连续进化，它需要先沿着“因果关系”的这道鸿沟向下，深入到人类因果性认知的各个低谷，好比跳跃式遐想、条件干预的因果预测、反事实推理等等，才有可能重新向上跨越鸿沟。

道阻且长，AGI的黎明不会很快到来。但正因为DeepMind这样的AI研究机构的努力，才气让暗夜中探索的人们始终心怀火种。

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App