导航菜单
首页 >  沐鸣测速 >  » 正文

沐鸣测试速大脑记忆激发神经网络“健忘”

沐鸣测速地址


来自马萨诸塞大学阿姆赫斯特分校和贝勒医学院的人工智能专家称,他们已经开发出一种新方法来保护深度神经网络免受“灾难性遗忘”的伤害,这种方法“效率惊人”。一旦学习了新的课程,网络就会忘记之前学过的东西。

贝勒大学的博士后研究人员吉多•范德冯(Gido van de Ven)和首席研究员安德烈亚斯•托利亚斯(Andreas Tolias),以及马萨诸塞大学阿姆赫斯特分校的哈瓦•西格尔曼(Hava Siegelmann)指出,深度神经网络是最近人工智能发展的主要驱动因素,但这种遗忘阻碍了进展。

一种解决方案是存储以前遇到的例子,沐鸣测试速并在学习新东西时重温它们。尽管这样的‘重放’或‘彩排’可以解决灾难性遗忘,”他们写道,“但对所有之前学过的任务进行不断的再训练效率非常低,而且需要存储的数据量会很快变得无法管理。”

据研究人员称,与人工智能神经网络不同,人类能够在一生中不断积累信息,建立在早期经验的基础上。大脑中有一种重要的机制被认为可以保护记忆不被遗忘,这种机制就是再现那些记忆的神经元活动模式。

Siegelmann说,该团队的主要见解是“认识到大脑中的回放并不存储数据”。相反,“大脑在一个更高、更抽象的层次上产生记忆的表征,而不需要产生详细的记忆”。

受此启发,Siegelmann和她的同事们创造了一个类似人工大脑的回放,其中没有存储任何数据。相反,就像大脑一样,沐鸣测速地址这个网络产生了它以前所见的高水平的表征。

根据该团队的研究,“抽象的生成性大脑回放”被证明是非常有效的,他们表明,回放一些生成的记忆就足以在记忆旧记忆的同时学习新记忆。

研究人员补充说,生成式回放不仅防止了灾难性遗忘,而且为系统学习提供了一条新的、更精简的路径,而且还允许系统将学习从一种情况归纳到另一种情况。

他们强调了这个过程中的一个例子。“如果我们的具有生成回放功能的网络首先学会区分猫和狗,然后学会区分熊和狐狸,它也会在没有经过专门训练的情况下区分猫和狐狸。”值得注意的是,系统学得越多,在学习新任务时就越好。”

在他们的报告中,研究人员提出了一种新的、受大脑启发的重播方式,在这种方式中,沐鸣测速地址内部或隐藏的再现被重播,而这些再现是由网络自身的、情境调制的反馈连接产生的。他们写道:“我们的方法在不存储数据的情况下,在挑战持续学习基准方面取得了最先进的性能,而且它为大脑中的抽象水平重放提供了一个新的模型。”

Van de Ven说:“我们的方法对重放如何促进大脑记忆巩固做出了一些有趣的预测。我们已经在进行一项实验来验证其中一些预测。”