1. 首页 >人工智能 > 正文

初创公司和学者寻找开发强大模拟AI的途径

工程师一直在追求一种形式的AI,这种形式可以大大降低完成诸如识别单词和图像之类的典型AI事情所需的能量。这种机器学习的模拟形式使用电路的物理原理而不是数字逻辑来进行神经网络的关键数学运算之一。但是限制这种方法的主要因素之一是,深度学习的训练算法(反向传播)必须由GPU或其他单独的数字系统来完成。

现在,蒙特利尔大学AI专家Yoshua Bengio,他的学生Benjamin Scellier和初创公司RainNeuromorphics的同事们已经想出了模拟AI进行自我训练的方法。根据Rain CTO Jack Kendall的说法,这种称为平衡传播的方法可能导致持续学习的低功耗模拟系统,其计算能力比目前业内大多数人认为的更大。

模拟电路可以节省神经网络的功耗,部分原因是它们可以有效地执行称为乘法和累加的关键计算。该计算根据各种权重将输入的值相乘,然后将所有这些值加起来。电气工程的两个基本定律基本上也可以做到这一点。欧姆定律将电压和电导相乘以提供电流,基尔霍夫的“电流定律”将输入点的电流相加。通过将神经网络的权重存储在诸如忆阻器之类的电阻存储设备中,乘法和累加可以完全以模拟方式发生,从而有可能将功耗降低几个数量级。

今天的模拟AI系统无法自我训练的原因与组件的可变性有关。就像真实的神经元一样,模拟神经网络中的神经元的行为也不尽相同。要使用模拟组件进行反向传播,您必须构建两条单独的电路路径。一个向前提出一个答案(称为推理),另一个向前进行学习,以便使答案变得更加准确。但是由于模拟成分的可变性,这些途径不匹配。

Bengio说:“当您反向通过网络时,最终会积累错误。”为了进行补偿,网络将需要大量耗电的模数和数模电路,从而无法使用模拟。

平衡传播允许部分地通过调整整个网络的行为来在同一网络上进行学习和推理。他说:“ [平衡传播]允许我们说如何修改这些设备中的每一个,以使整个电路执行正确的操作。”“我们直接将模拟设备中发生的物理计算转换为我们的优势。”

目前,平衡传播仅在仿真中起作用。但首席执行官兼联合创始人戈登·威尔逊(Gordon Wilson)表示,Rain计划在2021年下半年采用硬件原理验证。他说:“我们实际上是在尝试从根本上重新构想人工智能的硬件计算基础,从大脑中找到正确的线索,并用这些线索为设计提供依据。”结果可能就是他们所谓的端到端模拟AI系统,该系统能够运行复杂的机器人甚至在数据中心中发挥作用。目前,这两种技术都被认为超出了模拟AI的功能,而模拟AI现在仅专注于为传感器和其他低功耗“边缘”设备增加推理功能,而将学习内容留给了GPU。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢