[算法学习] Forward-forward (FF) 双重前馈算法

飞书用户8537

飞书用户5027

2024年11月27日修改

2566

2700

🏕️

之前的一篇文章里面，我们学习了BP（反向传播）算法的工作原理 (当今大模型用于训练阶段的非常有效的算法）​[算法学习] 从0开始掌握反向传播算法，收敛效果非常显著。但去年年底的时候，Hinton老爷子在NeurlPS会议上分享了一篇叫《The Forward-Forward Algoritm: Some Preliminary  Investigations》的论文，这篇论文提出了用Forward-Forward双重前向传播的方式替代Forward-Backward反向传播的训练方式。这篇文章主要来探讨FF的工作原理，以及和BP相比的区别。​

《The Forward-Forward Algorithm: Some Preliminary Investigations》 by Geoffrey Hinton​

论文地址：https://arxiv.org/abs/2212.13345

一、基础含义

Forward-Forward（FF）是一种新型的神经网络训练方法，旨在替代传统的 BP 算法。 BP 算法需要在网络中进行前向传播（计算输出）和反向传播（更新权重），而 FF 算法试图仅通过前向传播来完成网络的训练。这种方法有望简化训练过程，提高计算效率，并更容易在硬件上实现。​

二、FF的核心思想

双重前向传播

FF 算法的核心在于使用两种不同的输入数据进行前向传播：

•
正样本（Positive Data）：真实的数据，代表期望的输入。代表我们希望神经网络正确识别或分类的实例。​

•
负样本（Negative Data）：与正样本相反，负样本是不符合我们期望的输入数据。它们可能是随机生成的、经过扰动的正样本，或者是其他类别的数据。​

层级能量计算

对于每一层，计算其对正样本和负样本的“能量”或激活程度。目标是：​

•
最大化正样本的能量：使神经网络对正确的输入有更强的响应。​

•
最小化负样本的能量：降低神经网络对错误输入的响应。​

权重更新

根据能量差异，调整每一层的权重，使网络逐渐学习到区分正负样本的能力。这种方法避免了反向传播中的梯度计算，只需使用前向传播的信息即可更新权重。​

三、和BP算法的区别

为什么要提出FF算法？

FF 算法的提出旨在解决传统 BP 算法的一些问题：

•
生物可实现性：BP 算法在生物学上缺乏证据支持，而 FF 算法更接近于生物神经网络的工作方式。​

•
硬件实现困难：BP 算法需要反向传播，涉及复杂的梯度计算，不利于并行化和硬件实现。FF 算法由于只需前向传播，更易于在硬件上实现。​

•
全局误差依赖：BP 算法需要全局误差信息，FF 算法则可以基于局部信息进行学习。​

common.docs_name - LarkCCM_Docs_Menu_Image

计算流程

•
BP 算法：包含前向传播和反向传播两个阶段。前向传播计算输出，反向传播计算梯度并更新权重。​

•
FF 算法：只进行前向传播，通过比较正负样本的能量来更新权重。​

信息传递方向

•
BP 算法：需要从输出层反向传递误差信号。​

•
FF 算法：所有信息都在前向传播中完成，没有反向信息流。​

依赖的参数

•
BP 算法：需要全局误差函数，依赖整个网络的输出。​

•
FF 算法：只需局部的能量计算，依赖每一层的输出。​

四、FF的优劣势

优势

•
生物学合理性：更接近生物神经网络的工作方式。​

[算法学习] Forward-forward (FF) 双重前馈算法​

[算法学习] Forward-forward (FF) 双重前馈算法