3 DLADMM算法
3.1
将原有的深度学习的目标即损失函数转化为一个优化问题
首先介绍了深度学习网络的基本结构以及反向传播算法，其次定义了优化问题1即损失函数，通过最小化损失函数来接近正确值，同时为了防止过拟合，引入了正则化项，为了确保优化过程中参数更新能够保持每一层之间的关系，引入了约束条件：线性约束与激活函数的约束。
松弛问题：https://blog.csdn.net/universsky2015/article/details/135796968
深度网络中涉及到非线性和高维的参数，直接求解优化问题较困难，因此引入了松弛定义来简化问题解决问题2，将问题1的约束条件进行了简化，通过松弛，问题的硬性约束被转化为惩罚项，并且并入了目标函数的一部分。这样，原本必须满足的约束条件现在只需要逐渐逼近就可以了。ADMM本身是一种将复杂优化问题拆分为若干个子问题分别求解的优化方法，松弛项的引入使得每个子问题都更加易于处理，从而提高了整体算法的效率。
3.2 DLADMM算法
与传统的反向算法相比，在反向传播计算梯度更新权重和参数之后引入了向前传播再一次进行求梯度更新参数，这一步补充了传统BP算法的不足，特别是对前几层（靠近输入层）的调整更加及时，因为这几层在传统的BP中往往要等到误差传递过来之后才能更新。而向前更新能够让这些层更早地得到反馈信息，从而加快了模型的收敛速度。
admm的基础思想是将一个复杂的优化问题分为多个子问题。梯度下降主要用于无约束优化问题，即模型的目标是最小化一个损失函数，但没有特定的约束条件。ADMM更适合处理带有约束的优化问题，它通过引入拉格朗日乘子，将约束条件转化为可解的子问题。可以将admm理解为并行处理多个问题。惩罚函数的作用是将有约束转换为无约束
dlADMM的核心在于通过增广拉格朗日函数解决深度学习中的优化问题，并结合ADMM的方法将问题分解为多个小问题。增广拉格朗日函数用于处理神经网络的参数优化，并通过加入惩罚项来约束层与层之间的关系
