机器学习（三）：拉格朗日乘子与梯度下降法

关注

VIP免费原创最新推荐文章于 2025-08-24 10:48:21 发布 1.4w 阅读 AI 写同款· GEO 优化 ›

凸优化：邻近点梯度法、交替方向乘子法、次梯度法 matlab实现问题描述考虑线性测量 b=Ax+e，其中 b 为 50 维的测量值，A 为 50ⅹ100 维的测量矩阵，x 为 100维的未知稀疏向量且稀疏度为 5，e 为 50 维的测量噪声。从 b 与 A 中恢复 x 的一范数规范化最小二乘模型如下： min 12∣∣Ax−b∣∣22+p∣∣x∣∣1 min \ \frac{1}{2}||Ax-b||_2^2 + p||x||_1 min&nbsp... 阅读详情

这里介绍两个在以后的机器学习算法中经常使用的技巧：拉格朗日乘子（Lagrange multiplier）和梯度下降法（Gradient descent）。

1. 拉格朗日乘子法

拉格朗日乘子被⽤于寻找多元变量在⼀个或者多个限制条件下的驻点。

1.1 等式约束条件

考虑这样一个问题：
求解 $f(x_1,x_2)$ 的最大值，其中x1和x2必须满足如下限制条件: $g(x_1,x_2)=0$ 。

求解方法1：将 $g(x_1,x_2)=0$ 转化为 $x_2=h(x_1)$ 带入f函数，然后使用微分法求解驻点 $x_1^*$ ，然后得到驻点 $x_2^*=h(x_1^*)$ 。
这种⽅法的⼀个问题是，把x2显式地表⽰为x1的函数，即找到限制⽅程的解析解很困难。并且，这种⽅法把x1和x2区别对待，这破坏了这些变量之间⾃然存在的对称性。

由此我们引入拉格朗日乘子法。

1.1.1 约束条件 $g(x)=0$ 的特性

设向量 $x\in R^D$ ，则 $g(x)=0$ 表示一个D-1维的曲面。
有

\nabla g (x) 正 交 于 此 曲 面

$\nabla g(x)正交于此曲面$

证明：考虑⼀个位于限制曲⾯上的点x以及这个点附近同样位于曲⾯上的点x + ϵ。如
果我们在点x处进⾏泰勒展开，那么我们有
$g (x + ϵ) \approx g (x) + ϵ T \nabla > g (x)$ $g(x+\epsilon )\approx g(x)+\epsilon ^T\nabla > g(x)$ 我们有： $g (x + ϵ) = g (x) = 0 \Rightarrow ϵ T \nabla g (x) > \approx 0$ $g(x+\epsilon )=g(x)=0 \Rightarrow \epsilon ^T\nabla g(x) > \approx 0$ $ϵ \to 0 \Rightarrow ϵ T \nabla g (x) = 0$ $\epsilon \to 0 \Rightarrow\epsilon ^T\nabla g(x)=0$
$\epsilon$ 平行于曲面，所以 $\nabla g(x)$ 正交于曲面。