过拟合

墨衍会员 · AI 创作全网分发码龄9年

关注

原创最新推荐文章于 2025-02-14 18:03:01 发布 593 阅读 AI 写同款· GEO 优化 ›

限时加码！20+主流AI编程工具免费用购周边加赠Coding Plan Lite，Claude Code、Cursor等即刻畅享，学习进阶更高效！阅读详情

过拟合

在进行逻辑回归和线性回归时可能出现欠拟合和过拟合现象，欠拟合和过拟合均无法有效的应用到未测试数据中，过拟合对输入的实验数据的拟合效果异常完美，但是对未加入的数据拟合结果很差。下面三个图分别代指欠拟合，拟合良好和过拟合。（图片来自大牛吴恩达的课程）
这里写图片描述

产生过拟合的原因

特征量太多，而测试数据太少。

解决方法

1.人为的舍弃特征量（略）

2.正则化

正则化的基本思想是在代价函数中加入惩罚因子，将特征量的影响力减小。例如假设函数 $h(\theta_x)=\theta_0+\theta_1 x_1+\theta_2 x_2^2+\theta_3 x_1 x_2$ ，我们在原代价函数的基础上加上 $1000\theta_2^2+1000\theta_3^2$ ,这样我们在最小化代价函数时， $\theta_3$ 和 $\theta_2$ 的值趋近于0，即弱化了后两项的影响力。当我们不知道弱化具体哪些项时，可以将所有项均弱化，这就叫做正则化，默认不弱化 $\theta_0$ 项。

线性回归中的正则化

1.梯度下降

代价函数变成如下形式：

J (θ) = 1 2 m [\sum i = 1 m (h θ (x i) - y i) 2 + λ \sum i = 1 n θ 2 i]

$J(\theta)=\frac{1}{2m}[\sum_{i=1}^m (h_\theta(x^{i})-y^i)^2+\lambda\sum_{i=1}^n\theta_i^2]$
更新

θjθj $\theta_j$ (除

θ0θ0 $\theta_0$ ):

θ j = θ j (1 - α λ m) - α m \sum i = 1 m (h θ (x i) - y i) x i

$\theta_j=\theta_j(1-\alpha \frac{\lambda}{m})-\frac{\alpha}{m}\sum_{i=1}^m (h_\theta(x^{i})-y^i)x^i$

2.正规方程

正规方程变为如下形式,在原来的基础上添加了一个除第一行对角线为0，其余对角线上均为1的矩阵。（不清楚为什么，但是解决了 $X^TX$ 的不可逆问题）

θ = (X T X + ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ 0 . . . . 1 . . . . . . . . . 1 ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪) - 1 X T Y

$\theta=(X^TX+\left\{ \begin{matrix} 0 & . & .& . \\ . & 1 & . & .\\ . & . & .& . \\ . & .& .& 1 \end{matrix} \right\})^{-1}X^TY$

逻辑回归中的正则化

代价函数变为如下形式：

J (θ) = - 1 m \sum i = 1 m (y i l o g h θ (x i) + (1 - y i) l o g (1 - h θ (x i)) + λ m \sum j = 1 n θ 2 j

$J(\theta)=-\frac{1}{m}\sum_{i=1}^m(y^ilogh_\theta(x^i)+(1-y^i)log(1-h_\theta(x^i))+\frac{\lambda}{m}\sum_{j=1}^n\theta_j^2$
更新

θjθj $\theta_j$ （除了

θ0)θ0) $\theta_0)$ :

θ j = θ j (1 - α λ m) - \sum i = 1 m (h θ (x i) - y i) x i j

$\theta_j=\theta_j(1-\alpha\frac{\lambda}{m})-\sum_{i=1}^m(h_\theta(x^i)-y^i)x_j^i$

收录于

机器学习

Machine Learning 吴恩达

本内容遵循 CC 4.0 BY-SA 版权协议

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

【模型过拟合解析】在机器学习中，过拟合（Overfitting）是指模型在训练数据上表现非常好（例如，训练误差低或准确率高），但在新数据或未见过的测试数据上表现显著下降的现象。本质上，模型“过度记忆”了训练数据中的噪声和特定模式，而非学习数据的真实规律（即泛化能力差）。这导致模型无法有效适应新场景。例如，在回归问题中，过拟合模型可能完美拟合训练点，但在新数据上预测波动大。数学上，过拟合通常表现为偏差-方差权衡中的高方差问题。定义一个损失函数其中 θ为模型参数。阅读详情

0

CSMrZ

博客等级

码龄9年 0粉丝 20原创

+ 关注专栏目录订阅专栏

评论

成就一亿技术人!

拼手气红包6.0元

还能输入1000个字符

插入表情

表情包

代码片

HTML/XML
objective-c
Ruby
PHP
C
C++
JavaScript
Python
Java
CSS
SQL
其它

条评论被折叠查看

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。