机器学习：pytorch框架（10）--实例阶段性总结：神经网络算法理解（深度学习）

最新推荐文章于 2026-08-24 10:48:37 发布

原创最新推荐文章于 2026-08-24 10:48:37 发布 · 1.2k 阅读

12 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

pytorch

学习记录总结专栏：机器学习：PyTorch框架-个人学习总结（专栏）https://blog.csdn.net/spiderb/category_12838886.html

1 前言

经过前面的实例学习，其实我们可以发现：相较于传统的机器学习，神经网络的模型训练过程是一种端到端的过程，简化中间过程，核心是损失函数更新参数，这就把传统任务简化了。

人工智能、机器学习、神经网络、深度学习之间的关系

人工智能的研究大约是从 20 世纪 50 年代开始的，其发展史与计算机的发展史有所重合，可以划分为以下 3 次热潮：

20 世纪 50 ~ 60 年代，逻辑为主，智力游戏；
20 世纪 80 年代，知识为主，机器人、机器翻译；
2010 年至今，数据为主，模式识别、语音识别。

在人工智能领域，神经网络（Neural Network，NN）是近年来的热门话题。深度学习是人工智能领域一种具有代表性的实现方法。而深度学习是以神经网络为出发点的。曾经被媒体报道过的相关内容就有：

2012 年--在世界性的图像识别大赛ILSVRC中，使用深度学习技术的Supervision方法取得了完胜；
2012年--利用谷歌公司开发的深度学习技术，人工智能从 YouTube 的视频中识别出了猫；
2014年--苹果公司将Siri的语音识别系统变更为使用深度学习技术的系统；
2016年--利用谷歌公司开发的深度学习技术，AlphaGo 与世界顶级棋手对决，取得了胜利；
2016年--奥迪、宝马等公司将深度学习技术运用到汽车的自动驾驶中
………………

神经网络是以生物学研究中神经元抽象出来的数学模型为出发点的。相应的神经单元的数学模型可表示为(有/无输出信号)：

$(y = 0): \quad w_1 x_1 + w_2 x_2 + w_3 x_3 < \theta \\ (y = 1): \quad w_1 x_1 + w_2 x_2 + w_3 x_3 \geq \theta$

即，有无信号输出是通过神经单元的阈值进行判定的。但是，推广到一般的情况下的话，神经单元的输出其实可以是任意数值。而在之前的第（6）章节的内容中，我们已经了解了sigmoid激活函数的作用——输出结果映射到一个概率空间。那么，这时我们公式可为：

$y = a(w_1 x_1 + w_2 x_2 + w_3 x_3 + b) \\z = w_1 x_1 + w_2 x_2 + w_3 x_3 + b$

其中a为激活函数（activation function）；b为阈值（偏置-bias），其大小对神经单元的敏感/兴奋程度有影响。

*激活函数在数学上可以使用单调递增的可导函数来替代sigmoid激活函数，原理是一样的。（容易计算）

2 神经网络

就像人脑一样（一般来说，人脑神经元的数量大约在100亿到140亿个），将多个神经单元进行连接，形成网状，那么就是神经网络。实际上，这个网络的连接和叠加方式多种多样，最终就形成了不同的神经网络吗，例如：卷积神经网络、循环神经网络等。

在神经网络中，通常按照层（layer）划分神经元，也就是我们所熟知的：输入层、隐藏层和输出层。各层分别执行特定的信号处理操作。

输入层负责读取给予神经网络的信息。属于这个层的神经单元没有输入箭头，它们是简单的神经单元，只是将从数据得到的值原样输出；
隐藏层的神经单元将多个输入整理为对输入加权。在神经网络中，这是实际处理信息的部分；同时，隐藏层具有提取输入图像的特征的作用。
输出层与隐藏层一样执行信息处理操作，并显示神经网络计算出的结果，也就是整个神经网络的输出。

这个简单的神经网络的特征是，前一层的神经单元与下一层的所有神经单元都有箭头连接，这样的层构造称为全连接层（fully connected layer）。

其中，神经网络的参数确定方法分为有监督学习和无监督学习。为了确定神经网络的权重和偏置，事先给予数据，这些数据称为学习（训练）数据。根据给定的学习数据确定权重和偏置，称为学习（训练）过程。

在神经网络的世界中，所有神经单元的输入和输出在数学上都可以认为是用联立递推式联系起来的。

“tensor”来源于“tension”（物理学中的“张力”）。向固体施加张力时，会在固体的截面产生力的作用，这个力称为应力。这个力在不同的截面上大小和方向各不相同。当面的法向为x、y、z 轴时，作用在面上的力依次用向量表示，然后写成一个矩阵（matrix）的形式，这样的形式的量就称应力张量。因此，张量是应力张量在数学上的抽象。

而神经网络在学习训练过程中，会通过误差函数，梯度下降来自动对权重和偏置进行更更新（最优化--链式法则求导是一种方法：光滑的单变量函数 y=f(x) 在点 x 处取得最小值的必要条件是导函数在该点取值为 0）。