机器学习笔记一:关于机器学习

开发者福利!热门AI工具限时免费用 购周边即赠Coding Plan Lite,Claude Code、Cursor等20+工具畅享,效率翻倍! 阅读详情

这本笔记的参考书目和课程为:
《机器学习基础教程》:机械工业出版社
模式识别与机器学习(PRML)
统计学习方法:清华大学出版社,李航
Deep Learning:Ian Goodfellow,Yoshua Bengio,Aaron Counrville
斯坦福《机器学习公开课》吴恩达

之后的内容都是来源于这几本书的学习和一些反思,后面就不强调了。这里的机器学习默认是统计机器学习,后面也不再强调了。

一.统计学习方法概论

Ⅰ.背景

统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。 科学规律性的东西一般总是隐藏得比较深,最初总是从其数量表现上通过统计分析看出一些线索,然后提出一定的假说或学说,作进一步深入的理论研究。当理论研究 提出一定的结论时,往往还需要在实践中加以验证。就是说,观测一些自然现象或专门安排的实验所得资料,是否与理论相符、在多大的程度上相符、偏离可能是朝哪个方向等等问题,都需要用统计分析的方法处理。
从1960年至1980年间,统计学领域出现了一场革命,要从观测数据对依赖关系进行估计,只要知道未知依赖关系所属的函数集的某些一般的性质就足够了。
60年代的四项发现:
Tikhonov, Ivanov 和 Philips 发现的关于解决不适定问题的正则化原则;
Parzen, Rosenblatt 和Chentsov 发现的非参数统计学;
Vapnik 和Chervonenkis 发现的在泛函数空间的大数定律,以及它与学习过程的关系;
Kolmogorov, Solomonoff 和Chaitin 发现的算法复杂性及其与归纳推理的关系。

Ⅱ.统计学习方法

统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并且运用模型对数据进

机器学习笔记:概述 机器学习的公认定义[Mitchell, 1997]: A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P,... 阅读详情

相关推荐

机器学习笔记 - 了解机器学习中的小样本(Few-Shot)学习

小样本学习 (FSL) 是机器学习框架,它使预训练模型能够对新类别的数据(预训练模型在训练期间未见过的数据)进行泛化,每个类仅使用几个标记样本。它属于元学习的范式(元学习意味着学习学习)。机器学习笔记 - 什么是元学习?元学习,也称为“学习的学习”,是计算机科学中机器学习个子集。它用于通过根据实验结果改变学习算法的某些方面来提高学习算法的结果和性能。元学习帮助研究人员了解哪些算法从数据集中生成最好/更好的预测。元学习算法使用学习算法的元数据作为输入。

学以致用 知行合一 1413

小样本学习——概念、原理与方法简介(Few-shot learning)

通常,我们用 � 来表示输入数据,� 来表示监督信息, � 和 � 分别表示输入数据和监督信息的空间。个典型的FSL任务数据则被描述为 ��=(����,����)其中:用于任务 � 的样本 ��,�� 来自个特定的域 ,��={��,�(��)} ,由数据空间 �� 和边际概率分布 �(��) 组成。通常,在 ���� 中有 � 个任务类,每个类只有 � (非常小,例如1、5)个样本,即 ���� = �� ,这也称为C-way,K-shot任务。

hellozhxy的博客 7925

小样本学习(Few-Shot Learning)

本文讲解小样本学习问题的Pretraining+Fine Tuning解法。本文使用飞桨(PaddlePaddle)基于数据集实践小样本学习问题的Pretraining+Fine Tuning解法。

hellozhxy的博客 1万+

机器学习总结笔记

机器学习总结 1.分类模型 1.1KNN算法 k-邻近算法采用测量不同特征值之间的距离方法进行分类(k-Nearest Neighbor,KNN) 超参数(n_neighbors=k) API from sklearn.neighbors import KNeighborsClassifier knn=KNeighborsClassifier(n_neighbors=6) knn.fit(x_train,y_train) 寻找最优值【学习曲线&交叉验证】 from sklearn.

m0_46926492的博客 1603

什么是小样本学习

小样本学习(Few-Shot Learning, FSL) 是当前人工智能研究中的个重要分支,目标是在仅有极少量标注样本的条件下,训练出具有良好泛化能力的模型,解决数据不足、标注成本高的问题。在每个类别仅有少量(通常是 1~100 个)样本的情况下,让模型仍能进行有效的分类、回归或生成任务。相比传统机器学习(需要大量数据),Few-Shot Learning 更接近人类学习模式 —— “看几次就会”。

彬彬侠的博客 2615

【李宏毅2022机器学习笔记:ML/DL框架;反向传播;回归;Pytorch使用

李宏毅2021/2022春机器学习课程 目前进度P15Regression

一亿少女的梦 2025

向毕业妥协系列之机器学习笔记:构建ML系统()

下面的例子是模型的选择,对于个问题,这个问题的f可能有多种不同的选择,下面列出了10种,分别对应d=1~10,分别是阶到10阶的多项式,这些放到训练集当中都能得到对应的参数,然后利用这些参数去进行测试集上的测试,然后比如发现当d为5的时候(即五阶多项式)Jtest最小,这就能说明我们这个问题应当选择d为5对应的式子作为模型公式吗?下图和之前学过的模型选择是个道理,多个lambda值,分别训练出对应的w,b的值,然用验证集计算出Jcv,选择最小的那个Jcv对应的lambda,然后再用测试集测试。

长夜漫漫,无心睡眠 745

ML系列笔记:基本概念

这是学习周志华老师《机器学习》的些重要概念的简要笔记 ,仅防个人忘记 机器学习所研究的主要内容是“学习算法”,即关于在计算机上从数据中产生“模型”的算法 基本术语 属性空间(attribute space) / 样本空间(sample space) / 输入空间:由属性张成的空间。位于该空间的个实例称为“特征向量(feature vector)” 通过学习算法从数据中学得模型的过程称为“学习...

deepinC博客 605

机器学习实战》学习笔记):机器学习基础

专栏【机器学习】 【机器学习】《机器学习实战》读书笔记及代码 总目录 https://blog.csdn.net/TeFuirnever/article/details/99701256 —————————————————————————————————————————————————————— 目录专栏【机器学习】本章内容何谓机器学习2、关键术语3、机器学习的主要任务4、如何选择合适的算法5...

种树最好的时间是10年前,其次是现在!!! 2万+

机器学习理论笔记):初识机器学习

这篇博文深入探索了机器学习的核心概念和"没有免费的午餐"定理(NFL)的深刻内涵。我们通过比喻西瓜数据,介绍了机器学习的基本术语,从数据集到特征向量,从训练样本到泛化能力,从分类到回归。而后,我们引用NFL定理,阐释了其在人生中的重要启示,指引我们在差距感和个人发展中保持积极态度。就如算法在不同问题中表现出差异样,每个人在不同领域都能闪耀光芒。在机器学习的世界和人生的征途中,我们应以持续学习、勇于尝试和不懈努力为伴,用智慧和勇气开创无限可能。

蓝色是天的博客 2669

机器学习笔记 机器学习思路

、派别 频率派:统计机器学习 贝叶斯派:概率图模型 二、学习书籍 李航《统计学习方法》: 周志华《机器学习》: 《PRML》: Pattern Recognition and Machine Learning,该书出版于2006年,是贝叶斯机器学习领域的经典之作。作者为Christopher M. Bishop,现为剑桥微软研究院实验室主任。 《MLAPP》: 全称 Machine Learning:A Probabilistic Prospective,是 2012 年出的本讲机器学习本书。

amyniez的博客,欢迎交流讨论 1767

深度学习入门笔记):机器学习基础

专栏——深度学习入门笔记 文章目录专栏——深度学习入门笔记本章内容.人工智能的机遇与挑战二.机器学习2.1 什么是机器学习2.2 用机器学习解决问题的般流程2.3 数据预处理2.4 特征工程2.5 模型性能的评估与选择三深度学习的发展历程和应用3.1 深度学习的发展历程3.2 深度学习的应用 本章内容 人工智能的发展及其面临的挑战 机器学习的基础知识和基本概念 特征工程的方法和流程 深度学习的发展及应用 1956年8月,约翰.麦卡锡在美国达特茅斯学院(Dartmouth College)发起的次研

逐梦er的博客 3万+

机器学习学习笔记

章: 机器学习入门 ​ 主要理解机器学习的应用场景,以及如何以机器学习的方式来处理现实问题。 机器学习发展历程 ​ 达特摩斯会议 Dartmouth。 2018图灵奖。 二、什么是人工智能 ​ 应用场景:传统预测、图像识别、自然语言处理。 ​ 人工智能、机器学习、深度学习 。 三、机器学习算法分类 ​ 样本由特征值和目标值组成,特征值为样本的特征属性,目标值为样本的目标分类。 ​ 按照目...

roykingw的专栏 267

机器学习笔记):机器学习基本知识概述

机器学习笔记):机器学习基本知识概述 目录机器学习笔记):机器学习基本知识概述机器学习概述1.人工智能2.机器学习的定义3.机器学习的时期4.人工智能中逻辑推理的两种方法5.机器学习与其他6.机器学习的本质二、机器学习算法体系1. 以学习方式归类2.以应用场景归类3.以算法特点归类三、算法选择1. 依据数据和学习方法的选择2.依据数据量和数据特点选择3.依据算法性能特点的选择四、机器学...

南有芙蕖 1077

机器学习系列笔记:Introduction

机器学习系列笔记:Intro 数据 以鸢尾花的数据集为例: 花萼长度 花萼宽度 花瓣长度 花瓣宽度 种类 5.1 3.2 1.4 0.2 se(0) 7.0 3.2 4.7 1.4 ve(1) 6.3 3.3 6 2.5 vi(2) 数据整体叫数据集(data set) 每行数据称为个样本(sample) 除最后列,每列表达样本的个特征(feature) 第iii 个样本的所有特征集合作特征向量 X(i)X^{(i)}X(i),第iii个样本的第jj

ChanZany的博客 424

学习笔记():机器学习基础术语

目录 机器学习简介 (Introduction to Machine Learning) 二、问题构建 (Framing) 标签(label) 特征 (feature) 样本(example) 模型 (model) 回归与分类 三、深入了解机器学习 (Descending into ML) 1.线性回归(linear regression) 2.训练与损失 经验风险最小化...

Lightmare625 2180

机器学习笔记:简介

机器学习笔记:简介 . 监督学习vs非监督学习,线上学习vs批量学习,基于实例vs基于模型学习 1.机器学习定义 机器学习是让机器通过学习数据对某些任务做得更好,而不使用确定的代码规则。 总结下,机器学习善于: 需要进行大量手工调整或长串规则的问题:机器学习算法通常可以简化代码、提高性能。 问题复杂,对于传统方法太复杂或是没有已知算法的问题 :最好的机器学习方法可以找到解决方案。 环境有波动...

weixin_30414635的博客 100

机器学习笔记:导论

机器学习笔记:导论

永春的CSDN博客 1万+

机器学习基石笔记):学习的问题

Lecture 1 The Learning Problem 学习问题 机器学习定义,组件和流程

the_harder_to_love的博客 946
上一篇: Python科学计算:读取txt,csv,mat文件
下一篇: 机器学习笔记二:线性回归与最小二乘法
谢小小XH
博客等级 码龄15年 3165粉丝 99原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值