第二章:关键技术介绍

AI权益加码!Claude Code、Cursor等20+工具免费用! 购周边限时加赠Coding Plan Lite,畅享主流AI工具!学习进阶更高效! 阅读详情

本项目是通过jupyter Notebook来进行设计和实现的

2.1jieba的介绍
2.2numpy的介绍
2.3pandas的介绍
2.4matplotlib的介绍
2.5seaborn的介绍

2.1jieba的介绍

jieba库是Python中重要的第三方中文分词函数库,其原理是利用一个中文分词词库,将带分词的内容和分词词库进行比对,通过图结构和动态规划方法找到最大概率词组,除了分词外,jieba库还提供了增加自定义中文单词的功能。
jieba库支持三种分词模式:
1.精确模式:将句子最精确的切开,适合文本分析。
2.全模式:把句子中所有可以成词的词汇都扫描出来,速度很快,但是不能消除歧义。
3.搜索引擎模式:在精确模式的基础上,对长词再次进行切分,提高召回率,适合用于搜索引擎分词。
jieba库主要提供分词功能,可以辅助自定义分词词典。
jieba库常用的分词函数:
jieba.cut(s) 精确模式,返回一个可迭代的数据类型。
jieba.cut(s,cut_all = True) 全模式,返回文本s中所有可能的单词。
jieba.cut_for_search(s) 搜索引擎模式,适合搜索引擎建立索引的分词结果。
jieba.lcut(s) 精确模式,返回一个列表类型,建议使用此种精确模式。
jieba,luct_for_search(s) 搜索引擎模式,返回一个列表类型,建议使用此种搜索引擎模式。
jieba,add_word(w) 向分词词典中添加新词w
 

2.2numpy的介绍

numpy是一个开源的python科学计算扩展库,主要用来处理任意维度数组和矩阵。
相同的任务,使用numpy比直接用python的基本数据结构更加简单高效。
它的功能:

  • 包含一个强大的N维数组对象Ndarray
  • 广播功能函数
  • 整合C/C++代码的工具
  • 线性代数、傅里叶变换、随机数生成等功能

numpy是scipy,pandas等数据处理或科学计算库的基础

2.3pandas的介绍

        Pandas是提供高性能易用数据类型和分析工具。常使用的导入方式import pandas as pd
pandas基于numpy实现,常与numpy和matplotlib一同使用。

两个数据类型:Series,DataFrame
基于上述数据类型的各类操作,基本操作、运算操作、特征类操作、关联类操作。

numpy:基础数据类型,关注数据的结构表达,维度是数据间的关系。
pandas:扩展数据类型,关注数据的应用表达,数据与索引间关系
        Pandas 是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。panel data是经济学中关于多维数据集的一个术语,在Pandas中也提供了panel的数据类型。

2.4matplotlib的介绍

Matplotlib是一款可以数据可视化的库。由各种可视化的类构成。
matplotlib.pyplot是绘制各类可视化图形的命令子库。
通常别名为plt 命令如import matplotlib.pyplot as plt

Matplotlib通常和Numpy结合使用。

 Matplotlib是一个python 2D绘图库,它以多种硬拷贝格式和跨平台的交互式环境生成出版物质量数据。  Matplotlib可以在Python脚本中,Python和IPython的使用壳(ALA MATLAB® *或数学®),Web应用程序服务器,和六个图形用户界面工具包。 Matplotlib尝试使容易的事情变得容易而使困难的事情变得可能。 您只需几行代码就可以生成图表,直方图,功率谱,条形图,误差图,散点图等。

2.5seaborn的介绍

  • seaborn是基于 Matplotlib的Python数据可视化库。 它在Matplotlib的基础上,进行了更高级的封装,从而使得绘图更加容易,不需要经过大量的调整,就能使图像变得精致,它提供了一个高级界面,用于绘制引人入胜且内容丰富的统计图形,只是在Matplotlib上进行了更高级的API封装,从而使作图更加容易。

  • seaborn是针对统计绘图的,能满足数据分析90%的绘图需求,需要复杂的自定义图形还需要使用到Matplotlib。

物联网后端系统架构:从基础到AI驱动的未来 - 第二章关键技术基础 第二章主要介绍物联网后端系统关键技术。通信协议与网络技术多样,像 MQTT 适用于实时性要求高场景,CoAP 则针对资源受限设备。数据格式中,JSON 可读性好,Protobuf 传输高效。Python、Java 等编程语言各有优势,适用于不同开发场景。关系型非关系型数据库等满足各类数据存储需求。消息队列技术保障数据有序流转,缓存技术提升系统性能。这些技术相互配合,从数据传输、处理到存储等环节,为物联网后端系统的稳定高效运行提供有力支撑。 阅读详情

相关推荐

MOOC桂小林教授 物联网技术概论【第二章测验答案】

第二章单元测试 截止时间:2020年3月27日 1单选(2分) 物联网的英文名称为() A.RFID(Radio Frequency Identification) B.WSN(Wireless Sensor Network) C.Internet of Things D.CPS(Cyber Physical System) 正确答案:C 2单选(2分) 下面哪个技术属于物联网感知层的关键技...

qq_43697167的博客 3977

Python+jieba+pandas+自己写的函数,简单实现用多个词典标注文本

做文本分析经常需要用词典标注,有时需要用很多个不同的词典做标注,每个词典单独跑一遍 or 每个词典都重新写代码显得很傻,所以我 1. 统一了词典的格式:用excel存储,第一列是关键词,这一列对所有词典都是必需的;后面列是标签(维度划分),可能有1个或多个标签; 2. 写了几个词典标注的函数,适用于:dict0-没有标签的词典;dict1-有一列标签的词典;dict2-有两列标签的词典。一般这几个就够用了,如果有更多的标签列,用相同的模式再写新的函数就行。 3. 每个词典都可以通过调用这几个函数来标注

Sun_Weiss的博客 974

HUSKY——物理感知全身控制人形滑板系统 第二章:算法架构与关键技术

过硬的仿真模型则导致策略期望的回复力矩不足,引发失稳。物理引导的优势在于将高维动作空间降维至低维物理有意义的参数空间,避免策略盲目探索无效的倾斜-转向组合,同时确保转向动作符合滑板动力学约束。通过轨迹引导提供的时序先验,策略逐步优化接触模式,最终实现快速、平稳的上板动作,身体姿态从推进时的纵向对齐平滑过渡为转向时的横向对齐。HUSKY 采用本体感知与滑板状态融合的观测向量,包括:机器人关节角度与角速度、IMU 测量的躯干姿态与加速度、滑板板面的倾斜角度与角速度、以及任务相关的指令信号如期望航向速度。

VectorShift的博客 52

使用jieba pandas 手搓 搜索引擎

【代码】使用jieba pandas 手搓 搜索引擎。

东方佑 535

第十章 Python第三方库

第三方库的获取安装、PyInstaller库、第三方库、第三方库总览

qq_37515374的博客 2371

Python使用jieba库分词并去除标点符号

Python使用jieba库分词并去除标点符号

Alexabc3000的专栏 1万+

python使用jieba进行中文分词

 一   “结巴”中文分词:做最好的 Python 中文分词组件  。支持三种分词模式:精确模式,试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。支持繁体分词支持自定义词典MIT 授权协议      GitHub: https://github....

学习机器学习 4万+

第二章 关键技术介绍

第二章

jdjdisn的博客 778

TTT-Parkour 第二章关键技术组件深度解析

参数高效微调(PEFT)旨在通过更新极少参数实现领域适应,降低计算与存储开销。适配器模块(Adapter)在基础网络的层间插入小型瓶颈网络,仅训练这些插入模块而保持原权重冻结。残差学习(Residual Learning)则通过学习的残差向量修正预训练输出。最后一层微调(Last Layer Fine-tuning)仅更新策略网络的最终输出层,假设高层表示具有足够迁移性。Adapter模块的结构通常为两层MLP组成的瓶颈:先将特征降维至低维空间(如64维),经非线性激活后再升维回原维度,并采用残差连接。

VectorShift的博客 679

物联网技术与应用【第二章测验答案】

第二章单元测试 1单选(2分) 物联网的英文名称为() A.RFID(Radio Frequency Identification) B.WSN(Wireless Sensor Network) C.Internet of Things D.CPS(Cyber Physical System) 正确答案:C你选对了 2单选(2分) 下面哪个技术属于物联网感知层的关键技术。 A.数据存储技术 ...

qq_38636076的博客 9245

谭浩强C++教程第二章:基础知识点及代码示例

类定义了对象将拥有的成员变量(数据成员)成员函数(方法)。定义一个类通常使用关键字class或者struct。尽管两者有细微差别,但大多数情况下可以互换使用。以下是一个简单的类定义示例:// 定义一个简单的类private:int length;int width;public:// 构造函数// 设置矩形的长宽width = w;// 计算矩形的面积在上面的例子中,Rectangle类有两个私有成员变量lengthwidth。

weixin_42360846的博客 794

第2章 关键技术介绍

Python 是一种面向对象、解释型、弱类型的脚本语言,它也是一种功能强大而完善的通用型语言。

SunQiFu3的博客 228

计算机三级——网络技术第二章学习总结篇

本文总结了网络技术第二章的核心知识点,重点介绍了网络架构设计原则、关键设备技术指标系统可靠性要求。主要内容包括:1)网络层次结构设计原则,如核心层采用GE/10GE技术,不同规模节点的设计方法;2)路由器交换机的关键技术指标,如吞吐量、背板能力、延时等;3)服务器相关技术如热插拔、集群技术存储能力;4)系统高可用性计算方法,各级别对应的年停机时间要求。适合备考计算机三级网络技术考试的读者参考学习。

2302_76709979的博客 1220

*********【人工智能关键技术体系与跨行业赋能路径研究】

摘要:人工智能作为引领新一轮科技革命的核心技术,正重塑各行业发展格局。本文系统梳理了AI技术体系(基础层、技术层、应用层),重点剖析机器学习深度学习、计算机视觉、自然语言处理等核心技术原理。通过分析工业制造、医疗健康、金融等领域的典型应用案例,揭示AI如何驱动产业智能化转型。同时指出当前面临的数据隐私、算法公平性等技术伦理挑战,展望了大模型化、AI for Science等未来趋势,为把握AI赋能机遇提供实践参考。(149字)

matlab_python22的博客 1245

第二章:AI大模型的基本原理2.3 AI大模型的关键技术2.3.1 Transformer

第二章:AI大模型的基本原理-2.3 AI大模型的关键技术-2.3.1 Transformer Transformer 是当前最先进的序列到序列模型(Sequence-to-Sequence model),广泛应用于自然语言处理(NLP)领域,尤其是神经机器翻译(Neural

AI架构师小马 955

Vue.js 第二章知识点总结

# Vue.js核心知识点精简摘要 Vue.js含众多核心知识点:过滤器用于文本格式化(Vue 3.x已移除);内置/自定义指令实现DOM操作与渲染控制;生命周期钩子覆盖实例全流程。组件分全局、局部等类型,Vue CLI快速搭建项目,vue.config.js改配置。ref获DOM/组件,props实现父子传值,Mixin复用逻辑,插件扩展功能。scoped防样式污染,本地存储存客户端数据,自定义事件、全局事件总线解决组件通信问题。

2503_93390114的博客 819

基于混沌的图像加密关键技术研究

在图像加密关键技术的研究中,需要解决以下问题:首先,如何选择合适的混沌系统以及确定合适的初始条件参数,以保证加密过程的安全性复杂性。因此,本文旨在研究基于混沌的图像加密关键技术,探索可行的加密算法参数设置方法,提高加密算法的安全性效率。传统的加密方法不能满足对图像数据安全性抗攻击性的要求,因此,基于混沌的图像加密成为了研究热点。本文将采用混沌映射混沌序列生成算法,将其与已有的图像加密算法相结合,提高了图像加密的安全性加密效果。根据混沌系统的可逆特性,本文将设计了一种基于混沌的图像加密算法。

wu_fei_yu的博客 724
上一篇: 第一章 绪论
下一篇: 第三章 系统分析
Yml13
博客等级 码龄5年 2粉丝 14原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值