2017-09-29-word-split.md

最新推荐文章于 2026-09-11 21:03:09 发布
原创 最新推荐文章于 2026-09-11 21:03:09 发布 · 449 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
AI

当前文章被收录于：

AI
1 篇文章 0 人学习
订阅专栏 查看详情
本文介绍了两种主要的中文分词技术：基于词典的字符串匹配方法（如ikanalyzer和paoding），该方法实现简单但对歧义和未登录词处理不佳；基于统计及机器学习的方法（如HMM和CRF模型），这种方法虽需要大量人工标注数据，但能较好地解决歧义和未登录词问题。此外还提到了几个知名的分词工具库。

算法

基于词典字符串匹配

例子： ikanalyzer,paoding

  • 优点：速度块，都是O(n)时间复杂度，实现简单
  • 缺点，就是对歧义和未登录词处理不好

基于统计以及机器学习

这类分词基于人工标注的词性和统计特征，对中文进行建模，即根据观测到的数据（标注好的语料）对模型参数进行估计，即训练。 在分词阶段再通过模型计算各种分词出现的概率，将概率最大的分词结果作为最终结果。常见的序列标注模型有HMM和CRF。
例子：

  • 优点：能很好处理歧义和未登录词问题，效果比前一类效果好
  • 缺点：需要大量的人工标注数据，以及较慢的分词速度

库

  • 结巴分词
    基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)；采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合；对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法。

  • IKAnalyzer https://github.com/wks/ik-analyzer

  • HanLP

性能比较

标签
#机器学习 #算法
聚类在 RAG 里的落地细节
LvYangYanWai0403的博客
09-09 163
RAG 主检索一般还是向量相似度（ANN），聚类解决「向量分布混乱、上下文割裂、检索冗余、长文档分片语义漂移」问题。常见聚类算法：K-Means、DBSCAN、HDBSCAN、层次聚类；RAG 场景，K-Means 适合已知类数的场景。
7、python小知识——split方法
weixin_56504083的博客
04-05 860
split()是通过指定分隔符对字符串进行切片，如果参数num有指定值，则分隔num+1个子字符串。
python字符串切片split_python字符串的定义、切片、格式化、函数
weixin_39589241的博客
12-03 596
字符串单引号、双引号都可以定义字符串，三引号允许一个字符串跨多行name1='Honey' #单引号name2="Tom" #双引号html=''' #三引号你好，2018！'''print(html,name1,name2)切片可以使用中括号和下标来获取单个字符或截取字符串，格式为[]、[ : ]、[ : : ]str="569809857@qq.com";print(str...
split命令切割文件
sumengnan的博客
11-24 4010
一、文件切割 命令格式： split [-b ][-C ][-][-l ][要切割的文件][输出文件名前缀][-a ] 参数： -b 50m 按大小切分（50MB），默认是字节，还可指定k、m、g、T -l 100或 -100 按行数切分文件（100行），默认是 1000 行 输出的文件名前缀 直接加在命令后面 -a <后缀长度> 默认后缀长度是2，是按aa、ab、ac等格式命名 -d 后缀名称使用00、01、02，而不是aa、ab、ac等格式命名 二、文件合并 linu..
python里split函数进行文本词语分割
weixin_47775328的博客
09-06 2962
# 汉语分词 text='我是一名五年级的小学生，我喜欢写程序。' print(text.split()) CHwords=[] for word in text.split(): CHwords.extend(word) print(CHwords) # 英语分词 text='I am a chinese girl!!' EGwords=[] for word in text.split(): EGwords.append(word) print(EGwords) # 英语简写分词 t...
Word中分隔符的用法
kevinhg的博客
03-10 6836
合理正确的使用Word中的分隔符，可以帮你轻松解决很多问题！
工作中使用到的单词（软件开发）
热门推荐
sun0322
03-15 6万+
１．エイリアス 　　alias 别名 powershell使用 get-help 命令时，会得到与此命令 相关（别名）的命令 ２．プロキシ　proxy　代　理 ３．プロモート 　 promote 促进，提升 　　开发的系统新功能上线发布，有时会使用到这个词，比如 STプロモート 还有使用リリース这个词的。比如STリリース。个人认为两者含义相同。 ４．見逃し　み................................................................
split 分割 字符串（分隔符如：* ^ ： | , .） 及注意点
zz_xyz的博客
03-13 2057
split 分割 字符串（分隔符如：* ^ ： | , .） 及注意点 采用 String[] onkeys = onkey.split("\\^");
K-Means 聚类的目标函数：簇内误差平方和
Frost_Descent的博客
09-10 5025
K-Means 是一种无监督迭代式的聚类算法：给定数据集与预设簇数K，算法把样本划分为K个不相交的簇，使得同一簇内样本尽可能相似，不同簇间样本尽可能远离。核心思想：> “让簇内‘抱团’，让簇间‘疏远’。
AI-XGBoost机器学习与生态—植被与土地利用识别、土壤碳氮空间预测、生物多样性驱动机制、土壤微生物功能预测、生态退化与风险识
weixin_xiao5kou4chang6kai4的博客
09-09 84
在众多机器学习方法中，XGBoost以其卓越的预测精度、对非线性和交互作用的天然刻画能力、对中小样本数据的良好适应性，以及SHAP等配套解释框架带来的机制解析能力，已成为生态、地学、环境、农业等领域高水平论文中应用最广泛的算法之一。课程不做概念宣讲，而是以真实研究流程为主线——从研究问题界定、多源数据整合、模型构建与调优、结果解释，到论文图表与文字表达——通过五类高频生态地学案例的完整实操，帮助学员把机器学习真正用进自己的课题中，形成可复现、可解释、可发表的研究成果。
数学建模国赛倒计时 1 天 ——《机器学习精讲（决策树理论篇）》
统计学小王子的博客
09-09 166
决策树 = 一张流程图 + 一套规则。解释给评委听，用决策树；追求精度，用随机森林。两者不冲突，可以先用决策树解释变量关系，再用随机森林提高精度。
AI机器学习与深度学习学习资源合集
最新发布
a777511471的博客
09-11 50
大家好，今天想和大家分享一下关于AI机器学习与深度学习的学习心得。很多人觉得AI的学习曲线很陡峭，但其实只要掌握了核心概念，入门并没有想象中那么难。从最初的图灵测试到现代的深度学习，AI经历了三次重大浪潮。第二次浪潮引入机器学习，让机器从数据中学习；第三次浪潮则通过深度学习实现了真正的突破，让机器能够自动提取特征并完成复杂任务。机器学习是AI的核心，主要分为三种范式： 1. 监督学习：需要标注数据，擅长分类和回归任务，如图像识别和房价预测。2. 无监督学习：无需标注，擅长发现数据中的隐藏模式。
统计学中的六大估计方法：从最大似然到核密度估计的本质理解
qq_51352578的博客
09-08 250
<think>我们只需要根据内容生成摘要，控制在150字以内。先理解文章主题：介绍统计学中六种估计方法（MLE、MAP、LSE、BLUE、贝叶斯估计、KDE）的核心思想、数学形式及区别。摘要需概括主要内容和本质。 写一个简短的摘要，不超过150字中文。先草稿： 本文介绍统计学中六种基本估计方法：最大似然估计、最大后验估计、最小二乘估计、最优线性无偏估计、贝叶斯估计和核密度估计。它们基于不同推断哲学：MLE只依赖数据最大化似然；MAP加入先验；LSE最小化误差平方；BLUE寻找线性无偏方差最小；贝叶斯估计输出
机器学习1导学：算法分类、建模流程、特征工程、模型拟合
2401_87118211的博客
09-09 38
找西瓜，
机器学习在信贷风控建模中的优势和挑战
qq_42865713的博客
09-11 82
目前该方法应用于页面埋点动作的特征提取，将点击和浏览动作看作词，用户完整周期内的所有动作行为组成了段落和文章，再使用 word2vec 方法，将用户的点击浏览行为隐含表征为一定维度的向量，再将向量作为用户的特征输入 xgboost 进行建模，单个特征有 1-2 个 ks 点的提升，效果还是不错的。2）数万维的特征，数十万参数的模型。互联网金融中资质较差的客群基本没有资质数据以及合规的信贷数据， 虽然有一定的消费数据但是该类数据大多掌握在巨头电商平台手中，所以所能获取到的就是开放度高的互联网行为类数据。
72 量子比特跑真实道路图像，量子机器学习进入“硬仗”
Qforepost的博客
09-07 411
72 量子比特的意义在于，量子机器学习的一道问题正在被改写。近日，量子软件与算法公司 BlueQubit 与本田在北美的前沿研发机构——本田美国研究院（Honda Research Institute USA）合作，把量子图像加载与分类实验推进到了此前少见的规模，部分模型在真实量子硬件上的测试准确率超过 90%。随着量子处理器继续增加量子比特数量、提高门保真度和连接能力，量子模型能否获得经典方法难以复制的表达能力，能否以更少的可训练参数完成某些任务，又能否形成不同的特征空间几何结构，当前仍然需要继续验证。
【机器学习笔记】
2301_76821799的博客
09-10 181
信息存在于数据的相对大小中的数据同时加上/减上/乘上/除去一个常量，信息不变数据预处理，没有改变信息本身，但是对后面模型的训练/收敛有帮助以0为中心，以1为标准差的数据。
【机器学习】从机理建模到数据学习：机器学习究竟替代了什么
2402_86234774的博客
09-11 303
本文以单关节机械臂为例，说明机器学习并不是把控制理论、物理规律和安全约束全部换成黑箱，而是在摩擦、负载、温漂、间隙等因素使精确机理模型难以完整描述时，用历史数据学习输入与输出之间的映射或模型残差。文章分析失配来源、数据任务、时序样本的时间关系与故障标签，以及训练集和线上工况不一致带来的分布偏移。最后给出“机理模型打底、数据模型补偿、安全边界兜底”的混合方案，并提出离线评估、影子运行、受限接入和持续监控的落地路径。机器学习替代的不是工程责任，而仅是部分难以手工写出的经验映射；当数据失去可信性或超出覆盖范围时，
从机器学习谈起
sheep404的博客
09-09 174
本文以通俗易懂的方式介绍机器学习，通过“等人”故事引出其核心思想——基于数据归纳规律。文章系统阐述了机器学习的定义、方法（如回归、神经网络、SVM）、应用（如语音识别、图像处理）及与大数据、深度学习、人工智能的关系。强调机器学习是模拟人类经验归纳的过程，具有广泛前景，尤其在自动驾驶、推荐系统等领域表现突出。作者呼吁将高深技术落地于实际场景，推动技术普惠。
AI大模型与数学 第75课 基、维度、向量空间坐标
2601_96546232的博客 专注数学与电子科学及工程技术分享交流。
09-11 412
这三个概念，是线性代数的「终极落地工具」，也是AI词向量、特征空间、模型降维、OPT空间梯度理论的底层地基。3. 多余特征大概率线性相关，造成维度冗余、空间信息重叠，模型拟合噪声，引发过拟合、计算冗余。同样是二维平面，为什么有的10个向量撑不起新维度，有的2个向量就能铺满整个空间？这两个向量斜着交叉，线性无关，也能组合出平面所有点，也是一组合格的二维基。除了横竖标准基，任意两个不共线、不重合的向量，都是二维空间的合法基。特征矩阵维度混乱、基向量冗余，无效维度太多，模型记住噪声而非真实规律。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值