RAG-分块策略

原创 已于 2025-04-19 23:11:34 修改 · 1.2k 阅读 · 8
于 2025-04-18 19:36:05 首次发布

分块策略在检索增强生成（RAG）方法中起着至关重要的作用，它使文档能够被划分为可管理的部分，同时保持上下文。每种方法都有其特定的优势，适用于特定的用例。将大型数据文件拆分为更易于管理的段是提高LLM应用效率的最关键步骤之一。目标是向LLM提供完成特定任务所需的确切信息，不多也不少。

什么是分块

分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。

分块技术及其策略

策略名称 描述 优点 缺点 实施建议

固定长度分块

将文本按预定义长度（如基于令牌或字符）分割，适合简单文档或快速处理。

简单性、统一性、效率

上下文丢失、相关性问题、潜在信息丢失

选择合适大小，考虑使用重叠窗口以保持上下文

基于句子的分块

按句子边界分割，确保每个块是完整的思想，适合短响应如客户查询。

保持上下文、易于实现、更好的可读性

块大小不一致、不适合长句、控制力弱

使用NLP库检测句子，必要时合并短句

段落分块

将文档按段落分割，每个段落通常包含完整想法或主题，适合结构化文档
标签
#人工智能 #深度学习 #RAG
最低0.47元/天 解锁文章
RAG专栏：分块策略
m0_37145844的博客
03-26 1343
文档数据（Documents）经过解析后，通过分块技术将信息内容划分为适当大小的文档片段（chunks），从而使 RAG 系统能够高效处理和精准检索这些片段信息。分块的本质在于依据一定逻辑或语义原则，将较长文本拆解为更小的单元。分块策略有多种，各有侧重，选择适合特定场景的分块策略是提升 RAG 系统召回率的关键。
LLM的 RAG 分块（Chunking）策略
日常学习与专研的记录
12-13 3032
本文介绍LLM的 RAG 分块（Chunking）策略
如何评估 RAG 的分块Chunking策略
AI人工智能的学习之路
06-02 1583
本文探讨了如何为RAG（检索增强生成模型）项目选择最佳分块策略。作者指出，尽管许多人认为更好的模型或大上下文窗口可以取代分块策略，但分块技术依然重要且不可或缺。为了挑选合适的分块策略，作者建议先对文档进行抽样，然后创建测试问题集，接着使用RAGAS框架进行评估。通过可视化评估结果，包括性能排名、分块分布与性能、指标雷达图以及处理时间分解，可以更直观地比较不同分块策略的优劣，从而为具体应用选择最适合的策略。
RAG——RAG 索引（分块策略）
最新发布
小志的博客
03-08 781
本文介绍了RAG系统中的关键分块技术及其策略选择。分块技术通过将文档拆分为适当大小的片段，直接影响检索和生成质量。文章详细分析了6种分块策略：固定大小分块（基准方法）、重叠分块（保留上下文）、递归分块（按语义单元分割）、文档特定分块（针对格式）、语义分块（NLP技术）和混合分块（综合优势）。每种策略各有适用场景和局限性，需根据文档特点和查询需求选择。最后指出LangChain提供了对应实现方法，便于开发者集成使用。合理选择分块策略对提升RAG系统性能至关重要。
RAG的五种分块策略
m0_59235245的博客
07-13 759
RAG 是将附加文档存储为嵌入向量，将传入的查询计算向量与这些向量进行匹配，并将最相似的信息与查询一起提供给LLM的过程。
大模型RAG中的分块策略（一）什么是分块？分块技术及其策略
Androiddddd的博客
02-24 1851
分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。
图解AI：RAG分块策略
2401_84494441的博客
06-22 826
RAG作为大模型入门级的应用，在处理策略上要比写提示语好落地的很多。刚刚经历了一个AI落地大项目的上线，提示语写了将近5000字。比起写提示语我还是更愿意写crud。步入今天的正题聊聊 RAG 里的五种分块策略！
RAG的5种分块策略
qq_43644023的博客
07-23 983
摘要： 文本分块（Chunking）是大模型处理长文本的关键步骤，需根据需求选择合适策略。固定大小分块简单高效但可能破坏语义；语义分块基于标点或嵌入相似度保持语义连贯；递归分块分层切分，兼顾结构与大小；基于文档结构的分块利用标题、段落等逻辑单元，最大化保留原义。无通用最优策略，需结合文本类型（松散/结构化）、任务需求（检索/生成）及计算资源综合选择。例如，RAG系统优先语义分块，而快速原型可采用固定分块。
RAG基础分块策略分析
Xxxx_jc_zust的博客
10-14 978
知识库设计是RAG系统的核心基础，直接影响检索精度和生成质量。文章分析了五种分块策略：固定大小分块简单高效但语义割裂；结构化分块保持语义连贯但依赖文档结构；递归分块通过多层切割平衡语义与长度；语义相似度分块基于内容关联聚类，效果最优但实现复杂；基于大模型的分块能识别隐性语义边界但成本较高。不同策略各有优劣，需根据文本特性（结构化程度、主题分布）和业务需求（精度要求、资源限制）灵活选择。优质分块应同时满足语义完整性和长度可控性，为RAG系统提供高质量的知识单元。
告别粗暴切分：入门 RAG 文本分块，从策略到优化
m0_59235245的博客
04-23 2077
检索增强生成（RAG）的性能在很大程度上取决于其检索模块的质量，而文本分块（Chunking）是决定检索质量的关键前置步骤。粗暴或不恰当的分块会导致信息丢失、上下文割裂、检索效率低下等问题，严重影响 RAG 系统的最终表现。本文系统性地探讨了文本分块的核心目标与挑战，从克服上下文窗口限制、提高检索精度、维护上下文完整性等角度阐述了其重要性。接着，详细介绍了固定大小、基于句子、递归字符、基于文档结构等基础分块策略，并给出了结合 Markdown 文档结构的混合分块策略的 Python 实现。
【RAG实战】一文搞懂RAG五大分块策略
m0_66287144的博客
08-04 717
本文深入探讨了RAG（检索增强生成）中的五大分块策略，强调分块是提升检索效果的关键环节。文章首先介绍了RAG基本流程和分块的重要性，指出分块需平衡长度限制与语义相关性。随后详细解析了五种分块方法：固定大小分块（按token数量切分）、语义分块（基于内容连贯性）、递归分块（结合分隔符与长度）、文档结构分块（利用文本层级）以及基于LLM的分块（效果优但成本高）。最后强调实践中需灵活组合策略，才能优化检索精度与生成质量。全文为理解RAG分块技术提供了清晰框架。
大模型——RAG中的分块策略
03-12 2308
分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。
RAG分块策略全解析+ LlamaIndex代码演示
2501_92069919的博客
05-25 1068
本文深入解析了RAG（检索增强生成）技术中的五种文档分块策略： 固定大小分块：简单高效但可能破坏语义完整性 语义分块：基于内容相关性划分，保持语义连贯性 递归分块：分层处理文档结构，兼顾灵活性与语义保持 基于文档结构分块：利用文档固有逻辑结构划分 LLM分块：借助大模型智能判断最佳分割点 文章通过LlamaIndex代码演示了各策略的实现方法，并对比分析了RAGFlow/Dify等框架的分块实践。作者建议企业根据具体需求选择分块策略：简单项目可选用集成框架，需深度定制则建议基于LlamaIndex自建方案，
大模型RAG中的分块策略
jennycisp的博客
04-15 990
分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。
【速通RAG实战：索引】5.RAG分块策略与Embedding技术
2025博客之星Top81。专注AI工程化与架构实战。从分布式思维到模型部署，用工程化视角为你厘清AI落地的真实路径。
05-08 2213
分块策略：根据文档类型选择策略（固定分块为基线，语义分块为最优）。嵌入模型：参考 MTEB 榜单，结合业务场景测试模型性能。代码仓库Gitee项目。
RAG系统中的五种文档分块策略：原理详解-全面对比-最佳实践（固定大小分块、语义分块、递归分块、文档结构分块、LLM大模型分块）
09-01 1594
RAG系统中的文档分块策略直接影响检索效果和生成质量。本文详解五种分块方法：1）固定大小分块：简单高效但可能截断语义；2）语义分块：基于句子相似度保持语义连贯；3）递归分块：多层级处理复杂文档；4）文档结构分块：利用标题段落等结构化信息；5）LLM分块：利用大模型智能划分。每种策略都配有实现代码和优缺点分析，帮助开发者在实际项目中根据文档特性和应用场景选择合适的分块方法，优化RAG系统性能。
【RAG】11种Chunking Strategies分块策略介绍和选择
m0_63887085的博客
05-11 1313
1. 固定长度分块（Fixed-Length Chunking）将文本按照预定义的长度（例如，字符数或Token数量）分割成块。简单易实现，chunk大小均匀，易于索引。可能破坏句子或段落的完整性，导致上下文丢失。简单文档、FAQ，或对处理速度要求高的场景。选择合适的chunk大小，可以结合滑动窗口机制缓解上下文丢失问题。2. 基于句子的分块（Sentence-Based Chunking）以句子为单位分割文本。保持句子完整性，易于实现（借助NLP工具）。
大模型系列——RAG中的分块策略
2401_84052244的博客
03-11 8587
分块涉及将文本划分为可管理的单元或“块”，以实现高效处理。这种分割对于语义搜索、信息检索和生成式 AI 应用等任务至关重要。每个块都保留上下文和语义完整性，以确保结果连贯。
RAG优化： Indexing — 分块策略
qq_55852905的博客
07-27 799
所谓分块是指将大型的、非结构化的数据（如长文本、文档）切分成更小的、有意义的、独立单元的过程。今天，我们会从简单到复杂，依次讲解以下五种具体的分块策略。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程的大耳朵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值