11. Doris 系列第 11 篇：查询加速核心精讲｜四层技术体系全覆盖，从底层 IO 到建模优化落地

适合人群：大数据开发、Doris调优工程师、数仓建模师、OLAP运维&架构
核心价值：吃透Doris存储/计算/优化器/建模四层加速架构，掌握全链路调优手段，搞定大表慢查、报表超时、高并发延迟等核心痛点
系列说明：本文是Doris进阶第11篇，承接上篇查询语法，聚焦企业级全维度查询加速体系，基于Doris 2.x最新架构，纯生产落地干货，看完直接套用优化方案

一、开篇核心：Doris查询加速，是四层架构的协同胜利

Apache Doris 的查询加速从来不是单点优化，而是存储层、计算层、优化器层、建模层四大维度深度协同的工程体系：

• 存储层：靠分区、索引、编码压缩，把磁盘IO压到最低；
• 计算层：靠向量化、MPP、多级缓存，把CPU资源拉满；
• 优化器层：靠RBO/CBO/自动改写，选出最优执行路径；
• 建模层：靠物化视图、宽表预计算，提前固化高频聚合结果。

🔑 终极落地心法（牢记）：
让数据尽可能少移动，让计算尽可能贴近数据

所有调优、建模、加索引，最终都围绕这一句话落地。

二、查询加速全景：五层协同加速架构

Doris加速不是零散技巧，是标准化分层体系：

1. 数据物理裁剪（分区/分桶）→ 先筛掉90%无效数据
2. 索引快速过滤（多级索引）→ 再跳过无关数据页
3. 编码压缩优化 → 减少磁盘读取体积
4. 计算引擎提效（向量化/MPP/缓存）→ 压榨CPU性能
5. 建模预计算（物化视图/宽表）→ 直接读现成结果

✅ 核心原则：在离数据最近的地方尽早过滤，越早过滤，后续IO、内存、网络开销越小。

三、存储层加速：极致降低磁盘IO（基础核心）

3.1 分区&分桶裁剪：第一道数据过滤器

分区裁剪（Partition Pruning）

• 依托 RANGE/LIST 时间分区（dt/event_date），按查询时间范围直接跳过无关分区
• 落地效果：常规业务可跳过90%+无关数据文件
• 生产规范：
  • 必用时间字段做主分区；
  • 单分区物理数据严控 ≤100GB，避免大分区拖慢扫描。

分桶裁剪（Bucket Pruning）

• 查询带分桶键等值条件（user_id/order_id），可精准定位单个/少量Tablet
• 示例：WHERE user_id = 12345 → 仅扫描 总桶数分之一的数据
• 关键配置：分桶数建议 = BE节点数 × 10，防止Tablet过多碎片、过少压力集中

3.2 多级索引体系：Doris自研提速王牌

💡 生产索引配置口诀：

• 时间字段放Sort Key第一位，优先走Shortkey+ZoneMap；
• 高基数唯一ID：必加BloomFilter（误判率0.01~0.05）；
• 固定维度枚举：全量表加Bitmap；
• 日志文本检索：2.0+启用倒排索引，杜绝模糊查拖慢。

3.3 编码&压缩：物理体积砍半，IO直接减负

1. BIT_SHUFFLE位混洗编码（数值列默认）
   位重组+LZ4压缩，存储占比降30%，扫描速度提升15%
2. DICT_ENCODING字典编码（低基数字符串）
   城市/渠道等固定维度，压缩率最高可达90%+
3. RLE重复值压缩
   布尔字段、分区冗余字段、高度重复标识列专属优化

✅ 整体收益：同等硬件带宽下，磁盘IO压力直接降低2~5倍。

四、计算层加速：榨干CPU性能，最大化算力

4.1 向量化执行引擎（Vectorized）

• 核心逻辑：以Chunk块（1024行）批量按列计算，调用CPU SIMD指令（AVX2/AVX-512）
• 覆盖算子：扫描、过滤、投影、聚合、Join探测全链路向量化
• 对比优势：
  • 行式：逐行判断，频繁分支预测，CPU空转多；
  • 向量化：千行并行运算，无多余分支，算力拉满。
• 实测收益：常规聚合查询吞吐提升3~10倍（对标TPC-H基准）

4.2 MPP分布式并行 + Pipeline流水线

• MPP架构：多BE节点并行扫描本地Tablet，严格保证数据本地化，减少跨节点搬运
• Pipeline引擎（2.0+核心升级）：算子链异步流水线执行，IO等待与计算重叠
• 落地效果：CPU整体利用率提升30%+，高并发点查P99延迟直接砍半

4.3 多级缓存：热数据常驻内存，杜绝重复读盘

🔧 调优实操：热数据业务可将 page_cache_limit 上调至80%，最大化内存缓存利用率。

五、优化器层加速：智能选最优执行计划

5.1 RBO规则优化（基础必生效）

内置固定优化规则，无需人工干预：

• Join重排：自动把小表前置，优先触发Broadcast广播Join；
• 谓词/列裁剪下推：过滤、只查必要字段，越早过滤数据越少；
• 聚合下推：预聚合减少Shuffle传输数据量。

5.2 CBO代价优化（2.0+强化进阶）

• 依赖统计表信息：行数、NDV唯一值、最值分布

-- 大表定期采集统计信息，支撑CBO精准算代价
ANALYZE TABLE sales;

• 核心能力：综合CPU、IO、网络三方成本，动态规划选出最优Join顺序
  💡 强制规范：十亿级大表，必须定时执行ANALYZE更新统计信息。

5.3 自动查询改写（透明无感加速）

优化器自动完成三大改写，业务零改造：

1. 匹配物化视图，直接路由预聚合结果；
2. IN子查询自动转Semi Join，规避嵌套慢查；
3. 派生表、子查询自动下推谓词，提前过滤无效数据。

🔍 诊断技巧：执行EXPLAIN看计划，识别是否命中MV、是否完成谓词下推。

六、建模层加速：提前预计算，查即所得

6.1 双模式物化视图（核心大招）

① 同步Rollup（强一致、极致快）

-- 单表固定维度预聚合，写入同步更新
ALTER TABLE logs ADD ROLLUP r1 (dt, city, SUM(pv), COUNT(uv));

• 优势：写时固化聚合，查询直接读结果，零计算；
• 适配：日报/周报等固定维度高频报表。

② 异步物化视图（灵活复杂）

-- 支持多表Join、复杂表达式、跨Catalog
CREATE MATERIALIZED VIEW mv_sales_total
REFRESH EVERY(INTERVAL 10 MINUTE)
AS SELECT city, SUM(revenue) FROM sales GROUP BY city;

• 优势：搞定星型模型多表关联、复杂ETL逻辑；
• 适配：多维分析、跨表汇总、非实时复杂报表。

✅ 实测碾压：十亿行大表聚合，从8秒压缩至0.3秒。

6.2 宽表VS星型模型：选型直接决定速度

🚀 Doris官方最优打法：
宽表打底 + Rollup加速；复杂星型场景，用异步MV预Join固化关联结果

6.3 数据类型&SQL细节优化（低成本高收益）

• 杜绝运行时隐式转换：时间存DATE不存字符串，金额用DECIMAL不用DOUBLE；
• 函数禁止阻断下推：
  ❌ WHERE DATE(dt) = '2025-03-04'（无法走索引裁剪）
  ✅ WHERE dt = '2025-03-04'（直接命中ZoneMap/分区）

七、高阶专属加速技术（疑难慢查绝杀）

1. Colocation协同定位Join
   同分桶键、同分区策略、同协组团，数据天然在同一BE，彻底消灭Shuffle，Join提速5~10倍

PROPERTIES("colocate_with" = "group1");

2. Bucket Shuffle桶级Shuffle
   不满足协同定位时，仅Shuffle缺失桶数据，网络流量减少50%+，折中提效

3. 延迟物化Late Materialization
   先过滤再读取需要的字段，宽表少量列查询时，大幅节省内存带宽与IO

八、全场景调优CheckList（上线自查一键落地）

九、经典业务场景标准化加速方案

场景1：十亿行用户行为实时分析

• 建模：全量明细宽表
• 分区：按天/小时精细分区
• Sort Key：event_time + user_id
• 索引：行为类型Bitmap、用户ID BloomFilter
• 效果：常规筛选查询P99延迟＜200ms

场景2：星型模型多维销售报表

• 建模：事实表+多维度表
• 加速：新建异步MV预Join+预聚合
• 效果：复杂多表汇总报表，从15秒优化至1秒内

十、未来演进方向（Doris 3.x+前瞻）

1. 智能自动索引：基于查询日志AI推荐索引与MV；
2. AQE动态执行：运行时实时修正Join计划、重排聚合；
3. GPU异构加速：大聚合、复杂Join卸载至GPU算力；
4. 存算分离缓存：对象存储+缓存组件，冷数据低成本、热数据高性能；
5. LLVM编译执行：进一步砍掉解释执行开销，极限压榨CPU。