百亿级数据处理优化

关注

VIP免费原创最新推荐文章于 2026-09-12 14:07:43 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

Hive JSON解析函数源码级真相：银弹还是性能陷阱？百亿级嵌套数据处理指南倔强青铜：无脑，跑批时祈祷不要OOM永恒钻石json_tuple+预处理，查询如德芙般丝滑超凡大师：源码魔改，让JSON解析快到服务器怀疑人生最强王者：切Spark+预处理，直接掀桌换赛道。阅读详情

最近在做大数据处理时，遇到两个大表 join 导致数据处理太慢（甚至算不出来）的问题。我们的数仓基于阿里的 ODPS，它与 Hive 类似，所以这篇文章也适用于使用 Hive 优化。处理优化问题，一般是先指定一些常用的优化参数，但是当设置参数仍然不奏效的时候，我们就要结合具体的业务，在 SQL 上做优化了。为了不增加大家的阅读负担，我会简化这篇文章的业务描述。

问题

这是一个离线数据处理的问题。在这个业务中有两张表，表结构及说明如下：

user_article_tb 表：

字段解释：
uid: 用户标识，itemid：文章id，dur: 阅读文章时长，如果大于 0 代表阅读了文章，等于 0 代表没有点击文章 
dt：天分区，每天 55 亿条记录

user_profile_tb 表：

字段解释：
uid：用户标识，gender：性别，F 代表女，M 代表男，age:年龄，city：城市
dt：天分区字段，这是一张总表，每天存储全量用户画像属性，最新数据十亿级别

需求是这样的：计算 7 天中，女性用户在每篇文章上的 ctr （最终会按照降序进行截断）。直接写 SQL 很容易，如下：

select 
　　itemid
　　, count(if(dur > 0, 1, null)) / count(1) ctr
from
　　(
    　　select uid, itemid, dur
    　　from u

最低0.47元/天解锁文章

标签

#大数据 #hive

日均百亿级日志处理：微博基于Flink的实时计算平台建设本文作者简介吕永卫，微博广告资深数据开发工程师，实时数据项目组负责人。黄鹏，微博广告实时数据开发工程师，负责法拉第实验平台数据开发、实时数据关联平台、实时算法特征数据计算、实时数据仓库、实时数据清洗组件开发工作。林发明，微博广告资深数据开发工程师，负责算法实时特征数据计算、实时数据关联平台、实时数据仓库、FlinkStream组件开发工作。崔泽峰，微博广告资深数据开发工程师，负责实... 阅读详情

百亿级数据处理优化

问题

相关推荐