Spark SQL 全景学习：API → 内核 → 调优 → 实战

Spark SQL 全景学习：API → 内核 → 调优 → 实战

一、Spark SQL 基础：DataFrame & Dataset API

1. 什么是 DataFrame？

• DataFrame 是一个分布式的、带有模式（schema）的数据集合，可以类比为数据库中的二维表格。
• 优点：
  • 结构化数据的统一入口。
  • 支持多种数据源（CSV、JSON、Parquet、Hive、JDBC）。
  • 使用 Catalyst 优化器进行查询优化。

2. 什么是 Dataset？

• Dataset 在 DataFrame 的基础上增加了强类型支持。
• 优点：
  • 类型安全：编译期检查，避免运行时错误。
  • 依然具备 DataFrame 的优化优势。

3. DataFrame / Dataset 对比