摘要:回顾 Postgres 与 Ingres 的创立历程及技术差异,批判 Oracle 早期商业策略及 Google MapReduce 的技术缺陷。深入探讨“一刀切”数据库系统的局限性,指出 LLM 在复杂 Text-to-SQL 场景下的低准确率现状,并介绍基于数据库构建操作系统的 DBOS 项目及其在 Agent AI 中的应用前景。
本文内容整理自一档围绕数据库技术与计算机科学展开的播客访谈。访谈嘉宾为图灵奖得主、Ingres 与 Postgres 创始人 Michael Stonebraker,围绕数据库系统发展史、行业竞争、LLM 与数据库、DBOS 以及技术人才培养等话题展开讨论。以下内容在保留核心技术观点的基础上进行整理与优化。
1. 数据库系统起源与演变
1.1 Ingres 的诞生与商业化
- 背景:1971 年,在导师 Gene Wong 建议下,Stonebraker 开始研究 Ted Codd 的关系型数据库理论,以替代当时复杂的 CODASYL 和 IBM IMS 系统 。
- 学术成果:Ingres 作为 Berkeley 的学术项目于 1972 年启动,旨在支持地理信息系统(GIS),并于 1976 年帮助 Stonebraker 获得终身教职 。
- 商业化转折:由于 Unix 缺乏 COBOL 支持,Ingres 难以进入大型企业市场。1980 年成立 Relational Technology Inc.,将 Ingres 移植至 VMS 操作系统,开启商业化进程 。
1.2 Postgres 的创新与定位
- 核心痛点:Ingres 无法高效支持 GIS 所需的复杂数据类型(如点、线、多边形),且日期时间处理硬编码,无法满足金融债券等特殊日历需求 。
- 技术突破:Postgres 引入了可扩展类型系统,允许用户自定义高效的数据类型,并支持继承和时间旅行(后移除) 。
- 市场地位:Oracle 收购 MySQL 后,Postgres 成为首选开源关系型数据库 。Stonebraker 认为 Postgres 适合低端通用场景,但在大规模数据仓库和高并发事务中并非最优解 。
2. 行业竞争与技术批判
2.1 对 Oracle 的评价
- 商业手段:Stonebraker 批评 Larry Ellison 采用误导性销售策略,承诺未实现的功能(如参照完整性),让客户参与调试 。
- 技术对比:早期 Ingres 在技术上优于 Oracle,但 Oracle 凭借强大的销售能力占据市场 。
2.2 对 Google 技术路线的质疑
- MapReduce 与 Hadoop:Stonebraker 认为 Hadoop 效率极低,分布式数据库系统在性能上可大幅超越 Hadoop 。
- 最终一致性(Eventual Consistency):批评 Google 早期推崇的最终一致性模型,指出其在金融等需要强一致性的场景中会导致数据错误(如库存超卖)。Google 后期通过 Spanner 回归传统事务系统,放弃了 MapReduce 和最终一致性 。
- 合作尝试:Stonebraker 团队曾试图与 Google 合作改进其数据库技术,但被拒绝 。
2.3 对 Amazon 的建议
- 产品冗余:指出 Amazon 支持过多数据库系统(约 15 种),建议精简至 3 种左右,淘汰非高性能或非主流市场的系统 。
3. 前沿技术探讨
3.1 “一刀切”数据库的局限性
- 观点:单一架构无法满足所有场景。列存、流处理、行存储在特定场景下性能相差一个数量级 。
- 现状:Postgres 缺乏列存和多节点支持,在大型数据仓库场景中不具备竞争力 。
3.2 GPU 在数据库中的应用
- 挑战:GPU 的 SIMD 架构不适合索引操作(如 B-Tree 查找),因为索引依赖串行内存访问,难以并行化 。
- 瓶颈:CPU 与 GPU 之间的带宽往往成为性能瓶颈 。
3.3 LLM 与 Text-to-SQL 的现状
- 基准测试表现:在 Spider 和 Bird 等标准基准测试中,LLM 准确率约 80%-85%;但在真实世界数据仓库基准(Beaver)中,准确率仅为 0%-10%,即使提供 Schema 信息也仅提升至 35% 。
- 失败原因:
- 训练数据缺失:真实数据仓库数据不在 LLM 训练集(The Pile)中 。
- 复杂性差异:真实查询更复杂(100+行 SQL vs 10-20 行) 。
- Schema 混乱:真实环境中表名/列名不规范,存在冗余物化视图 。
- 解决方案:建议将非结构化数据转化为表格形式,利用传统查询优化器进行 Join 操作,而非依赖 LLM 直接生成复杂 SQL 。
3.4 DBOS 项目:数据库驱动的操作系统
- 理念:用数据库系统替换操作系统的上半部分(调度、状态管理等),利用数据库的事务性、持久性和高可用性 。
- 进展:成立 DBOS Inc.,提供支持 TypeScript/Java/Go/Python 的工作流系统,确保微服务调用的原子性和持久性 。
- 应用场景:特别适用于 GenAI Agent 的读写操作,确保多步工作流的事务一致性 。
- 优势:文件系统性能优于 Linux,调度引擎具备竞争力,且天然支持高可用 。
4. 职业发展与建议
-
招聘标准:通过深入询问技术细节(如硕士论文实现、错误处理、进程/线程选择)快速识别候选人是否聪明 。
-
行业展望:计算机科学可能不再是高增长行业,建议年轻人考虑医疗或建筑行业等更稳定的领域 。
-
个人建议:
- 避免随大流,选择具有挑战性且非主流的研究方向 。
- 追随激情而非单纯追求金钱,虽然激情不一定带来巨额财富,但能带来更高的职业满意度 。
-
学习资源:推荐《Readings in Database Systems》(红皮书)及经典数据库文献 。
原文链接:https://www.youtube.com/watch?v=YPObBOwIrHk

152

被折叠的 条评论
为什么被折叠?



