刑務所からSQLiteをゼロから書き直す男。1日16時間独学からデータベース企業Tursoのエンジニアへ。

こんにちは。エンジニアの直也です。

YouTube「直也テック」でプログラミング教育、Webセキュリティ動画を作っています。

獄中にいながらデータベース企業Tursoのシニアエンジニアとして働き、SQLiteをゼロから書き直すプロジェクトに深く関わっている人物がいます。名前はプレストン・ソープさん。この記事ではポッドキャスト「Database School」での彼へのインタビュー動画を元に、彼がどのように刑務所の中で人生を立て直しプログラミングを身につけたのか、そしてTursoが取り組むSQLite再実装の中身がどのようなものかを動画の流れに沿って紹介します。

刑務所から働くシニアエンジニア

動画はホストのアーロンさんによる紹介から始まります。今回のゲストはデータベース企業Tursoのシニアエンジニアであるプレストン・ソープさん。彼は現在も刑務所に収監されたままリモートで本格的なエンジニアリングの仕事をこなしている、という非常に珍しい経歴の持ち主です。

ホストは、プレストンさんが収監中に人生を立て直し、データベースについて学べることをほぼすべて学び、リモートの仕事を勝ち取ったことに触れます。そのうえで、まず彼の人生の物語を聞き、その後Tursoが進めているSQLiteのRust版書き換えと、その過程で直面した課題について深掘りしていく、という構成が示されます。

刑務所でプログラミングを独学した経緯

自己紹介に続いて、プレストンさんがどこから通話しているかという話題になります。彼は「マウンテンビューにいる」と答えますが、それは人々が想像するシリコンバレーのマウンテンビューではなく、メイン州チャールストンにあるマウンテンビュー矯正施設のことでした。

彼は非暴力犯罪で収監されており、その状態のままフルタイムのシニアエンジニアとして会社に意味のある成果を出しています。ホストはこの点を「信じられない」と驚きます。

プレストンさんは、刑務所の中で人生を変えるのがいかに難しいかを語ります。内面的に変わったと感じても、それを現実の行動で示す手段がほとんどなく、外にいる大切な人たちに変化を証明することもできない。そうした環境の中で、実際に何かを成し遂げる機会を得られたことが、自分の変化を明確に示してくれたと話します。

人生を立て直すまでの転機

ホストが収監期間を尋ねると、プレストンさんは2017年5月から収監されており、すでに8年半が経っていると答えます。2022年半ばに大学のプログラムに登録し、ちょうどその学期から初めてノートパソコンとある程度のインターネットアクセスが許可されました。

それ以前の彼は金融に強い関心を持ち、デイトレードを自分の「出口」にしようと考えていました。しかしノートパソコンを手にし、当時まだ4年ほど刑期が残っている状況で、ある気づきが訪れます。高校時代にLAMPやPerlといった環境で多少プログラミングをしていた経験を思い出し、「1日16時間を何年も学習に費やせる人間がどれだけいるだろうか」と考えたのです。

彼はテックの世界では立派な学位よりも「実力があるかどうか」が最終的に物を言うと考え、その日からこれを自分の道にすると決意します。そして1日16時間の学習を続けた結果、約8か月でUnlock Labsという会社に最初の職を得ました。

最初の仕事、Unlock Labs

Unlock Labsは、少年時代に終身刑を宣告され、その後出所した元受刑者らが共同設立した会社で、収監中の学習者向けの教育ソフトウェアを開発しています。プレストンさんはここで急速に頭角を現し、一時は7人のチームを率い、採用や面接も担当。最終的にはプリンシパルエンジニアとしてインフラを構築し、コードベースのほぼすべてを書いたといいます。

その間も彼は空き時間にオープンソースへの貢献を続けていました。もともと低レベルのシステム寄りの領域に強い関心があり、Rustはプログラミングをやり直す中で2、3番目に学んだ言語だったそうです。

TursoとSQLite書き換えとの出会い

昨年の10月から11月頃、彼はGitHubでフォローしていたTursoのCTOであるペッカさんの動きから、当時「Limbo」というコードネームで呼ばれていたリポジトリの存在を知ります。コードを見た彼は、まだ非常に初期段階で「自分でも手を出せる低い位置の果実（lowhanging fruit）がたくさんある」と気づきました。

そこから彼はデータベースとSQLiteに没頭します。カーネギーメロン大学のアンディ・パブロ氏のデータベース講義をすべて視聴し、多くの学術論文や『Database Internals』を読み込みました。Discordコミュニティでも活発に活動するうち、TursoのCEOであるグラウバーさんから声がかかります。

興味深いことに、プレストンさんの「刑務所にいる」という事情はGitHub上では公開されていたものの、コミュニティ活動の中ではなかなか話題に上らなかったといいます。グラウバーさんとは数か月かけて親しくなり、ある日「今日からうちで働いてほしい」と誘われました。当時すでに別の仕事を持っていた彼は、約1か月間2つの仕事を掛け持ちしてチームを引き継ぎ、5月からTursoでフルタイムで働き始めました。

リモートワークが許可された経緯

ホストは、収監中にリモートワークができるのは一般的なのかを尋ねます。プレストンさんは、特に当時はまったく一般的ではなかったと答えます。ノートパソコンが導入された最初の学期であり、就労が認められる「種」がまかれ始めた段階で、彼は方針として明文化される前に、刑務所長レベル以上の明示的な許可を得て働けるようになった最初の数人のうちの1人でした。

ノートパソコンの導入には多くの問題も伴いました。彼は高校時代からのコンピュータ好きで、ネットワーク管理などで施設側を実際に助けられるだけの知識を持っており、管理者との信頼関係を築いていきました。Windows 10のロックされた環境でコンパイラ一つ入れるのにも手続きが必要な中、「この子はプログラミング以外に何もしない」と認識されたことが、就労許可につながったといいます。

ここで、Tursoという名前の整理も行われます。「Limbo」はSQLite書き換えの公開コードネームで、その書き換えが現在の「Turso」、ホスティング版が「Turso Cloud」。CEOがグラウバーさん、CTOがペッカさんです。

TursoでプレストンさんDeveloperが担当する領域

プレストンさんはTursoで「多くの帽子をかぶっている」と表現します。担当してきたのは拡張機能ライブラリ（Rustでは珍しいランタイムでの拡張ロードに対応）、Goドライバのバインディング、io_uringを使った非同期IOバックエンドなどです。さらにライトアヘッドログの大部分を書き、トランザクション分離、ページキャッシュ、クエリプランの変換まで手がけてきました。

彼が「自分の天敵」と呼ぶのがB+ツリーで、コードベースの中で唯一どうしても自分に合わない部分だと語ります。一方で最も楽しいのは自分が「システム屋」「パフォーマンス好き」であることからIOレイヤだといい、io_uringを「過小評価されている素晴らしい技術」と評します。

なぜ並行書き込みが重要なのか

この書き換えの動機は、SQLiteに欠けていてかつ追加される見込みのない機能を足すことにあります。具体的には並行書き込み、暗号化、そしてライブなマテリアライズドビューなどです。SQLiteはオープンソースではあるものの外部からの貢献を受け付けていないため、Tursoはゼロから書き直す道を選びました。動画の収録時点で、Tursoは正式にベータ版がリリースされたタイミングでした。

プレストンさんが最も興奮している機能として挙げたのが並行書き込みです。

SQLiteは多数の同時読み取りはできても、書き込みは一度に一つしかできません。これまでの定番の答えは「WALモードを有効にすれば十分速い」というものでしたが、その先がなかったとホストは整理します。

Tursoはどのように並行書き込みを実装したか

プレストンさんはまず、SQLiteのWAL（ライトアヘッドログ）の独特な仕様を説明します。SQLiteのWALフレームは、変更されたタプルが乗っているページ全体を1フレームとして扱います。つまり1行だけ更新する単純なステートメントでも、そのページ全体がログに追記されるのです。

ホストはこれをリスナー向けに噛み砕きます。WALモードでは複数のファイルが作られ、一定のチェックポイントで内容が本体のSQLiteファイルに書き戻される。SQLiteファイルは「ページ」という塊に分かれており、1ページには多数の行が入る。だから1行の更新でもそのページ全体がWALにコピーされ、同じページの別の行を更新すれば、また同じページ丸ごとが末尾に追記される、というわけです。プレストンさんはこれを「その通り。ぐちゃぐちゃでしょう」と認めます。

さらにWALには複数プロセス対応のためのインデックスファイル（共有メモリ）や、トランザクション分離の仕組みも組み込まれています。ログは単なる耐久性のためのものではなく、トランザクション分離とも密接に絡み合っています。もともと直列化を前提に作られたこの仕組みの上に並行書き込みを載せるのは非常に困難でした。

このMVCCのプロジェクトはおよそ8か月続いており、ベータ前に大きく推し進められたものの、まだ本番利用は推奨されない段階だと彼は強調します。ホストは「使うなと言われると、人はまず本番で使おうとするものだ」と冗談を交えつつ釘を刺しました。

SQLiteとの互換性を保つ

Tursoはバニラ（通常）のSQLiteファイルを開けるようにしているだけでなく、その逆──Tursoで使ったファイルを再びSQLiteで開けること──も保証しています。これは決定論的シミュレーションテストによって、オーバーフローページなどSQLite特有の挙動まで含めて検証されています。

その過程で見つかった面白い例として、ちょうど1ギガバイトの位置に当たるページがSQLiteでは使われずに破棄される、という仕様があります。エンジニアのニキータさんがSQLiteのコードベースを調べたところ、そのページは無視されていました。

1ギガバイトちょうどの挿入でデータベースが壊れる原因が数日間わからず、結局このページが使われないことが原因だったといいます。ホストは「30年間、念のためと書いて置きっぱなしにしたのかもね」と笑いました。

MVCCをかみくだいて理解する

続いてMVCCの仕組みが平易に説明されます。物理的なログ（バイト列とオフセット・長さ）と、行として意味を持つ論理ログがあり、メモリ上にはデータベースの表現とトランザクションが存在します。各トランザクションには固有のIDと、ナノ秒単位のタイムスタンプが付き、どちらが先に起きたかを判定します。

それぞれのトランザクションは、自分が始まった時点を基準にした適切な変更を含む独立したバージョンを持ち、これがトランザクション分離を実現します。一方、従来のWALモードでは、リーダーが「最大フレーム番号」を持ち、ページを要求するとログがその番号以下のフレームを返す、というより単純な仕組みです。

ホストは、SQLiteの厳密なファイルフォーマットを保ちながら、この追加情報をどこに置くのかを尋ねます。プレストンさんによれば、WALジャーナルモードを使えばSQLiteの機能の範囲内では完全な後方互換性が保たれ、論理ログは将来的にWALへチェックポイントする計画だといいます。これにより、触れたページの数だけフレームを持てばよくなり、先ほどの「ページ丸ごとコピー問題」を緩和できます。

つまりTursoには、標準のSQLiteファイル・共有メモリファイル・WALファイルに加えて、MVCCを可能にする別のログが存在します。ただし共有メモリファイルはまだ実装されておらず、マルチプロセス対応は今後の課題です。

並行書き込みの具体的な性能数値については、プレストンさんは「その場で適当なことは言いたくない」と前置きしつつ、有望なベンチマークは出ていると述べるにとどめました。あわせて、データベースはIOバウンドなソフトウェアであり、クエリプランの最適化が最も重要で、かつ最も難しい部分だと語ります。

彼自身、数日かけてページキャッシュを書き直し2桁パーセントの性能改善を得たものの、その後ペッカさんがさらに改良したというエピソードも紹介され、「まだ低い位置の果実がたくさんある、ハックしていてとても楽しいコードベースだ」とオープンソースへの貢献を呼びかけました。

ライブなマテリアライズドビューの実装

次の話題は「ライブビュー」、すなわちリアルタイムに更新されるマテリアライズドビューです。通常、ビューを更新するには裏側の高価なクエリをすべて再実行して作り直す必要がありますが、Tursoの実装は「インクリメンタルな計算」によって全体を作り直さずに済ませます。

これに取り組んだのは、なんとCEOのグラウバーさんでした。ホストは「CEOにまだコードを書かせているのか」と驚き、グラウバーさんが8000行規模のPRを出していたことに触れます。この実装はある学術論文に基づいています。会話の中では、MITで生まれた研究プロジェクト「Noria」や、それを実装した「ReadySet」「PlanetScale」などの名前が挙がります。

そして探した末に論文名が判明します。

DBSPは「Database Stream Processor」の略です。この機能の動機は、SQLiteの従来のビューが抱える性能問題にあり、ビュー更新のメンテナンスコストを減らすためのものだと説明されます。Tursoはこの論文からジョイン・フィルタ・集約・マージといった演算子を実装済みで、再帰的CTEはまだ未対応とのことです。

Syncとオフライン対応

ローンチ週に発表された他の機能として、Sync（同期）、WASMによるブラウザ上でのTurso、データベースの暗号化があります。中でも近年注目を集めているのがSyncエンジンです。

現在SyncはTurso Cloud経由でベータ提供されており、Turso CloudはlibSQL上で動いています。仕組みとしては、クライアントとサーバーの間でWALフレームをプッシュ・プルし合うことで状態を同期します。

オフラインで書き込み、オンライン時にWALフレームを送って遠隔のデータベースを更新する、という使い方が想定されています。ブラウザ上ではOPFS上で動くパッケージとして、エンジニアのニキータさんがほぼ一人で機能を担当しているそうです。

今後の計画としては、特定のテーブルだけを同期する「部分同期（partial sync）」が挙げられます。WALフレームは単なるバイト列なので、現状では「このテーブルだけ同期する」という指定ができないためです。また、行レベルの変更を内部テーブルに記録するCDC（変更データキャプチャ）はすでに実装されており、クライアントとサーバー間の競合解決を容易にします。

ホストが、2つのクライアントがTurso Cloudのデータベースを真実の源（source of truth）として同期する構図を確認すると、プレストンさんは概ねその通りだと答え、各SQLiteファイルのレプリカを持ち、常時接続を維持していなくても状態を最新に保てるのが狙いだと説明します。

ここでlibSQLについても整理されます。libSQLはTursoが最初に試みた「より良いSQLite」で、SQLiteのフォークでした。将来SQLite本家が機能を取り込みたくなった時にマージできるよう互換性を保つ方針でしたが、課題が多すぎてゼロからの書き換えに踏み切ったのです。今すべてを自分たちでコントロールできているのは、その決断の結果だといいます。

変更データキャプチャと将来の可能性

CDCに関連して、ホストは「特定のレコードを購読し、変更があるたびにサーバーサイドでイベントを発火させる」ような機能が可能かと尋ねます。プレストンさんは、その正確な機能は今すぐには使えないものの、必要な配管（plumbing）はすべて揃っていると答え、これこそがすべてをゼロから書く利点だと語ります。

彼は自分が書いた拡張機能ライブラリを例に挙げます。カラムに型を定義しておくと、そのカラムへの挿入・更新・削除のたびに任意のコードが呼び出される、という拡張APIを実装したことがあるそうです。「デフォルト値」の代わりに「このライブラリを呼ぶ」と指定できるようなイメージで、SQLiteでは難しい内部へのフックが可能になります。彼は「この機能を復活させたくなった」と楽しそうに語りました。

外部キーの実装とファズテスト

締めくくりに向けて、ホストは外部キーの実装の苦労を尋ねます。Tursoには決定論的シミュレーションテスターがあり、実行中にパニックやSQLiteと異なる出力が出ると自動でGitHub Issueを作成してくれます。さらにプレストンさんは最近、ある種のファズテストの大ファンになったと語ります。

TursoとSQLiteの両方にデータベースを作り、同じ乱数シードで大量の入力を浴びせ、結果や状態が一致するかを確認する手法です。彼は「このファズテストを付けなかった機能はすべて後悔している」と言うほどで、膨大なエッジケースが見つかるといいます。

外部キーの実装は、その大部分がトランスレータ（emitter）の中の作業でした。SQLiteはバイトコードの仮想マシン（VDBE、仮想データベースエンジン）を使っており、ステートメントはバイトコードに変換されて、ラベルとともにインタープリタのように実行されます。約5000行のPRはほぼすべてこのエミッタの中の作業で、競合の数を数えるカウンタや、その値をチェックしてラベルへジャンプするオペコードを発行する、といった内容だったそうです。

SQLiteの仮想マシンを作り直す

ホストは、TursoがVDBEまで再実装している点を「入出力さえ同じなら作り直す必要はなかったのでは」と素朴に問います。プレストンさんは、目指す互換性のレベルを考えればそうせざるを得なかったと答えます。

SQLiteで`EXPLAIN`を実行すればバイトコードが見え、レジスタの値もわかるため、頭の中でデコードして「ここはこう発行すればいい」と把握できます。仮にここを根本から変えてしまうと、せっかくのSQLiteという参照材料を活かせなくなる、とホストも納得します。

SQLiteコードベースの癖

ホストは、SQLiteのソースコードを読むことが人生で最大級の頭痛の種だと言われる理由を尋ねます。プレストンさんはまず、「Tursoの社員ほどのSQLite好きはいない」と前置きします。クラウドの本番環境では他のデータベースを一切使わず、内部サービスもすべてSQLiteで動いているそうです。

そのうえでコードベースについては、非常に意見の強い（opinionated）スタイルで、3、4人だけで書かれており、独特のコーディングスタイルを持つと評します。C99ですらなくANSI Cに近いといいます。

ホストは「頭痛の種だと言った直後に読めと勧めるのは、セールストークとしてどうなのか」と笑いつつ、「ゼロから再実装しようとしなければ、そこまで頭は痛くならないはず」とまとめました。

出所と今後の予定

最後に、Tursoの未来と彼自身の今後が語られます。Tursoについては、ベータリリースと、その周りに育ちつつあるオープンソースコミュニティに大きな期待を寄せています。

データベースを常に書いているわけでない人でも貢献できる場所がたくさんあるとして、Discordへの参加を呼びかけました。

自身については、本当は1年前に出所しているはずだったと明かします。模範的な行動による刑期短縮を得ようとしているものの認められず、現時点では出所は5月の見込みです。さらに、有罪となった刑期は2024年に終わっており、今服役しているのは2013年のマリファナに関する罪だと語ります。

彼はミシガン州に住む両親の家の向かいに、すでに家を買っているそうです。出所後もTursoで働き続ける予定で、前職では空き時間にハックしていた「お気に入りのサイドプロジェクト」を仕事にできるのは信じられないほどありがたいことだと話します。

感謝とふり返り

オンラインでのフォロー先として、彼はGitHubと、自分では運用していないX（旧Twitter）のアカウント、そしてブログ（pthorp92.dev）を挙げます。彼の2本のブログ記事のうち1本は、かつてHacker Newsのトップに数日間掲載されました。また、人気ポッドキャスト「My First Million」でも、3つの注目すべきストーリーの1つとして彼が紹介されていたことが明かされます。

ホストは、同じ状況に置かれてこれほどの方向転換を成し遂げられる人はほとんどいないとして、彼の物語の力強さと彼自身を誇りに思うと伝えます。プレストンさんは、最終的に得られたものは当初の期待をはるかに上回るものだったと感謝を述べます。

そして、ここまでうまくいくとは想像もできなかったと語り、深い感謝とともにインタビューは幕を閉じます。

視聴者の反応

この動画には多くの視聴者から反響が寄せられました。プレストンさんを直接知る人からは、彼のエンジニアとしての実力と人柄を讃える声が上がっています。

物語の感動を率直に表すコメントも目立ちました。

技術者としての彼の深さを評価する声もありました。

一方で、エンジニアらしいユーモアたっぷりの反応も多く見られました。

また、彼の収監期間がもうわずかであることに触れ、出所が近いことを話題にするコメントもありました。

結び

この動画は、刑務所という極めて限られた環境の中で1日16時間の独学を続け、独学からおよそ8か月で最初の職を得て、現在はSQLiteをゼロから書き直すデータベース企業Tursoのシニアエンジニアとして働くプレストン・ソープさんの軌跡をたどるものでした。前半では彼が人生を立て直すまでの転機やリモートワークが許可された経緯が語られ、後半ではSQLiteの直列化された書き込みをMVCCで並行化する取り組み、SQLiteとの互換性維持、DBSP論文に基づくライブなマテリアライズドビュー、Syncやオフライン対応、外部キーの実装とファズテスト、そしてSQLiteの仮想マシンやコードベースの癖まで、データベース内部の話題が幅広く展開されました。技術的な深さと、一人の人物の再起の物語が同時に詰まったインタビューとなっています。

以上です。ではまた。