【数学よもやま話】「もしかして何か起こってる？」と感じたら、とりあえず相関係数とカイ二乗検定という話。

いつもの様に本文は全部無料。プロダクション・ノート部も当月無料のメンバーシップに加入してその月のうちに退会すれば無料で読めます。

SNSはウチ(味方)とソト(敵)しか認識しない党派性の権化みたいな一次元生物で満ちていますが、そんな走性に行動を支配された原生生物みたいな段階から脱却する有効手段の一つが以下。

「１次元生物」と「悪魔の挽臼」に挟まれた二項定理の世界

「人間に最も身近な数理」といわれる事もある二項定理ですが、上掲の1次元段階においては事実上「わたし(味方側)」と「あなた(敵側)」の２択しかなく、しかも「(FPS的)主体側の視野」には「あなた(敵側)」が写るのみ。

集合論的表現

$$
\begin{array}{ccc}(x)&\\\downarrow&-x\\()&\end{array}\begin{array}{ccc}(y)&\\\downarrow&-y\\()&\end{array}
$$

$$
\begin{array}{ccc}()&\\\downarrow&+x\\(x)&\end{array}\begin{array}{ccc}()&\\\downarrow&+y\\(y)&\end{array}
$$

偏微分的表現(積分的表現の双対)

$$
\begin{array}{ccc}&x&\\&\downarrow&\frac{d}{dx}x\\&1&\end{array}\begin{array}{ccc}&y&\\&\downarrow&\frac{d}{dy}y\\&1&\end{array}
$$

積分的表現(偏微分的表現の双対)

$$
\begin{array}{ccc}&1&\\&\downarrow&\int_0^x1dx\\&x&\end{array}\begin{array}{ccc}&1&\\&\downarrow&\int_0^y1dy\\&y&\end{array}
$$

これでは中身がどんな大人物だったとしてもまともな判断力が働く訳がないでしょう。うっかりすると以下の類に引っ掛かってしまう可能性もあり、到底安心できる状態とはいえません。

その一方で「カンブリア爆発期(5億4200万年前~5億3000万年前)に授かった視覚と視覚情報の末裔で考える」人類にとっては３次元以上の問題空間そのものが鬼門。５次元以上ともなると個々の次元の個性に配慮する余裕がなくなり「正規分布からの逆算」で考える事しか出来なくなってしまうのです。

• 標準分布(累積分布関数)

$$
F(x;μ,σ^2)=\frac{1}{2}(1+erf(\frac{x-μ}{\sqrt{2σ^2}}))
$$

$$
なお誤差関数erf(x)=\frac{2}{\sqrt{π}}\int_{-∞}^{+∞}e^{-x^2}dx
$$

• 正規分布(確率密度関数)

$$
f(x;μ,σ^2)=\frac{1}{\sqrt{2πσ^2}}e^{-\frac{(x-μ)^2}{2σ^2}}
$$

• 帰無仮説において棄却目標に掲げられてる様に「正規分布への回帰」とは「有意味性を消失してのホワイトガウスノイズ(正規乱数)への埋没」に他ならない。

かかる顛末の果てにパックリ大口を開けて待ち構えているのが「(個々の集合を峻別する意味自体が消失する)悪魔の挽臼」現象。上掲の「１次元生物化」を「前門の虎」とすれば、まさしく「後門の狼」なる塩梅という訳です。さらにはこれに飲まれた結果、一次元生物に成り果てるパターンも散見されたりする有様。

「おや？」と思ったら相関係数とカイ二条分布

かかる状態から人類を救い出してくれるのが数学、特に圏論あたという話になってくる訳ですが、いかんせん「(既存の発想の拘束から解放されての)数学的本質への到達」が第一目的なだけに、肝心な時に役立たない事も。

そういう時に「自分にとって何が幸せかは自分自身が決める」材料を提供してくれるのが「周囲の事象と自分の相関関係を測定してくれる」相関係数や「あらかじめ平均さえ分かっていれば、それより有意味に多かったり少なかったりする目安をくれる」カイ二乗検定あたりといった「使い古された統計ツール」という訳です。

別選択肢としての「相関係数の世界」

相関係数の計算式自体は以下。

$$
集合X_n \in [x_1,x_2,…,x_n,]と集合Y_n \in [y_1,y_2,…,y_n,]が与えられた時、
$$

$$
Xの平均\bar{X}=\frac{1}{n}\sum_{i=1}^n x_i,Yの平均\bar{Y}=分散\frac{1}{n}\sum_{i=1}^n y_i
$$

$$
Xの分散Var[X]=\frac{1}{n}\sum_{i=1}^n (x_i-\bar{X})^2,Yの分散\bar{Y}=\frac{1}{n}\sum_{i=1}^n (y_i-\bar{Y})^2
$$

$$
XとYの共分散Cov[X,Y]=\frac{1}{n}\sum_{i=1}^n (x_i-\bar{X}) (y_i-\bar{Y})
$$

$$
相関係数r[x,y]=\frac{Cov[X,Y]}{Var[X]Var[Y]}
$$

その動き、意外と直感的に捉ええるのが難しかったりして。ここでは幾何学的に俯瞰して捉えてみましょう。

$$
二次元：\cos(θ)i+\cos(φ+θ)j
$$

$$
(-π≦θ≦+π,0≦φ≦+π)
$$

$$
三次元：y=\cos(θ)i+\cos(φ+θ)j+\sin(φ+θ)k
$$

$$
(-π≦θ≦+π,0≦φ≦+π)
$$

• この相関係数が+１か-1に到達して選択肢が直線上にしかなくなったのが上掲の「１次元生物」状態(しかも実数直線と虚数円の交点しか考えないから事実上の1ビット思考)。この図が脳内に思い浮かべられる様になったら、少なくともその状態固定だけは回避出来てるという事に。

よく「大人になったら三角関数なんて使う機会がない」と言い張る人がいますが、こういう風に人間の生き様の根幹に関わる部分で顔を出す事もあるという訳なのです。

もう一つの選択肢としての「カイ二乗分布の世界」

様々な分野で相関係数同様「おや？」と思ったら最初に試す検定として知られています。

本格的運用を考えると高度かつ専門的領域に踏み込んでしまうので、今回は平均に対して「十分に小さい」「十分に多い」目安に使える早見表だけ提示するに留めましょう。以下の表は「ある期間内に平均N回観測される事象がM回観測されると①明らかに少ない(0.01%水準)②なんだか少ない(0.05%水準)③なんだか多い(95%水準)④明らかに多い」なる峻別基準を提供してくれます。普段の客の入りが分かってる店の店長に「今日は妙に客が多い(少ない)な。何かあった？」と考え始める契機を与えてくれる基準という訳です。店長やマネージャーやプロデューサの類でなくとも、この様な「日常性持続の確認/想定外事態の検出」を巡るアンテナを多方面に回らして置く事は、陰謀論やプロパガンダにロバストな認識環境構築に役立ちます。

• そもそも「5%水準」「1%水準」とは何ぞや？

• 本格的論文などでは「サンプル数」ではなく「サンプル・サイズ」で考え、その分だけ判定も厳しめとなる。とはいえ最初に「おや？」と思った時点では、そもそもサンプル・サイズはおろかサンプル・グループ設定に必要な情報もないのが普通なので、こうした早見表にもちゃんと使い所がある訳である。

この様な考え方をXで表明したところ「ケーキの切れない方々にとっては中々に厳しい枝払いですね」なる評価を頂いた事があります。実際「自分が正しいと思った(信じ込んだ)事はすべからく検証するまでもなく無条件に正しく、かつ常に圧倒的多数派の意見であると無条件に信じ込める方々」はこの話をすると「数字を弄して真実を誤魔化すな!!」などと怒り出して以降の対話の継続が困難になる事が多かったものです。

圏論における恒久性概念

圏論の世界に足を踏み入れるにつれ、そこでいう抽象化=普遍性の抽出とは、ただひたすら「(普遍的でない部分を忘却して)その拘束から解放されて自由になっていく」過程である事が分かってきました。

ただしここでいう「忘却」は不可逆的過程どころか「いつでも効率よく思い出せる様に整理しながらの忘却」だったりします。特にオブジェクト指向プログラミングとの兼ね合いでいうと「次に思い出した時はその内容が同機能を実現する別物に差し代わってる」「仕様変更によってどんどん変わっていく部分」なんて含みまで持たされているという…

ただ、その過程で二項定理やフーリエ変換などが本質的に備える「灰から灰へ」的諸行無常感(帰無仮説を棄却する形でその存在が認められ、かつ減衰の果てに最終的にはホワイトガウスノイズ(正規乱数)へと回帰する)が切り捨てられると気付いてちょっと考えに耽ってます。まぁ理論上、そうあらねばならののは分かるのですが…

今日知ったこと：「灰は灰に、塵は塵に」って聖書からじゃないんだね

そんな感じでとりあえず以下続報。

「本文=無料部分」はここまで。「こういう文章、どういう考えから生まれてくるの？」といったいう部分に興味がある方は是非続きをご覧になって下さい。文章量の関係で削除したトピックなども掲載されております。是非お手にとってお確かめ下さい。