仮説検定

仮説検定（hypothesis testing）とは、標本にもとづいて母集団の特徴の値に関する命題を検証する活動である、と思われる。命題を「検証する」とは曖昧な表現であるが、母集団全体が手元にあるのではないので「証明する」ことはできない。何かしらの方針で母集団の性質を推測し、「どうもこの命題は真（偽）のようだ、と判断する」ことしかできない。のでいつもこのような表現になっているはずである。なお、用語として検証する命題のことを「帰無仮説」といい、それを偽のようだと判断することを「帰無仮説を棄却する」というのは世間でよく目にする通りである。

形式的な定義

より形式的には、仮説検定とは手元の標本 $x$ が、標本空間の部分集合 $R \in \mathcal{X}$ に属するか属さないかを明らかにすることである。ただし、$R$ は以下のように定める。

母集団が何らかの確率分布族 $\mathcal{F}$ に属する確率分布であると仮定する[注釈1]。
母集団 $f \in \mathcal{F}$ の何らかの特徴（通常は「パラメータ」という） $\theta: \mathcal{F} \to \Theta$ を考える[注釈2]。
$\theta(f)$ が $\Theta$ のある部分集合に属するという命題 $H_0: \theta(f) \in \Theta_0$ を何かしら定める。
$H_0$ が真である下で得られる標本 $X$ が $R$ に属する確率が $\alpha$ 以下になるように $R$ を定める。

慣習的に $\alpha=0.05$ が採用されることが多い。つまり、$R$ とは、「$H_0$ が真であるならば 5% 以下の確率でしか起きないような事象」≒「$H_0$ が真であるならばふつうは起きなさそうな事象」である。

つまり、$R$ は $\mathcal{F}, \, \theta, \, \Theta_0,\,\alpha$ をどう定めるかに依存する。なお、$H_0$ のことを「帰無仮説」といい、$\alpha$ のことを「有意水準」といい、$R$ のことを「棄却域」といい、「手元の $x$ は $x \in R$ である」ということを「帰無仮説を棄却する」というのは世間でよく目にする通りである[注釈3]。

棄却域をどこにとるべきか――対立仮説

が、上記の定義は実際に $R$ を標本空間のどこにとるべきかについて何の手がかりも与えていない。というか、上の定義だと極端な話 $R$ は空集合でもよい。そうすると、帰無仮説が棄却されることが永久にない虚無な検定方式が完成する。

具体例

具体例 1.

標本 $X$ を「サイコロを振って 1 の目が出るかみる」という試行を 10 回繰り返した結果とする。この場合、各回の結果は「出た」か「出なかった」しかないので「10 回の試行のうち 1 の目が出た回数」に集約しても情報は失われない。集約したものを ${\rm sum}(X)$ とかくことにする。このとき以下の手順で棄却域 $R$ を定める。

「サイコロを振って1の目が出るかみるという試行結果」はベルヌーイ分布 ${\rm Ber}(p)$ から得られると考えて、母集団を ${\rm Ber}(p)$ とする。
ここで、$p$ が $1/6$ 以下であるという命題 $H_0: p \leqq 1/6$ を定めることにする。
$H_0$ が真のときにふつうは起きなさそうな $X$ を考えていく。今回の場合 ${\rm sum}(X)$ が二項分布 ${\rm Binom}(10, p)$ にしたがうことはわかりきっている。${\rm Binom}(10, 1/6)$ の累積分布関数は ${\rm cdf}(3) \fallingdotseq 0.93, \; {\rm cdf}(4) \fallingdotseq 0.98$ なので、$H_0$ が真のときの $p$ の最大値である $p=1/6$ のときであっても ${\rm sum}(X) > 4$ となる確率は $0.05$ を下回る。よって $R = \{ X \, | \, {\rm sum}(X) > 4 \}$ とできる。ので今回はそのままこの $R$ とする。

これで棄却域 $R$ は定まった。後は手元に得られている標本 $x$ が $R$ に属するか否か明らかにするだけである。もし $R$ に属するならば $H_0: p \leqq 1/6$ を棄却する。この状況を分析者の目的意識に即して表現すると、「1 の目が出た回数が 4 回を超えているので、1 の目が出る確率が $1/6$ 以下であるとは考えづらい」ということになる。

注釈

母集団には常にそのヒストグラムがつくる確率分布が自然に対応するが、ここでの「確率分布であると仮定する」は単に母集団を自然に対応する確率分布と同一視するにとどまるとは限らず、「日本人の身長の分布を連続的な正規分布と仮定する」といったような都合のよい押し付けをも含みうる。
分布のパラメータ（しばしば「母数」とも）というと、筆者はポアソン分布に対する期待値のような、確率（密度）関数に出てくる定数といった印象を受けるが、分布のパラメータといったときは一般に分布を特徴付ける量であるはずなので、「特徴」といった方がわかりやすいと思い、あえて「特徴」とかいた。しかし、例えばポアソン分布の期待値ではなく歪度をパラメータとしたいなら文字を置き換えるだけであり、何も本質的な話ではない、はずである。
通常、「『$H_0$ が正しくないと判断すること』を『帰無仮説を棄却する』という」と説明されると思う。「判断すること」というとヒューリスティックな意思決定であるような印象を受けるが、帰無仮説を棄却するまでは数学的手続きであるはずである。無論、$\mathcal{F}, \, \theta, \, \Theta_0,\,\alpha$ 及び検定方式はヒューリスティックに決めるわけだが、それらを決めた後にヒューリスティクスはないという意味である。どうでもよい。