有意水準【significance level】
概要

統計的仮説検定では、観察されたデータの差や関連が「偶然によるものか、それとも真の効果があるのか」を判断する手続きが行われる。例えば、新薬と従来薬の効果を比較する実験で差が観察されたとしても、それが偶然のばらつきによる差なのか、真に意味のある差なのかはデータだけからは直ちに判断できない。有意水準はこの判断の基準となる閾値(境界)として用いられる。
検定の結果として得られる「p値」が有意水準を下回った場合、その結果は「統計的に有意である」と判定される。p値とは、帰無仮説(差がない、効果がないという前提)のもとで、観察されたデータと同等かそれ以上に極端な結果が偶然生じる確率を示す値である。有意水準を 0.05 に設定した場合、p値が 0.05 未満であれば、「このような結果が偶然起きる確率は5%未満であり、偶然とは考えにくい」という解釈のもとで帰無仮説が棄却される。
有意水準を低く設定するほど判定の基準は厳しくなり、誤って効果があると判断するリスクは減る。一方で、真の効果を見逃してしまうリスクは高まるというトレードオフが生じる。医薬品の承認審査や航空、原子力などの安全が厳しく問われる分野では 0.01 以下の有意水準が採用されることもあり、研究の目的やリスクの性質に応じて適切な値が選択される。
なお、有意水準はあくまで検定前にあらかじめ設定するものであり、結果を見てから都合よく変更することは統計的手続きの妥当性を損なうとされている。例えば、p値が 0.052 だったからといって「有意水準6%で帰無仮説は棄却された」という主張をしてはいけない。また、統計的有意性は結果が偶然ではないことを示唆しているだけで、その結果の実用的な重要性や効果の大きさを直接示すものではない点にも注意が必要である。