効果量

定義と代表的な指標 (Cohen's d)

効果量とは、統計的に検出された差や関連の「大きさ」を標準化して示す指標である。 広く使われる Cohen's d は、 2 群の平均値の差をプールされた標準偏差で割った値である。 Cohen が示した慣習では、 d = 0.2 が小さい効果、d = 0.5 が中程度、d = 0.8 が大きい効果の目安として提案された。 ただし、どの程度を意味のある大きさとみなすかは分野によって異なる。 相関係数 r やオッズ比も効果量の一種であり、 研究の文脈に応じて適切な指標を選択する。 効果量はサンプルサイズに依存しないため、 異なる研究間の結果を比較するメタ分析の基盤となる。

p 値との違い

p 値は「帰無仮説が正しい場合に、観測されたデータ以上に極端な結果が 得られる確率」であり、差の有無を判定する指標にすぎない。 サンプルサイズが十分に大きければ、実質的に無意味な微小な差でも 統計的に有意 (p < 0.05) になりうる。

効果量はこの限界を補い、「差がどれだけ大きいか」を定量化する。 p 値が「差があるか否か」を答えるのに対し、効果量は 「その差に実用的な意味があるか」を判断する材料を提供する。 p 値と効果量を併せて報告することが推奨されている。

「統計的に有意だが実質的に無意味」な例

10 万人規模の調査で「サプリメント X を摂取した群は血圧が 0.5mmHg 低い (p = 0.01)」という結果が出たとする。統計的には有意だが、 0.5mmHg の差は臨床的にほぼ無意味であり、効果量は極めて小さい。 大規模データを扱うランキングや国際比較でも同様の問題が生じる。 80 億人を母集団とすれば、わずかな差でも統計的有意性は容易に達成されるが、 その差が個人の生活に影響するかは効果量で判断できる。

ランキング差の実質的意味の評価

MyRank で「上位 45%」と「上位 50%」の差は数値としては明確だが、 実質的にどれほどの意味があるだろうか。効果量の考え方を応用すれば、 ランキングの 5 パーセンタイル差が生活実感や健康アウトカムに どの程度影響するかを冷静に評価できる。年収で 5 パーセンタイルの差は 月数万円の違いかもしれないし、BMI で 5 パーセンタイルの差は 1kg 未満の違いかもしれない。順位の数字に一喜一憂する前に、 その差の実質的な大きさを問う習慣を持っておくと役に立つ。