定義と代表的な指標 (Cohen's d)
効果量とは、統計的に検出された差や関連の「大きさ」を標準化して示す指標である。 最も広く使われる Cohen's d は、2 群の平均値の差をプールされた標準偏差で 割った値であり、d = 0.2 が小さい効果、d = 0.5 が中程度、d = 0.8 が 大きい効果の目安とされる。相関係数 r やオッズ比も効果量の一種であり、 研究の文脈に応じて適切な指標を選択する。効果量はサンプルサイズに 依存しないため、異なる研究間の結果を比較するメタ分析の基盤となる。
p 値との違い
p 値は「帰無仮説が正しい場合に、観測されたデータ以上に極端な結果が 得られる確率」であり、差の有無を判定する指標にすぎない。 サンプルサイズが十分に大きければ、実質的に無意味な微小な差でも 統計的に有意 (p < 0.05) になりうる。
効果量はこの限界を補い、「差がどれだけ大きいか」を定量化する。 p 値が「差があるか否か」を答えるのに対し、効果量は 「その差に実用的な意味があるか」を判断する材料を提供する。 両者を併記することが、現代の統計報告の標準的な作法である。
「統計的に有意だが実質的に無意味」な例
10 万人規模の調査で「サプリメント X を摂取した群は血圧が 0.5mmHg 低い (p = 0.01)」という結果が出たとする。統計的には有意だが、 0.5mmHg の差は臨床的にほぼ無意味であり、効果量は極めて小さい。 大規模データを扱うランキングや国際比較でも同様の問題が生じる。 80 億人を母集団とすれば、わずかな差でも統計的有意性は容易に達成されるが、 その差が個人の生活に影響するかは効果量で判断すべきである。
ランキング差の実質的意味の評価
MyRank で「上位 45%」と「上位 50%」の差は統計的には明確だが、 実質的にどれほどの意味があるだろうか。効果量の考え方を応用すれば、 ランキングの 5 パーセンタイル差が生活実感や健康アウトカムに どの程度影響するかを冷静に評価できる。年収で 5 パーセンタイルの差は 月数万円の違いかもしれないし、BMI で 5 パーセンタイルの差は 1kg 未満の違いかもしれない。順位の数字に一喜一憂する前に、 その差の実質的な大きさを問う習慣が、データリテラシーの核心である。