信頼度のメタ調査

調査結果の信頼度測る直感的な方法は、既に有効性が観察された調査を再現し、有効性が同程度であることを確認するという手法である。一般的に調査結果は偽陽性の許容率は5%(95%の信頼度)である事を想定して下されるものである。言い換えれば、調査が再現された場合 、再現ケースのうち5%は有効であるとの結果は下されないということである。

近年、一般的な調査結果の信頼度をテストするため、いくつものメタ調査が社会科学分野の調査プロジェクトを再現してきた。これらのメタ調査は査読された主要な学術誌から実験的調査を選択している。なぜならこれらのタイプの実験は綿密に計画され、注意深く実行されているからである。

調査結果に信頼度(偽陽性率5%)があるということは、出版された元の調査と同程度の有効性を示す事に失敗した再現調査プロジェクトが5%以下でなければならないという事である。しかし実際は、有効性を示す事に失敗したプロジェクトの割合は24%から70%もあり、平均で45%を示している。つまり、事実上の偽陽性率45%は期待されている偽陽性率5%の9倍も高いのである。