天井効果・床効果
一言でいえば：テスト項目が「全員正解（天井）」または「全員不正解（床）」に張り付き、参加者間の差を測れなくなる現象である。
なぜ問題か
たとえば6つのAI検索エンジンに「日本の首都はどこか」と尋ねると、全エンジンが100%正解する。これでは弁別できない。どのエンジンが正答率で優れているかを判断できないのである。逆に「XX社の2026年第3四半期の売上はいくらか」と尋ね、全エンジンが答えられなければ、これもまた弁別できない。
天井・床に張り付いた項目は、テストとしての情報量がゼロである。除外するかフラグを立てる必要がある。
検出の目安
正答率（p）を見る。
- p ≈ 1.0 → 天井効果（易しすぎる）。
- p ≈ 0.0 → 床効果（難しすぎる）。
- p = 0.4〜0.6 の項目が最も情報量が多い。
IRT（項目反応理論 ＝ 項目の難易度と識別力を推定する統計モデル）では、識別力パラメータ（「a」）も同時に見て、弁別できない項目をさらに絞り込む。
AI検索評価での位置づけ
③ 正確性スコア（Accuracy score）の信頼性を担保する条件は次のとおりである。
- フェーズB-2で query-set-v1.json の600問について難易度分布を実測する。
- p ≈ 1 または p ≈ 0 の項目は集計から除外するかフラグを立てる、または設問を再設計する。
- DoDカテゴリC-3（難易度分布／IRT）は合格判定の前提条件である。
具体例
77問の事実静的質問を実測した仮想シナリオである。
- p = 1.0：12問（易しすぎる）→ 天井効果による除外候補。
- p = 0.0：3問（難しすぎる）→ 床効果による除外候補。
- p = 0.4〜0.6：28問 → 情報量が最大。メイン指標として使用。
77問のうち15問が天井または床に張り付いた場合、比較に使える有効集合は62問になる。その後、必要サンプルサイズの計算をやり直す必要がある。
関連概念
- Cohen's d：効果量（＝差の大きさを表す指標）。天井・床では、d を計算する前に分散がほぼゼロに近づいてしまう。
- ノモロジカルネットワーク：妥当性（＝構成概念妥当性。測定がその概念を本当に捉えているかどうか）の上位概念。難易度設計はその下位にある信頼性の問題である。
出典・参考
- 書籍「Statistical Power Analysis for the Behavioral Sciences (2nd ed.)」— Jacob Cohen（Lawrence Erlbaum、1988年）
- 書籍「Item Response Theory: Principles and Applications」— Hambleton, Swaminathan, Rogers（Springer、1991年）
- 資料「DoD Framework v1.0」C-3の観点 — GMO ai-search docs/dod-framework-v1-2026-05-28.md