AI検索評価 ⑩ 引用​一貫​性​（Citation Consistency）​— 先週と​今週で​同じ​ドメインを​引用しているか

引用​一貫​性とは、​同じ​クエリに​対して​AI検索エンジンが​週を​またいで​同じ​ドメインを​引用し続けるか​どうかを、​Jaccard類似度​（＝2つの​集合の​重複度を​表す指標）で​測る​指標である。​ランキングの​変動の​激しさを​捉え、​施策効果を​検証するのに​必要な​観測週数の​目安を​与える。

定義と​計算式

• 一貫性 ＝ ​「第N週の​引用ドメイン」と​「第N+1週の​引用ドメイン」の​共通部​分 ÷ 両者の​和集合​（Jaccard類似度）。
• クエリごとに​計算した​値を​平均する。​エンジン×クエリ単位の​内訳も​分析する。
• 時系列に​延長する​場合は、​週次の​Jaccard値の​系列を​作り、​その​分散を​観察する。

なぜ重要か

• ビジネス観点では、​一貫性が​高い​ほど​安定した​SERP​（検索結果​ページ）に​近い​挙動に​なり、​施策効果を​読みやすい。
• 一貫性が​低いと​ノイズが​大きく、​ドメインの​変動を​実際の​施策に​帰属させにくくなる。
• 学術的な​根拠は​再検査​信頼性​（test-retest reliability、​Cohen 1988年）であり、​Krippendorffの​α​（＝評価者間の​一致度を​測る​指標）で​補完できる。
• エンジンの​検索方​針が​安定した​特性​（trait）なのか、​変動する​状態​（state）なのかを​判断する​材料に​なる。

計算例​（仮想シナリオ：77問×2週）

• ChatGPT Search：0.78 —— 高い​安定性。
• Copilot：0.71。Gemini：0.65。
• AI Overview：0.42 —— 先週引用した​ドメインの​約60%が​今週は​入れ替わる。
• AI Overviewに​ついて​施策効果を​検証するには、​分散を​補正する​ため連続4週以上の​データが​必要に​なる。

AIサーチプロジェクトでの​活用

• 日次の​縦断トラッキング​（＝同一対象を​継続して​追跡する​調査手法）の​全ク​エリを​対象に、​週次で​集計する。
• エンジン×意図カテゴリ×週で​集計し、​変動トレンドの​チャートと​して​可視化する。
• C2​「情報源​信頼性バイアス」の​時間的​安定性の​側面を​構成する。
• エンジンの​検索ポリシーが​traitか​stateかを​区別する​指標と​しても​使う。

スコア0.42は​週ごとに​60%の​ドメインが​入れ替わる​ことを​意味し、​AI Overviewの​施策効果を​評価するには​最低4週の​連続データが​必要に​なる。