バリアントクエリ設計 — 一要素だけを​変えて​効果を​分離する

バリアント​（variant＝変形版クエリ群）とは、​1つの​テンプレートから​1つの​スロット​（差し替え​可能な​項目）だけを​差し替えて​生成する​クエリセットの​ことである。​今回は​「地域名」だけを​変え、​業種と​意図を​固定したまま、​AI検索の​出力差を​地域と​いう​一要因に​帰属させる。

基本概念

• テンプレート＋スロット方​式：業種と​意図を​固定したまま​地域名だけを​入れ替える。
• 科学実験の​原則である​「独立変数​（＝実験で​操作する​要因）を​一つに​絞る」と​いう​考え方を、​自然言語処理の​評価に​適用した​ものである。
• 学術的な​系譜と​しては、​perturbation analysis​（摂動解析＝入力に​小さな​変化を​与えて​出力の​変化を​観察する​手法）、​invariance test​（​不変性検定）、​minimal pair​（最小対＝1点だけ異なる​比較対象の​ペア）に​連なる。

地域バリアントが​測定する​もの

• 地域感度​（regional sensitivity）​：地名を​変えるだけで、​引用される​ドメインや​ブランド言及率が​実際に​変化するか​どうかを​見る。
• ローカルブランド可視性：地域チェーン店が、​その​地域を​指すクエリで​のみ​言及されるか​どうかを​見る。
• 日本語ドメイン比率：​食べログ・ぐる​なびなどへの​依存度が、​東京と​地方​都市とで​異なるか​どうかを​見る。

106問の​構成​（gv001〜gv106）

• 6業種で​構成する​：飲食​（25問）​・​医療​（20問）​・​不動産​（20問）​・​旅行​（15問）​・​法律​（10問）​・​教育​（10問）。
• 都市バイアス​（＝大都市だけに​結果が​偏る​こと）を​避ける​ため、​政令指定都市・地方​中核市・観光地を​混在させている。
• n​（サンプル数）​=106は​探索的​（exploratory）な​位置づけであり、​主と​なる​600問の​補完的な​記述統計にとどまる。​仮説検定ではない。

注意点

• 地名ごとに​文字数や​母音の​数が​異なる​ため、​地域​その​ものの​効果と​表層的な​効果​（トークナイザ＝文章を​単語などの​単位に​分割する​処理の​挙動の​違い）を​完全に​は​分離できない。
• 主要都市のみを​対象と​している​ため、​農村部や​名前の​挙がっていない​地域への​一般化は​できない。
• 結果は​地域感度が​存在する​ことを​示唆する​記述統計にとどまり、​確証的な​仮説検証と​しては​不十分である。

この​設計が​示す要点は、​スロットを​一つだけ差し替え、​出力の​差分を​観察する​ことが、​AI検索測定に​おける​最小の​再現可能な​単位だと​いう​点である。