バリアント（variant）— 同じ問いの「1要素だけ違う双子」を作る

一言定義: 同じテンプレートの問いに対して、1つの要素だけを入れ替えて作った問のセット。本ノートでは特に「地域名だけが違う店舗クエリ群」を指す。

なぜこの用語を整理するか

GMO AI検索ラボの ai-search プロジェクトでは、本体クエリセット (query-set-v1.json, 602問) とは別に、店舗ローカル検索の地域バリアント 106問 (gv001-gv106) を独立 ID 空間で管理している。「同じクエリを地域名だけ変えて並べた群」をなぜ別管理するか、その理屈を残しておく。

バリアントとは何か（概念）

科学実験の基本原則は「条件を1つだけ変える」こと（独立変数の単一化）。残りを固定して1つだけ動かせば、観測された差はその1要素の効果と帰属できる。

NLP / LLM 評価では、この発想を踏襲して template + slot でクエリを作る:

template: 「{地域} で {業種} を探しています。おすすめは？」
slot 地域: 渋谷 / 新宿 / 梅田 / 博多 / 札幌 / 仙台 ...
slot 業種: 居酒屋 (固定)

地域 slot だけ動かして生成された問の集合が 地域バリアント (regional variant)。本体600問が「業種×intent×factual性」の3次元設計なのに対し、バリアント群は「地域」1次元だけを動かす単純構造を持つ。

AI検索研究での意味 — 地域感応度を測る

地域バリアントで何が分かるか:

  • 地域感応度 (regional sensitivity): 同じ業種で地域名だけ変えたとき、引用ドメイン・回答長・ブランド言及率がどう変わるか。エンジンが「地域名を真面目に解釈して回答を変えているか」が見える
  • ローカルブランド可視性: 地域チェーン店が、その地域のクエリでだけブランド言及されるか（C3 Brand Visibility の地域内挙動）
  • 日本ドメイン比率の地域差: 地方都市ほど食べログ/ぐるなび依存度が上がるか、東京は公式 .jp が多いか等

本体600問では「業種×intent」交互作用を見るが、バリアント群では「地域×エンジン」交互作用を切り出して測れる。

本研究の106問構成

| 業種 | 問数 | 用途 | |---|---|---| | restaurant (飲食店) | 25 | 主軸。食べログ/ぐるなび偏重の地域差 | | medical (病院・クリニック) | 20 | EEAT 必須、公式 .jp が出るか | | real-estate (不動産) | 20 | SUUMO/HOMES 寡占度 | | travel (観光・宿泊) | 15 | じゃらん/楽天トラベル + 地域観光協会 | | legal (士業) | 10 | 弁護士.com 依存度 | | education (塾・スクール) | 10 | 地域 SEO の純度 | | 既存 (general 系) | 6 | 既存600問内のローカルテンプレ | | 合計 | 106 | id: gv001-gv106 |

関連する既存研究

  • SparkToro / Fishkin (2024) — Local AI Overview behavior。地域名入りクエリは AI Overview 出現率が有意に違うことを示した
  • Aggarwal et al. KDD 2024 (GEO) — クエリ次元の単変量変動を「impression lift」評価軸に組み込んでいる
  • Liang et al. TMLR 2023 (HELM) — perturbation 評価カテゴリで「1要素変動」が standard methodology として確立
  • Ribeiro et al. ACL 2020 (CheckList) — INV (invariance) テストの原型。「意味を変えない置換で出力が変わらないか」を測る発想

学術側の言葉では、バリアント設計は perturbation analysis / invariance test / minimal pair の家族に属する。

12指標との接続

地域バリアント群で重点的に見る指標:

  • ⑨ ブランド言及率: 地域チェーンが該当地域クエリでだけ拾われるか
  • ② ソース多様性: 地方ほど寡占（食べログ1強）になるか
  • ⑤ 日本ドメイン比率: 東京 vs 地方都市で .jp 比率が変動するか
  • ⑦ 引用重複率: エンジン間で「同じ食べログページ」を共有しているか
  • ⑫ DA相関: ローカル小規模サイトの DA が低くても拾われるケースがあるか

これらを「業種固定・地域可変」の条件下で見ると、本体600問では見えない局所構造が出る。

注意点

  • slot 以外を本当に固定できているか: 「渋谷」と「博多」では文字数も母音数も違う。これだけで tokenizer 挙動が変わる可能性があり、純粋な「地域効果」と「表層効果」を完全分離するのは難しい
  • 地域選定バイアス: 大都市 (東京23区) ばかり選ぶと「都市バイアス」が混入。今回は政令市 + 地方中核市 + 観光地を意図的に混ぜている
  • n=106 は探索用: 確証的検定 (H1-H6) には足りない。あくまで本体600問の補完で、地域感応度の存在を示唆する記述統計用

参考・引用元

  • ドキュメント: 「query-set-v1.json (602問)」— GMO ai-search data/query-set-v1.json
  • ドキュメント: 「地域バリアント gv001-gv106 設計」— GMO ai-search data/variants/regional-v1.json
  • 論文: 「GEO: Generative Engine Optimization」— Aggarwal et al., KDD 2024
  • 論文: 「Holistic Evaluation of Language Models (HELM)」— Liang et al., TMLR 2023
  • 論文: 「Beyond Accuracy: Behavioral Testing of NLP Models with CheckList」— Ribeiro et al., ACL 2020 (Best Paper)
  • レポート: SparkToro (2024). Local AI Overview Behavior.
  • 会話: 仁紀（中村）との「バリアントとは？」TIL 化依頼（2026-05-31）

2026-05-31 作成。本体12指標シリーズの方法論補足ノート。AI検索の地域感応度を測る独立設計の理屈整理。

関連ノート