計測の再現性
同じ質問を測り直すと、結果はどれだけ一致するのか
AIの回答は毎回同じではありません。では、どれくらい違うのか。ここには、当社が毎日同じ文面で投げている固定の質問の実測を、都合の良し悪しに関わらずそのまま置いています。数字が足りないところは「足りない」と書きます。
何を測っているか
同じ質問文をChatGPT（Web検索あり）へ日を変えて投げ、回答に名前が挙がったブランドを取り出します。時系列で隣り合う2回を1組として、上位3件の顔ぶれがどれだけ一致したかを数えます。質問文は当社が定義した固定文だけを使います（来訪者が入力した質問はここには含めません）。
率を公開する基準
一致率（％）は、質問5問以上・連続する組が30組以上たまってから公開します。それ未満で率を出すと、1組増えただけで数字の桁が動き、精度の主張として使えないからです。基準を満たした時点でこのページに自動で数字が出ます。人が「出す・出さない」を判断する余地は置いていません。
現在の標本と結果
- 再測定できている質問数
- 3
- 計測の延べ回数
- 46
- 連続する組（再測定の回数）
- 41
対象期間: 2026/07/18 〜 2026/09/05（JST）
現時点では一致率を公開していません
上の標本は、率を公開する基準（質問5問・連続30組）に届いていません。基準未達のまま率を出すことはしません。代わりに、いま何を何回測って、上位の顔ぶれが何組で一致したかという観測そのものを下に出します。
観測（質問ごと）
「完全一致」は上位3件の顔ぶれが前回とまったく同じだった組数、「一部一致」は1件以上重なった組数です。率ではなく件数です。
| 質問 | 計測回数 | 組 | 完全一致 | 一部一致 |
|---|---|---|---|---|
| 「渋谷でおすすめの社労士事務所を教えて」2026/07/18 – 2026/09/05 | 21 | 20 | 1 / 20 | 14 / 20 |
| 「渋谷でおすすめの税理士事務所を教えて」2026/08/10 – 2026/09/05 | 13 | 12 | 2 / 12 | 8 / 12 |
| 「渋谷でおすすめの司法書士・弁護士事務所を教えて」2026/08/10 – 2026/09/05 | 10 | 9 | 0 / 9 | 3 / 9 |
| 「小ロット対応の金属加工メーカーを教えて」2026/07/19 – 2026/07/19 | 1 | 0 | — | — |
| 「表参道で評判の良い美容室を教えて」2026/08/26 – 2026/08/26 | 1 | 0 | — | — |
まだ測っていないこと
- ブランド検出の取りこぼし率（回答に名前が出ているのに拾えなかった割合）
- 誤検出率（別のものをブランド名として拾ってしまった割合）
- 別名・表記ゆれの解決率（「株式会社◯◯」と「◯◯」を同じ会社として扱えた割合）
いずれも、人が正解を付けた検証用データを作らないと出せない数字です。まだ作っていないので、推定値も置きません。測れるようになったらこのページに出します。
自社の質問で確かめる
再現性の幅も含めて、実際に自社の質問で測ってみるのが一番早い確認方法です。登録もクレジットカードも要りません。