UITruthを実際のプロダクト開発で使ってみた話 ― LeverageOS開発者によるレビュー

確かめたかったこと

LeverageOSという名前は、他にも同名・類似名のサービスが存在します（後述）。「LeverageOSとは何ですか？繰り返し作業を型にして残すツールとしてどう使えますか？」という、見込み客が生成AIに聞きそうな質問文を一つ用意し、UITruthでChatGPTの実際の回答を取得しました。

最初の計測でわかったこと

• 回答内の名前：「LeverageOS」という名前自体は出現した（3回言及）
• エンティティ同定：出ていない。ChatGPTは「同名の複数プロジェクトがある」とし、leverageos.devのサービスだと確信を持って紐づけてはいなかった
• 引用元：leverageos.devではなく、誤った競合や同名ノイズが中心だった（levers.co.jp／株式会社Levers、lervos.com、leverage.co.jp、LancerOS、leverageos.ai、金融の「レバレッジ」商品関連のノイズなど）
• 関連質問（fan-out）：「LeverageOS official」という関連質問が回答に含まれていた

名前は出ているのに、正体を取り違えられている。「言及ゼロ」より一見わかりにくい失敗のしかたです。ただ、fan-outに出た「LeverageOS official」という一言が、そのまま「公式・識別用のページが足りない」という気づきに直結しました。

良かった点

一番の収穫は、言及の有無だけでなく引用元ドメインと関連質問まで見えたことです。この1回の計測結果から、公式・識別用ページの新設、llms.txt／llms-full.txtの先頭に「これはleverageos.devの製品で、Levers・Lervos・leverageos.aiとは別」という区別ブロックを追加すること、構造化データ（JSON-LD）の強化、といった実装の優先順位がその場で具体的に決まりました。ノイズとして流すのではなく、次にやることの根拠になった、という点は評価しています。

使い勝手の面でも、質問文とブランド名を一文入れるだけで登録・クレジットカードなしにその場で計測できる導線は軽く、迷う場所がありませんでした。「要約APIではなく、Web検索ありの実際のChatGPT」という説明が結果画面にもそのまま明記されている点、料金が税込・円で読みやすい点も含め、実務者向けに作られている印象を受けました。

摩擦・うまくいかなかった点

一番つまずいたのは、登録なしのゲスト無料枠の壁が急に来ることです。1IPあたり1日3回までで、使い切ると即座にエラーになります。実際、初回の計測とその日のうちに行ったLeverageOS側の改善（識別用ページの追加、llms.txt／JSON-LDの更新、IndexNowでの送信など）を終えたあと、夕方に効果を再計測しようとしたところ、同じIPからの計測回数が既に上限に達しており、「POST /api/guest-check」がHTTP 429（エラーコードE2003）で弾かれました。この日の再計測はゼロ件で終わっています。無料枠で止まった場合は無理に続けず報告する、という方針どおり、有料アカウントは作らずに終えました。

そのほか、実際のChatGPTを経由するぶん1回あたり体感1〜3分ほどの待ち時間がかかること、回答のトーンの良し悪しや内容の事実正誤までは自動判定されず、そこは人が目で確認する必要があること（この点はUITruth側も公式に明記しています）も、実際に使ってみて気づいた点です。

効果は出たのか ― 正直な結論

識別用ページの追加やllms.txt・構造化データの更新自体は、その日のうちにleverageos.dev上へ本番反映済みです。ただし、それによってChatGPTの回答が実際に変わったかどうかは、この日のうちには確認できていません。ゲスト枠を使い切ってしまったことに加え、UITruth自身のドッグフーディング記録（別のサービスで技術的な改善を加えた2日後に再計測しても変化がなかった例）を踏まえると、こうした変更がAIの回答に反映されるまでには、通常クロール・検索インデックスの反映ラグで数日から数週間かかることが多いためです。

したがって、この時点で「効果があった」とは言えません。判定は保留です。ゲスト枠が翌日リセットされたタイミング、またはUITruthの無料登録（月20回）を使ったタイミングで、「どのLeverageOSが本物か」「公式サイトはどこか」といった識別系の質問文から、あらためて計測し直す予定です。

総評

日本語・実際のChatGPT・引用元まで見えるという点は、LeverageOSのような同名衝突ブランドの診断にそのまま効きました。初回のたった1回の計測で、公式ページと技術対応の優先順位が具体的に決まった点は、料金以上のリターンだったと感じています。一方で、登録なしのゲスト枠3回／日はすぐに底をつき、検証のサイクルをすぐ詰まらせます。効果測定は1回のBefore/Afterでは終わらず、週次くらいの単位で設計する必要があります。

有料化は「毎日測る」運用になるまでは急がなくてよく、まずは無料登録（月15回）の範囲で識別系の質問文を定点観測するのが、今回の実利用を踏まえた現実的な使い方だと考えています。