ランディングページ最適化（CRO）の現在地：小さなサイトでA/Bテストが成り立つ条件と、勘に頼らない改善の進め方

最初に、仮の例で計算してみます。あるページの訪問から問い合わせへの転換率が2%（仮）で、これを相対で2割（2%から2.4%）改善する変更を、A/Bテストで検出したいとします。A/Bテストの解説書では、有意水準5%、検出力80%という慣例的な設定のもとで、1グループあたりに必要な標本の目安を「16 × 分散 ÷ 差の2乗」で見積もる簡易式が紹介されています（Kohavi ほか『A/Bテスト実践ガイド』）。転換率の場合、分散は「p × (1 − p)」で近似できます。

計算すると、分散は 0.02 × 0.98 = 0.0196、差は 0.004 です。16 × 0.0196 ÷ 0.004² = 19,600。1グループ約19,600訪問、2グループで約39,200訪問です。このページの訪問が月2,000（仮）なら、結果が出るまでに約20か月かかります。目安として見積もった値であり、実際の必要量は指標の性質によって変わりますが、桁感として押さえておく価値があります。

A/Bテストが標準になった経緯と、小さなサイトで成り立たない理由

オンラインの実験は、大量のアクセスを持つウェブサービス企業で磨かれてきた手法です。Kohaviらの書籍は、そうした組織で数多くの実験を継続的に運用してきた経験に基づいて、信頼できる実験の条件を整理しています。分析ツールや実験ツールが一般に使えるようになり、中小のサイトでも「A/Bテストをしましょう」という助言が広まりました。

しかし冒頭の計算が示すとおり、必要な標本は検出したい差の2乗に反比例して増えます。差を半分にすると、必要な標本は4倍です。逆に言えば、差を大きくすると、必要量は急に減ります。同じ仮の例で、転換率を2%から3%へ（相対で5割増）変える大胆な変更を検出するなら、1グループあたり 16 × 0.0196 ÷ 0.01² ≒ 3,136、2グループで約6,300訪問です。月2,000訪問なら約3か月で、現実的な期間になります。

小さなサイトの戦略は、したがって「小さな改善を何度も試す」ではなく、「大きな変更を少数、確かめる」になります。ボタンの色やコピーの語尾のような微調整は、効果が仮にあっても、検出できる前提がありません。状況別の使い分けを表にします。

ただし、前後比較は注意が必要です。施策の前後で季節、広告費、流入元が変わっていれば、差の原因はページの変更とは限りません。結果は「そうなりそうだ」という暫定の根拠として扱い、複数の観測と合わせて判断してください。

分析から仮説へ：ファネルで場所を決め、録画で理由を探る

どのページのどの段階を直すかは、勘ではなく数字で決めます。まず、訪問→リード→商談→顧客のどの段階が最も遅れているかを、KPIキャリブレーターで確認します。自社の実績と目標を入れると、転換率が最も目標から離れている段階が分かります。KPIの定義を整える方法は、マーケティングKPIの決め方に書いた手順のとおりです。

遅れている段階がランディングページから問い合わせへの転換であれば、GA4のデータ探索にあるファネルデータ探索で、ページ内のどのステップで離脱が大きいかを確認できます。たとえば「ランディングページ表示 → 料金セクションまでスクロール → フォームの開始 → 送信完了」のようにステップを作ると、どこで人が減るかが分かります。設定方法や画面は更新されるため、公式ヘルプの最新の案内を参照してください。

録画とヒートマップは「理由の候補」を得る道具

数字で場所が決まったら、その地点で人が何をしているかを、ヒートマップやセッション録画で観察します。Microsoft ClarityやHotjarなどのツールが知られていますが、特定の製品を勧める意図はなく、無料の枠がある製品もあれば有料の製品もあります。契約前に、機能と料金を公式サイトで確認してください。

録画は最初の観察に有用ですが、見た数件が全体を代表しているとは限りません。印象的な1本に引きずられないよう、「フォームの途中で離脱した訪問だけを10本見る」のように、事前に条件を決めて観察します。観察から得られるのは因果の証明ではなく、仮説の材料です。

録画やフォームの入力内容には、個人情報が含まれることがあります。個人情報保護委員会のガイドラインに沿って、利用目的の通知・公表を整え、各ツールの入力内容のマスキング設定（Microsoft Clarityの公式ドキュメントにも関連する項目があります）を確認してください。また、総務省が所管する電気通信事業法の外部送信規律（2023年6月施行）により、サイトの運営者に利用者情報の外部送信について通知・公表が求められる場合があります。対象になるかどうかは、公表資料の確認と必要に応じた専門家への相談が前提です。

観察を仮説に変えるには、次のカードを使います。

録画ノートの整理には、生成AIが使えます。ただし、録画に映った個人情報や、生のフォーム入力値をそのまま貼り付けることは避けてください。

次の観察メモ（10件）から、共通するパターンを3つ以内で抽出し、それぞれについて「観察された事実」と「考えられる仮説」を分けて表にしてください。メモに書かれていないことは推測せず、仮説には根拠となったメモの番号を付けてください。仮説を検証するための主指標とガードレール指標も案として出してください。（観察メモを貼り付け）

AIの出力を採用する前に、人が確認する点は、メモの番号と実際の観察が一致しているか、事実と仮説が混ざっていないか、そして仮説が自社のターゲットの文脈に合っているか、の3点です。

優先順位づけ：PIE/ICEを「議論の記録」として使う

仮説が並んだら、どれから試すかを決めます。PIE（Potential・Importance・Ease）やICE（Impact・Confidence・Ease）は、候補を1〜10の点数で採点して平均するシンプルな枠組みです。仮の例を示します。

数字そのものより、採点するときの議論に価値があります。ただ、このスコアは主観です。点数が高いからといって効果があるわけではなく、使い方を誤ると逆効果になる場面があります。特に次の2点は、教科書にあまり出てきません。

• ICEのEase（容易さ）を重視すると、実装が簡単な小さな変更が上位に来ます。しかし冒頭の計算で見たとおり、小さな変更は検出できないことが多く、「簡単だから試したが結論が出ない」という結果に陥りがちです。小さなサイトでは、検出可能な大きさの変更かどうかを、採点項目に加えてください。
• Confidence（確信度）は、自信の強さではなく、根拠の数で決めます。たとえば、録画で3本確認し、ファネルでも同じ地点の離脱が見えていれば高め、思いつきなら低め、というルールを事前に決めておくと、声の大きい人の案が上位に来ることを防げます。

広告クリエイティブのテストでも同じ規律が役立ちます。変数を1つに絞り、必要なデータ量を先に見積もる進め方は、AIで広告クリエイティブの案を出し、テストで確かめるで扱いました。ランディングページでも考え方は変わりません。

A/Bテストの落とし穴：結果を読む前に決めておくこと

テストを始める前に、次の「事前登録シート」を1枚書きます。結果を見てから基準を決めると、都合のよい解釈に流れるためです。

途中で数字を見て止めない

最も多い誤りは、結果を毎日確認し、有意に見えた時点で止めてしまうことです。Kohaviらの書籍でも、途中経過を見て判断することによる誤判定の増加が注意点として取り上げられています。事前に決めた標本と期間に達するまで、結果は参考として眺めるだけにし、判断は最後に1度だけ行います。

配分のずれと、面白すぎる結果

AとBの訪問数の比が設計とずれている場合（SRMと呼ばれる現象）は、計測やテスト実装に不具合がある兆候だと書籍に解説されています。この状態の結果は信頼できないため、効果の有無を論じる前に、実装を点検します。また、「結果が劇的によすぎる」ときも注意が必要です。この種の結果は、効果が本当に大きいというより、計測や集計の誤りであることが多いと、書籍は指摘しています。喜ぶ前に疑ってください。

複数の指標、複数の案、曜日の周期

指標を何十個も見て、1つでも有意なら成功と見なすと、偶然の差を拾います。主指標は事前に1つに決めてください。案を4つ同時に比べる場合も同様に、比較の数が増えるほど偶然の当たりが出やすくなります。また、平日と週末で訪問者の行動が違うサイトは多いため、期間は少なくとも1週間単位で区切ります。新しい見た目が目新しさで一時的に反応される場合もあるため、短期間の結果だけで本採用を決めないよう注意してください。

もっとも、統計的に有意でも、事業にとって意味のある差とは限りません。誤差の範囲に収まる小さな差を採用しても、運用の手間が増えるだけです。「いくつ以上の差なら採用するか」を、事前登録シートの判断ルールに書いておきます。

これからの見通し：AIとプライバシー規制は、改善の質をどう変えるか

ここからは、確定した事実ではなく、編集部の見立てです。

1つ目は、生成AIによって、ランディングページの案を量産しやすくなることです。ChatGPT・Claude・Geminiで見出しやレイアウトの案を数十個作ることは容易になりました。ただ、検証できる案の数は、訪問数と標本の制約で決まります。案が増えるほど、「どれを検証するか」を決める分析と優先順位づけの重要性は増す一方、検証能力そのものは増えません。複数の案を同時に試せば、先に見た偶然の当たりの問題も大きくなります。案の数と検証の能力の差が開く可能性があります。

2つ目は、プライバシー規制と同意管理の影響です。同意の取得状況によって計測できない訪問が増えると、見えているデータが特定の層に偏る可能性があります。偏りが改善判断にどれほど影響するかは、サイトの性質や同意の設計により異なり、一般的な水準を示せる根拠は持ち合わせていません。自社のサイトで、同意あり・なしの訪問比率がどう推移しているかを、定期的に確認することを勧めます。

3つ目は、セッション録画の自動要約など、ツール側のAI機能の拡充です。観察の工数が減る可能性はありますが、要約が元の録画を正しく反映しているかは、人が数本を抜き取って確認する必要があります。機能の提供状況は頻繁に変わるため、各ツールの公式ドキュメントで確認してください。

この3点に共通するのは、道具が増えても、「何を直すかを数字で決め、検証できる大きさの変更を、事前に決めた基準で確かめる」という手順は変わらないということです。変わるのは、手順の中で人が判断すべき箇所の位置です。メール施策側のフォームや導線の改善はマーケティング業務の自動化：CRMと連動した最初のメールシナリオとも接続します。ここまでの流れを課題として練習したい場合は、講座のページに概要があります。