AIで広告クリエイティブの案を出し、テストで確かめる

見出し案をAIに30本出させる作業は、数分で終わります。難しいのはその先で、30本のうちどれが成果につながるかは、配信しないと分かりません。しかも、30本の多くは言い回しが違うだけで、読者に伝える約束は同じです。これではテストをしても、「どの約束が効いたのか」が見えてきません。本稿は、案出しの前に訴求軸を決め、変数を1つに絞ってテストし、結果を過大に解釈しない、という一連の流れを手順として整理します。例は経理代行サービス(架空)で、金額や件数はすべて仮の例です。

案を出す前に、訴求軸を3〜5個に決める

訴求軸とは、広告が読者に約束する「理由」のことです。価格、手間の削減、安心感、専門性、導入のしやすさなど、ひとつの軸から多くの表現が作れます。軸を決めずに「見出しを20本」と頼むと、AIは似た軸の言い換えを大量に返します。同じ軸の言い換えは、テストでは1つの案として扱うべきです。

訴求軸（仮の例）	読者に伝える約束	事実で裏づけられること	使わない表現
手間の削減	月末の帳簿作業を任せられる	依頼できる業務の範囲（自社のサービス仕様）	「作業ゼロ」などの断定
ミスと不安の低減	確認の手順がある	ダブルチェックの工程があること	「ミスは絶対にありません」
費用の見通し	月額が分かる	公開している料金表	根拠のない「最安」
専門家の関与	経理の担当者が付く	体制と資格の実際の内容	実績件数の水増し
始めやすさ	相談から開始までが短い	実際の開始までの手順と日数	保証できない納期

右の2列が、この表でいちばん重要です。AIは裏づけのない数字や実績を、文章を整えるために書き足すことがあります。事実で裏づけられることを先に人が書き、そこから外れない範囲で案を出させます。

あなたは広告コピーの担当者です。次の訴求軸ごとに、検索広告の見出し案を各4本作ってください。
サービス：記帳代行（月額制）／ターゲット：従業員10名以下の会社の経営者
訴求軸：(1)手間の削減 (2)ミスと不安の低減 (3)費用の見通し
使ってよい事実：（自社が確認済みの内容をここに箇条書き）
制約：上に書いていない数字・実績・資格を加えない。「最安」「No.1」「必ず」は使わない。各見出しは全角15文字以内。軸ごとに、読者に伝える約束を1行で併記する。

「使ってよい事実」を渡すと、AIは範囲内で言い換えます。渡さない場合は、一般的にありそうな特長が付け足されます。サービスに存在しない機能を約束してしまうと、問い合わせ後のミスマッチにも、広告表示の問題にもつながります。

案を絞る：人が落とす4つの基準

AIが出した案をすべてテストに回す必要はありません。むしろ、絞り込む工程にこそ人の判断が要ります。落とす基準は4つです。

基準	見る点	落とす例
事実性	裏づけとなる資料や仕様があるか	根拠のない最上級、効果の断定
遷移先との一致	広告の約束がLPで確認できるか	広告は料金、LPに料金表がない
ブランドの声	自社の語り口と矛盾しないか	急かす口調が多すぎる、不自然に砕けた語尾
案どうしの違い	訴求軸が実際に別物か	同じ軸の言い換えが3本以上ある

1つ目の事実性は、景品表示法の優良誤認・有利誤認とも関わります。消費者庁の公表資料では、実際のものより著しく優良であると示す表示などが不当表示として整理されています。広告文の個別の表現が問題になるかは事案ごとの判断ですが、「根拠を示せない比較や最上級は使わない」を社内の基準にしておくと安全です。3つ目のブランドの声は、ブランドの声を失わない方法の記事で扱ったトーン＆マナー表をそのまま使えます。

絞り込みの一次チェックにも、AIは使えます。ただし、AIの指摘は網羅的ではないため、あくまで人の確認の前段として扱います。

次の広告見出し案について、景品表示法上、根拠の提示が必要になりそうな表現(最上級、比較、効果や実績の断定)を指摘してください。
見出し案：（ここに貼り付け）／自社が根拠を示せる事実：（箇条書き）
出力：見出し、指摘の有無、指摘する理由、根拠を示せる事実で言い換えた代案。法的な判断は断定せず、「要確認」と書くこと。

この出力を受けて、人は2点を行います。AIが見逃した表現がないかを自分の目で読み直すことと、疑わしい表現を法務や専門家に確認することです。指摘がゼロだったことは、問題がないことの証明にはなりません。

絞り込んだ結果、テストする案は「軸ごとに1〜2本」で十分です。

3軸×2本なら6本で、次の段階の設計が現実的な量に収まります。

変数を1つに絞ったテスト計画を書く

テストで最もよく起きる失敗は、見出しとバナー画像とLPを同時に変えてしまうことです。結果が変わっても、どれが原因か分かりません。変えるのは1つだけ、それ以外は固定します。計画は配信前に、次のシートで書き切ります。

項目	記入例（仮の例）
仮説	「手間の削減」の約束は、「費用の見通し」より見積り依頼につながる
変える変数	見出しの訴求軸のみ
固定する要素	キーワード、説明文、遷移先、地域、予算、配信時間帯
主要指標	見積り依頼の数(率は参考)。1つに決める
補助指標	CTR、LPの滞在。結論の根拠にはしない
必要な件数	次節の計算で決める
期間	最低2週間(曜日の偏りを避ける)。件数に届くまで延長
停止ルール	必要件数に届く前に止めない。明らかな規約違反や事故のみ例外
判断	基準を満たした案を採用し、負けた軸は記録して残す

配信の仕組みにも注意が要ります。Google 広告ヘルプによれば、レスポンシブ検索広告は登録した見出しと説明文を媒体が組み合わせて表示し、アセットごとの表示が均等になるとは限りません。したがって、1本のレスポンシブ検索広告に入れた見出しを並べて、「見出しAとBのA/Bテスト」と呼ぶのは正確ではありません。きれいに比べたい場合は、キャンペーンの「実験」機能のようにトラフィックを分割する仕組みがあるかを確認するか、キャンペーン自体を分けて予算を揃える方法を検討します。広告のローテーション設定や実験機能の仕様は更新されることがあるため、実施前に公式ヘルプで確認してください。

Metaでは、A/Bテストの機能が用意されており、ヘルプでは対象者が重ならないように分割して比較する仕組みとして説明されています。同じ広告セットの中に案を並べるだけでは、配信が偏る可能性があります。分割の有無で結論の信頼度が変わる点を、運用担当者は把握しておく必要があります。

必要なデータ量を見積り、結果を読む

「何件で判断してよいか」は、配信前に目安を出せます。簡易的な式として、Lehr(1992)が示した経験則があり、2案を比べるときの1案あたりの必要数は、おおよそ16×p(1-p)÷(検出したい差)²で見積もれます(有意水準5%、検出力80%程度を想定した粗い目安です)。pは成果率の平均です。以下はすべて仮の例です。

現状の成果率（仮の例）	検出したい改善後（仮の例）	差	1案あたりの必要訪問数の目安
3.0%	4.5%	1.5ポイント	約2,600
3.0%	3.6%	0.6ポイント	約14,000
3.0%	3.3%	0.3ポイント	約54,000

差が半分になると、必要数は約4倍になります。1.5ポイントの差でも1案約2,600訪問、2案で約5,200訪問が要り、0.3ポイントの差なら1案約54,000訪問です。必要な広告費は、必要訪問数に自社の実際の1訪問あたり費用を掛けて出します。月数十件のコンバージョンしかない小さなアカウントでは、細かな差を検出するテストは現実的ではありません。

ただし、これは小さな事業にテストが不要という意味ではありません。大きな差しか検出できないなら、テストする案の差を大きくします。たとえば、同じ約束の言い換えではなく、まったく別の訴求軸どうしを比べます。差が小さい案は、そもそも判定に値しないと割り切る考え方もあります。また、テスト結果が出なくても、検索語句の傾向やLPでの行動など、定性的な情報は蓄積できます。

結果を読むときの4つの落とし穴

1つ目は、途中経過を見て止めることです。Evan Millerは"How Not To Run an A/B Test"で、有意差が出た時点で打ち切る運用が誤検出を増やすと指摘しています。必要件数に達するまで判断しないルールを、計画に書いてあるのはそのためです。2つ目は、指標の乗り換えです。主要指標で差が出なかったあと、補助指標のなかから勝ったものを探すと、偶然の差を拾います。主要指標は配信前に1つに決めます。3つ目は、外部要因です。期間中のセール、曜日、季節、競合の動きは、案の差に見えます。4つ目は、CTRだけで勝ち負けを判定することです。目を引く表現はCTRを上げても、見積り依頼につながるとは限りません。広告の評価は、Google 広告ヘルプのコンバージョン トラッキングで計測する成果を軸にします。

結果をまとめる作業にもAIは使えますが、計算は任せ切りにしないでください。

次のテスト結果を、A/Bテストの報告として整理してください。
案A：表示○回、訪問○回、見積り依頼○件／案B：同様／期間：○日／事前に決めた主要指標：見積り依頼数／事前に決めた必要件数：○件
出力：(1)成果率の比較表 (2)事前基準に達しているかの判定 (3)結論として言えること・言えないこと (4)次に変える変数の候補を2つ。
条件：計算の途中式を示す。基準未達の場合は「判断保留」と書き、勝者を断定しない。

人が確認すべき点は、AIが示した成果率を表計算で再計算すること、事前に決めた基準に沿った判定になっていること、断定できない部分が断定されていないこと、の3つです。

テストの記録を、次の案出しに戻す

テストは1回で終わりません。負けた案も、「この軸は反応が弱かった」という情報になります。ただし、記録がなければ半年後に同じ案を再びテストします。1行で足りるので、結果ログを残しておきます。

実施期間	仮説	変数	結果(件数)	判断	次にやること
（記入）	手間の削減が費用の見通しより強い	訴求軸	（記入）	採用／保留／棄却	LPの冒頭文を同じ軸で検証

勝った案をそのまま全面展開する前に、もう一度確かめる手順も計画に入れておくと安全です。1回のテストで見えた差には、偶然が含まれる可能性が常にあります。採用した案を配信の主力にしつつ、予算の一部で前回の負け案と再度比べる、あるいは別の期間・別のキャンペーンで同じ軸を試す、といった追試をします。差が再現すれば確度が上がり、再現しなければ、最初の差は偶然だった可能性が高まります。追試に使う予算と期間を、最初のテスト計画の段階で確保しておきます。

広告で勝った訴求軸は、LPの冒頭文や見出しにも反映して初めて成果につながります。LPを勘に頼らず直す進め方は、ランディングページ最適化(CRO)の記事で扱います。広告の基本構成はGoogle広告の検索キャンペーンの組み立て方を前提にしています。体系的に学ぶ場合は講座のページにまとめています。