ABテストとは？成果につながるやり方、分析方法を解説

公開日: 2024-01-29

Webマーケ全般

公開日: 2024-01-29

Webマーケ全般

ABテストとは、2つのパターンを比較することでWebサイトやアプリを改善するための調査を行うテスト手法です。例えば2パターンの画像のテストや、2パターンの訴求文のテストなどが行われます。主にCVR（コンバージョン率）やCTR（クリック率）を改善させる際に活用される手法です。

よりユーザーの利便性の高いサービスにすべくWebサイトやアプリを改善する場合、感覚や主観によって実践するのは望ましくありません。仮説を立て、比較を行い、データに基づいてPDCAを回していくことが重要です。そこで推奨されるのがABテストです。

本記事では、ABテストのやり方からメリット・デメリット、成功事例まで網羅的に解説しますので、ぜひ参考にしてみてください。

ABテストとは？

ABテスト（A/Bテスト）とはAとBの2つのバージョンを比較するための手法です。主にウェブサイトやアプリの最適化に用いられることが多くなっています。例えば、CTR（クリック率）を改善するために行うボタンの訴求文のテスト、ボタンの色のテストなどがあります（下図参照）。

パターンAとパターンBを対照的に比較し、その結果を分析することで、着実に改善をしていくための施策としてABテストが用いられます。

ABテストでわからないこと

ABテストで明らかにならない点があることは、あらかじめ理解しておきましょう。

ABテストは2つの施策の結果を示すことはできますが、なぜAとBに差を生んでいるのか明確な理由を示すことはできません。そのためABテストを実施した後の結果については、仮説を持った考察が必要不可欠になります。

仮に以下の2パターンでABテストを実施した際に、パターンBの方がCTRが高かったとします。その場合、次の2つの仮説を見出すことができます。

▼パターンBがよりCTRが高かった際の仮説

• ボタンの色はオレンジの方がいいのではないか
• 訴求文章は体言止めではなく、動詞で締める方がいいのではないか

ABテストを行っただけでは明確な要因を特定することは困難です。ABテスト実施後の仮説立ては必ず行うようにしましょう。

ABテストの効果は？メリット・デメリットを解説

ABテストのメリットとデメリットを解説します。なぜABテストを行うべきなのか、重要性という観点からも参考にしてみてください。

ABテストのメリット

メリットは以下の4つです。

• CVRの最大化につながる
• 予算、工数をかけずに実施できる
• ユーザーエクスペリエンスを向上できる
• 数値に基づいた改善ができる

CVRの最大化につながる

ABテストを行うことでCVR（コンバージョン率）の最大化につながります。

ABテストを繰り返し行うことで、例えばサイト内のボタンの色、CTAの文言などが最適化され、どの要素が最も効果的にユーザーの行動に影響を与えるか（コンバージョンにつながりやすいか）が明確になります。

結果的にCVRの最大化につながります。

予算、工数をかけずに実施できる

ABテストで行うのはボタン色の変更や訴求文の変更など、少ない工数で実施できるものが多く、また予算をかけずに行うことができます。

コンバージョン数の確保のために予算をかけてリスティング広告を行うよりも、ABテストによってCVRを改善したほうがROIが優れている場合が多いです。またCVR、CTRの改善を目指す上で、新たにコンテンツを作ったり、リライトを行うよりも手軽に実装できます。そのため、リソースはあるものの予算があまり割けない場合に行うのもおすすめです。

ユーザーエクスペリエンスを向上できる

繰り返しのABテストによる改善は結果的にユーザーエクスペリエンスを改善することにもなります。ABテストは基本的にユーザーの行動に着目してPDCAを回す取組みだからです。

例えば、LPに掲載するボタンを変更する前と後でCTRが減少してしまった場合を想定します。実はCTRが下がった要因は、ボタンの位置なのではないかと仮説を立て、ABテストを行います。変更したボタンのCTRをパターン別に定点観測することで、ユーザーが押しやすいボタンはどこなのか、という課題をあぶり出すことができます。

その結果、数値が改善されるときは、これまで以上にユーザーのニーズを満たしているとみなせるので、ABテストを繰り返し、数値を改善することはユーザーエクスペリエンスの向上に寄与します。

正しく意思決定できる

正しく意思決定ができるのも大きなメリットです。なぜならABテストを実施することで、数字に基づいた結果を得ることができるからです。

各施策の結果を数字で確認できるため、ABテストを繰り返し「Aという施策はBよりも成果につながる」「Cという施策はDよりも成果につながらない」という仮説検証を繰り返せば、成果につながる正しい意思決定を行うことができます。

感覚や推測のような数値に基づかない改善では、成果が出ていてもその要因を特定しきることはできません。成果の根拠があやふやで、定量的な判断ではなく感覚的な判断しかできないからです。

さらには要因が特定できなければ再現性を持った成果創出もできないため、数値に基づいた改善ができることは大きなメリットです。

ABテストのデメリット

デメリットは以下の3つです。

• 十分なデータが必要になる
• 統計的な知識が必要になる場合がある
• ユーザー体験を損なう可能性がある

十分なデータが必要になる

ABテストを行い成果につなげようとする際には十分なデータが必要になります。データは効果検証の際に必要になります。

データ量が少ないままの効果検証では適切な仮説を出すことが難しく、アウトプットした仮説の精度が低くなりがちなためです。

ただし、その量は明確に定義されているわけではないので、データ収集期間で考えることをおすすめします。例えばサイト経由のCVを増やすためのABテストを実施する際には、1週間、2週間などある程度の期間で計測すれば大きな問題はありません。

統計的な知識が必要になる場合がある

膨大なデータに対して、精緻な分析をしようとすると統計的な知識が必要になることがあります。

サンプルサイズの決定や結果の有意性の評価など、専門的な知識がないと解釈することが難しい概念が存在します。膨大なデータを扱うABテストを行う際は、統計学者やデータサイエンティストのサポートを受けることを推奨します。

ユーザー体験を損なう可能性がある

ABテストの成果にこだわりすぎると、ユーザー体験を損なう危険性があります。

例えば「LP→フォーム→CV」という導線を自社サイトで引いていると仮定します。「LP→フォーム」への遷移率の向上だけを考えるあまり、結果的にCV数が減少してしまうことは往々にしてあります。LPで誇大的な訴求を行った場合や、フォームページに遷移するためのリンクをLP内に大量に掲載した場合です。

ABテストの成果は全体俯瞰で最適化されているのかどうかを確認するようにしましょう。

ABテストの対象となる要素

ABテストの対象となる要素はたくさんありますが、Webサイトを行う場合の代表的な対象要素は以下の5つです。

• デザインとレイアウト
• ファーストビュー
• ナビゲーション
• フォーム
• CTA
• コンテンツのタイプ

それぞれ詳しく解説していきます。

デザインとレイアウト

最も代表的な要素がデザインとレイアウトです。デザインやレイアウトを変更することで、WebサイトのCTRやWebサイト経由の売上などに影響が出る可能性があります。

Webサイトの変更を行う際は、以下の要素を変更する場合が多いです。

• 画像
• 訴求文
• サイトのメインカラー
• ボタンの色

例えば弊社が提供しているSEOツール「Keywordmap」おいても、サービスサイトの刷新を行っております（下図参照）。

デザインやレイアウトを刷新した後の数値の変化を定点観測することで、影響度を数値で測定することができます。

ファーストビュー

ファーストビューとはユーザーがWebページを開いたときにスクロールなしで表示される、最初の画面を指します。

たとえば弊社のWebサイトを例にあげると以下の範囲がファーストビューにあたります。

ファーストビューにおいてテストする要素はいくつかあります。

• ファーストビューの画像
• 訴求文
• CTA

たとえばKeywordmapのサービスサイトでは、以下のように赤枠で囲んでいる部分が当たります。

最もクリック率、CVRが高くなる表現はどれなのかを明らかすることができるので、ファーストビューのABテストは注力しましょう。

ナビゲーション

ナビゲーションとは同じWebサイト内の主要ページへのリンクを指します。一般的にWebサイトのすべてのページに共通して設置され、上部（ヘッダー）や下部（フッター）に表示されることが多いです。

ナビゲーションを設置することで、ユーザーがサイトを回遊しやすくなるというメリットがあります。

遷移させたいページをより目につきやすい左に寄せたり、表示する語句を変更してクリック率の変化を観測してみましょう。

フォーム

フォームはCVRに大きく影響するため、ABテストの対象としてとても重要です。フォームは、コンバージョンする際の直前のページであり、ユーザーの意思決定を左右する最後の関門だからです。フォームまでの導線がどれだけ良くても、フォームの質が低ければCVRが下がってしまう可能性もあります。

フォームにおけるABテストの対象要素には、例えば以下のようなものがあります。

• 入力項目の数
• 離脱防止用のポップアップ
• フォームのレイアウト
• 指示文の書き方

フォームには登録フォームやログインフォーム、注文フォームなど様々なものがあります。フォームのABテストを実施することで、CVRの向上やUX（ユーザー体験）の改善ができます。

例えば以下のようなフォームにおいては、CVRを改善するために入力項目を減らしたり、入力項目の順序を変えることがあります。

ただし、フォームの通過率の向上だけに固執しすぎないように注意する必要があります。フォームの通過率だけを見てしまうと、質の低い見込み顧客が多く流入する可能性が高まり、結果的に売上に対してネガティブに働く可能性があるためです。

フォームの通過率を向上させる、EFO（エントリーフォーム最適化）について詳しく知りたい方は以下の記事を参考にしてください。

EFOとは？フォームの離脱率を下げる10の施策と改善に役立つツール

navigate_next

CTA

CTAとは「Call To Action」の略称で、消費者やユーザーにクリックや登録、ダウンロードなどの行動を促すこと、およびその役割を果たすボタンや文言を指します（下図参照）。

CTAはCVRに大きく影響するため、ABテストの実施は重要になります。ABテストツールなどでCTAの訴求を複数パターン用意し、最もクリックされるCTAは何か分析します。

例えば、CTAをABテストする際には以下の要素を考慮します。

• ボタンの色
• CTAのコピー
• CTAの位置

上記の要素を複数パターン用意し、ABテストを実施することで最も効率のよいCTAを作ることができます。

コンテンツのタイプ

コンテンツのタイプでもABテストを行うことができます。

例えば記事コンテンツで想定する場合を考えます。流し読みをしたい読者が多く流入しているのか、それとも深くじっくり学びたい読者が多く流入するのかで、コンテンツの形式は大きく変わります。

仮に流し読みで疑問を解決したい読者が多く流入しているにも関わらず、読み切るのに10分以上かかるような専門記事では、両者の相性はどうでしょうか。恐らく途中で離脱されてしまいます。

GA4でページの滞在時間や、直帰率を確認することで効果検証を行うことができます。サイトの読者に最適なコンテンツの形式を取り入れましょう。

またコンテンツの種類は他にも次のようなものがあります。

• 音声
• 画像
• 動画
• メディアタイプ

自社のターゲットに最適なコンテンツの種類を見極め、コンテンツの種類を固め、そのコンテンツの中身まで最適化することで成果につながるものを作ることができます。

ABテストのやり方

ABテストはどのように進めるのがよいのでしょうか。本章では以下について詳しく解説します。

• ABテストはいつ始めるべきか
• ABテストの2つのやり方
• ABテストの対象となりやすいWebページ
• ABテストの進め方

ABテストはいつ始めるべきか

ABテストを始めるべきタイミングは次の2パターンが多いです。

• コンバージョンが発生しなくなった、減った
• ページの離脱率が高くなった

ABテストを実施し、パターン別で施策を試すことで上記の課題を解決できる可能性が高いです。ただし、闇雲にABテストを実施するのではなく、「CVが発生しない要因」「ページの離脱率が高い要因」を特定してから施策の検討をしましょう。要因を特定しないままABテストを行っても、問題の解決につながるパターンを案出・実行できないため、成果が出にくいからです。

ABテストの2つのやり方

ABテストのやり方には大きく分けて、以下の2つの手法があります。

• 並行テスト
• 逐次テスト

一般的には並行テストがおすすめされています。では、それぞれについて詳しく解説していきます。

並行テスト

並行テストでは、AとBのテストを同時に同じ期間で実施します。施策を同時進行する分、外部環境の影響を均等に受けるため正確な効果測定が可能です。

例えば、ABテストを実施中に市場の需要が大きく下がってしまった場合を想定します。仮にABテストを並行して進める場合は、等しくその市場変化の影響を受けます。対して、ABテストを並行して行わない（Aを行ってからBを行う）場合、Aは影響を受けませんがBは影響を受ける場合があります。

そのため、並行テストは外部環境の変化を等しく受けることができます。

一方でデメリットも存在します。それはサイトへの流入数が少ない場合などは、データのサンプル収集に時間を要してしまうことです。

逐次テスト

逐次テストでは、時間軸を分けて2つのパターンをテストします。

Aの施策を実施後、Bのテストを開始するという順序です。そのため、外部環境の変化に影響されやすくなっています。たとえばAの実施後に市場全体のニーズが弱まってしまった場合、Bのテスト結果を正確に測定することができなくなってしまいます。

一方で、柔軟性が高い点がメリットです。Aのテストを行った後にBのテストを行えるので、Aのテスト結果をBのテストに活用することができます。これによって効果の低い0ベースで始める並行テストと比較すると、時間短縮をできるという一面もあります。

以上2つの測定方法は使い分けが重要です。ABテストを実施する目的や、社内のリソースを検討したうえでそれぞれの手法を使い分けるようにしましょう。

ABテストの進め方

効果的なABテストを進めるには、少なくとも以下のステップに従うことが重要です。

1. 目的、仮説の設定
2. 必要なデータの特定
3. テストの計画、デザイン立案
4. テストの実施
5. データの分析
6. 分析結果の評価・改善の実行・テストの再開

目的、仮説の設定

ABテストの最初のステップは、目的と仮説の設定です。目的の設定とは、「何を改善したいか、どのような成果を期待しているか」を決めることです。仮説の設定とは、ABテストの結果がどのように成果に影響するかを予測することを指します。

例えば、次のような目的と仮説を設定します。

• 目的：CVRの改善
• 仮説：フォーム項目が多く、離脱する人が多いのではないか

目的と仮説の設定は今後のステップの根幹を支える部分になるので、しっかりと吟味したうえで決定しましょう。

必要なデータの特定

ABテストに必要なデータを特定するために行います。

特定するデータには、対象となるユーザーの年齢、地域、性別などが含まれます。さらに、例えばCVR改善のためのABテストを実施する場合に、フォームへの到達率を定点観測するのか、それともフォームの通過率を定点観測するのか、対象とする指標もあらかじめ決めておく必要があります。

観測する数値の特定は目的や仮説に基づき決めることができます。「CVRが減少しているのはフォームの項目数が多いからではないか？」という仮説を検証する場合には、フォームへの到達率ではなくフォームの通過率を観測するのが良いでしょう。

目的と仮説に基づいて、観測するデータの特定を行いましょう。

テストの計画、デザイン立案

テストの計画では、どのページをABテストの対象にするのか、そのページのどの要素を対象にするのか、またどんなスケジュールで行うのかを決定します。計画の内容はドキュメントに落としこんでおくと良いでしょう。

また、デザイン立案では、ABテストのバリエーションを具体的に設計します。ファーストビューのABテストなら、どんな画像でテストするのか、どんな訴求でテストするのかなどを決定します。

テストの実施

テストを実施する際は、外部のリソースを使わずに自社内で完結させることができます。Javascriptの設定や、リダイレクト処理などを行うことでABテストを実施することができるためです。

ただし、おすすめはABテストツールを活用することです。比較的安価で導入することができ、ABテストの実装自体も手動で実装する場合より簡易的に実施できます。ABテストには専門知識や実装工数が必要不可欠になるので、ABテストツールの導入を検討してみましょう。おすすめのツールは記事の下部で解説しております。

データの分析

テストが完了したら、収集したデータを分析します。

より正確なデータ分析を行いたいかつ、データ量が膨大な場合は、統計的な知識を活用した分析が必要になるケースがあります。重要なステップなので、特定したデータを重点的に分析するようにしましょう。

例えば、CVR改善を目的としたABテストを実施する場合において、Aはフォーム項目を5個に、Bではフォーム項目を7個にしたとします。そのうえで以下のようなデータを得られたと仮定します。

上記の場合、今後のアクションとしては全てのフォームにおいてフォームの項目数を7個から5個に変更します。結果からわかる通り、Aパターンの方がCVRとフォーム通過率が高いからです。

ただし、この場合で気を付けないといけないのがCVにはつながるものの売上にはならないパターンです。パターンBの方が売上には貢献しているということも珍しくありません。

そのため、ABテストを実施した前後では売上にどう影響を与えているのかまで確認するのが良いでしょう。

分析結果の評価・改善の実行・テストの再開

最後のステップでは、分析結果に基づいて評価を行い必要に応じて改善を実行します。

テスト結果が期待通りではなかった場合、再度ABテストを実施します。また、成果が出たパターンから派生して、あらたなABテストを行うことで、より効果的なアウトプットにつなげることが可能です。

想定効果を下回っていても、その原因を特定し再度ABテストを実施することが重要です。

ABテストの事例

実際にABテストを実施している事例を解説していきます。

下図は弊社が提供しているSEOツール「Keywordmap」のサービスサイトで行ったABテストの実例です。サービスサイトのファーストビュー（特に冒頭のキャッチコピー）に対するABテストであり、訪問者への表示配分はそれぞれ50%ずつ半分で出し分けました。

パターンAは「SEOをもっとカンタンに」に対して、パターンBでは「10時間かかっていた『競合分析』を2分で SEOツール」とキャッチコピーを設定した結果、それぞれのCVRに差が生じました。

パターンAの成果はパターンBのおよそ1.8倍程度でした。今現在は、この結果を分析（なぜパターンAの方がCVRが高くなったのか調査）して、再度ABテストを実施していくことでサービスサイトの成果を最大化している最中です。

適切なAbテストを実施し、自社サイトのパフォーマンスを最大化させましょう。

ABテストの注意点・気をつけること

ABテストを実施する際の注意点は次の5つです。

• 変更は1か所ずつ行う
• 実施前には仮説を持つ
• 十分なデータ計測期間を担保する
• SEOも合わせて考える
• 効果検証の際には外部要因にも目を向ける

変更は1か所ずつ行う

ABテストを行う際は、一度に多くの変更を加えるのではなく、1つの要素（例えばボタンの色、テキストの大きさなど）に絞ってテストを実施することが重要です。

1つずつ変更を加えることで、どの変更が効果・成果をもたらしたのかを正確に判断することができます。反対に複数の要素を同時に変更すると、どの要素が結果に影響を与えたのかを特定することが難しくなります。

適切にPDCAを回して効果を最大化していくためにも、変更を加える際は1か所ずつ行いましょう。

実施前には仮説を持つ

ABテストを始める前には、何をテストするか、なぜそれをテストするのかに関する明確な仮説を持つことが大切です。

仮説が明確でなければ、それ以降のどのデータを評価指標とするか、どんな変更を加えるのかが明確にならずABテストの実施に苦戦するでしょう。

さらに、仮説がない場合テスト結果を解釈する際に方向性を見失う可能性があります。

十分なデータ計測期間を担保する

ABテストの結果を信頼できるものにするためには、十分なデータを収集する必要があり、そのためには十分なテスト期間が必要です。

最低でも1週間から2週間はデータを計測するようにしましょう。これは曜日による数値変動をおさえるためです。例えば、BtoB企業のWebサイトの場合、休日よりも平日の方がトラフィック量が多くなる傾向にあります。そのため、曜日間での差をなくすために1週間から2週間の期間を設ける必要があります。

短期間でのテストでは、たまたまの結果や季節性などの外部要因によって結果が歪んでしまう可能性があります。

SEOも合わせて考える

ウェブサイトにおけるABテストでは、SEOへの影響も考慮する必要があります。

たとえば、ページやタイトルの変更は検索ランキングに影響を及ぼす可能性があります。また、テストの実施がクローラーによるページのインデックス作成に影響を与えないように、適切な方法でABテストを設計することが重要です。

社内でSEO専任の担当部署がある場合は、必ず連携してABテストを実施するようにしましょう。

効果検証の際には外部要因にも目を向ける

ABテストの結果を解析する際には、テスト自体の効果だけでなく、外部からの影響も考慮する必要があります。例えば、外部要因には次のようなものがあります。

• 季節変動
• 市場のトレンド
• 競合他社の活動

外部要因を考慮することで、より正確な結果の解釈が可能になります。

ABテストにおすすめのツール4選

ABテストにおすすめのツールを4つ紹介します。ツールを活用してABテストを実施することで施策の推進や結果の測定がより簡単に精度高くできるのでぜひチェックしてみてください。

• Kaizen UX
• SiTest
• vwo
• dejam

Kaizen UX

Kaizen UXは、ユーザー体験を向上させることに特化したソリューションです。

難易度の高いようなデザインの実装を簡単に実装できたり、専門家によるプロジェクト支援が用意されていたりと、サイト改善を行う際の悩みを解消してくれます。

力を入れてサイト改善を行いたい際にはおすすめです。

SiTest

SiTestは、日本発のウェブ分析およびABテストツールで、特に日本市場のニーズに合わせた機能を提供しています。

使いやすさと高いカスタマイズ性が特徴で、ウェブサイトの細かい要素のテストから訪問者の行動分析まで幅広く対応しています。

完全無料で利用できるプランもリリースされており、まずは予算をかけずにサイト改善を行いたい方にはおすすめです。

vwo

VWO（Visual Website Optimizer）は、世界的に人気のあるABテストツールです。直感的なビジュアルエディター、強力なセグメンテーション、および詳細な分析レポートを提供します。

ユーザーは、VWOを使用して、ウェブサイトのコンバージョン率を効果的に改善することができます。広範囲のサイト改善が可能となっています。

dejam

dejamは、特に扱いやすさに特徴があるABテストツールです。

中小規模のウェブサイトやスタートアップ企業に適しており、簡単な操作で効果的なABテストを実施することができます。

Dejamは、直感的なデザインと使いやすさを重視しており、初心者でも簡単にABテストを開始できる点が魅力です。本格的に利用するなら有料プランにする必要がありますが、料金は他のツールと比較し安価となっています。

まとめ

ABテストとはAとBの2つのバージョンを比較し、より成果を出せるパターンを見つけ出すための手法です。進め方は次の6ステップです。

1. 目的、仮説の設定
2. 必要なデータの特定
3. テストの計画、デザイン立案
4. テストの実施
5. データの分析
6. 分析結果の評価・改善の実行・テストの再開

ただし、以下の注意点をおさえながら実施しましょう。

• 変更は1か所ずつ行う
• 実施前には仮説を持つ
• 十分なデータ計測期間を担保する
• SEOも合わせて考える
• 効果検証の際には外部要因にも目を向ける