2022.01.11

前後データ（Pre-Post）の比較分析で使う統計手法

広告運用の理想的な効果検証方法のひとつに「ABテスト」あります。Google 広告にも「下書きとテスト」というABテストのための便利な機能が搭載されています。

Google 広告ヘルプ：キャンペーンの下書きとテスト

support.google.com

検索キャンペーンとディスプレイキャンペーンの下書きについて - Google 広告ヘルプ

しかし、状況によってはABテストが実施できないケースもあるかと思います。その場合、よく採用されるがpre-post分析（前後比較） での効果検証です。

pre-post分析を統計学的な確からしさを踏まえて検証するには、いくつか抑えておくべき点があります。今回はそれらを具体例とともにご説明します。

広告成果の比較分析に困ったら
分析・検証から実行のスピードが強みの「オーリーズ」へ

「広告の分析・改善方法がわからない」そのようなご質問を多くいただくオーリーズでは、
社内外で分析方法・改善ノウハウを共有・発信しています。お気軽にご相談ください。

【広告成果を最大化するオーリーズの特徴】

顧客の課題にコミットするため、担当社数は最大4社
運用者＝顧客窓口だからスピーディーな仮説検証が可能
顧客の半数以上が「強く」おすすめしたいと評価

まずは資料ダウンロード

概要
①平均の検定（t検定）
②比率の検定（χ二乗検定）
最後に
- 参考にした記事

概要

前提として、pre-postで比較する対象が、「平均値」なのか「比率」なのかによって採用すべき統計手法が異なります。

以下より、具体的な例（サンプルデータ）を用いて手法の使い方をご説明します。

※これ以外にも、例えば「一元配置分散分析」といった手法もあるようなのですが、筆者は統計の専門家ではないため、ここではこれ以上の深堀りを控えたいと思います。本記事では、「統計的に厳密で理想的な検証ができているわけではないが、日常的な広告運用の意思決定には役立てることのできる、基礎分析としての手法」としてご説明できればと思います。

①平均の検定（t検定）

検証できること

A群の平均値、B群の「平均値」は、統計的有意な差があるか？

問題例

🤔 12/11(金)から、IMPを増やすためにある施策を実施した。pre-postで平均値を比較すると増加しているが、これは統計的に有意であると言えるか？

サンプルデータ
t検定.xlsx

回答

平均の比較ですから、t検定を使います。Excelに T.TEST という便利な関数があるのでそれを使うと良いです。出てきた値（p値）は、小さければ小さいほど有意であると判断してよいです。上記の例では、0.01を下回っていたので、99%有意でIMPが増えていると結論付けることができます。（サンプルデータファイル参照）

補足

t検定の概念としては、「A群とB群の平均値と標準偏差が検定のもと」になっています。ですので、データの「ブレが少ない」「N数が多くなる」ほど有意性が高まる傾向にあります。要するに「これらが正規分布すると仮定したときに、端っこ何％のとこで重なる？」についての答えを出しています。上記の例で言えば、「端っこ0.57%の部分だけで結論が逆になるといえる」ということになります。

この手法を扱うときの注意点としては、「あくまで平均値の大小を統計的に比較しているだけ」という点です。ですので、例えばIMPを上昇に影響を与えた要素が複数存在する場合は、当然ながら、この手法だけでは評価することは難しいです。

②比率の検定（χ二乗検定）

検証できること

A群の比率、B群の比率は、統計的有意な差があるか？

問題例

🤔 12/11(金)から、クリック率を増やすためにある施策を実施した。pre-postでクリック率を見ると高くなっているが、これは統計的に有意であると言えるか？

サンプルデータ
χ二乗検定.xlsx

回答

比率の比較ですから、χ二乗検定を使います。t検定と同じく、Excelに CHISQ.DIST.RT という便利な関数があるのでそれを使うと良いです。出てきた値（p値）は、小さければ小さいほど有意であると判断してよいです。上記例では、0.01を下回っていたので、99%有意でクリック率が高くなっていると結論付けることができます。