統計知識自体は何にでも応用がききますが、題材はデジタル広告のお話。
よくわからないままたくさんクリエイティブ（画像・テキスト）を配信していませんか？媒体の自動最適化に任せっぱなしじゃありませんか？報告、大丈夫ですか・・？
そんな不安を払拭するための、統計的な検証についてです。
ケーススタディ：効果のよかったバナーはどれ？
※あくまで架空の事例です
ある日とつぜん、全然関係ない部署で配信していた明治安田生命のじぶんの積立に関する３種類のバナーの成果を検証させられることになりました。
ターゲティングセグメントは20-34歳男女、サイズは300✖️250のみ、GDNで配信したようです。
（こんなトンマナはもちろん反応しそうなターゲットも違うようなバナーを比べてどうするんだ）
そんなことを思いながら、誰かの自己満足のために、あるいはお給料のために、成果の検証を試みるわけです。
渡されたエクセルファイルはこちら。
（きれいじゃないか）
このデータをもとに、満足してもらえるように検証していきます。
成果って何？
検証を行うときに、・・通常であれば、テストを設計するときに、決めておかなければならないことがあります。
すなわち、配信する目的とその目的に応じた評価項目、です。
目的＝獲得（CV）、評価項目＝CTVR（CTR✖️CVR）
目的＝流入（Click）、評価指標＝CTR・CPC
などです。
今回の例では、効果がいいってどういうことですか？といった旨を配信設計した
で、目的は商品認知だよ、と言われたとします。
※当然調査は回してない
バナー接触による商品認知効果もあるのですが、聴取できないため一旦無視し、商品ページ到達＝Click=商品認知、として、いかに誘導効率高く商品認知させたか＝CTRが高いバナーはどれか、を明らかにします。
※知っているからクリックするのか、クリックして知ったのかは明らかにできませんが、各バナー配信対象の商品認知率を同等と仮定すると、どちらにせよサイト来訪で良い、との結論で進めます。
今回は解説なのでCPC以外にもいろんな指標をみていきます。
無料検証ツール（Webサイト）のご紹介
細かい理論はほっといて、とりあえずこうすれば出るよ、というサイトを紹介します。
https://bellcurve.jp/statistics/blog/13953.html
使い方はとっても簡単
今回はCTRの検証なので、nにImp、該当者にClickを入れるだけ！
両側P値の値が、0.05以下：95%の確率で差がある（通常これでOK）という意味です。
・・というわけで、今回の報告は、
商品認知にもっとも効いていたのは一番上のバナーです。
CTR（クリック率）が統計的に有意に高い結果でした。
理由ですが、一番下のバナー同様商品名がわかりやすかったことに加え、積立型の保険であることや月々の掛け金が目立ったからだと思います。
次のテストは、積立保険を立たせたもの、アニメキャラを立たせたもの、保険料を立たせたものの３パターンが良いのではないでしょうか。
みたいなことをしれっと報告すれば良いわけです。
性別で見れば、一番下のバナーは女性と相性が良さそうですけどね；；
クリエイティブテストtips
媒体社は儲けたい、という当然の事実を忘れてはいけません。
また、SSP（バナー出面）は大抵の場合、表示に対して課金している、という事実も覚えておくべくべきです。
つまり、ユーザーがCPCやCPAで入札をコントロールしていたとしても、媒体としてはCPMの高いバナーに寄せて配信したがる傾向にあります。
それがつまり、クリエイティブの品質スコア（の要素の一つ）です。
例えば先ほどの例を、獲得単価（CPA）で比べたとします。
一番コスパよく申し込みを取れるのはどのバナーや！といった感じですね。
CPAで比べると・・
一番下のバナーだけ止めれば良い、という結果に・・？
成果に責任を負わないのであれば、CPAを比べた結果一番下のバナーを止めればいいと思います、と報告すれば良いのですが・・
入札、コントロールできますよね？
もし仮に、入札条件を揃えたらどうなるか、ちゃんとみてみましょう。
よく見ると、一番下のバナーはCPMが高い＝入札単価を上げてもCPCが見合うので、媒体社が儲けにきている、と考えることもできます。
（もちろん、CPMを上げないと配信できないほど広告の評価が低い場合もありますが、CTRは真ん中なので、このバナーのCPMが一番高くなる理由にはなりませんよね？）
そこで、CPMを揃える（入札方法としては、バナーによって許容CPCを変える）オペレーションをした場合の成果を想像します。
仮に、一番下のバナーのCPMを100円まで下げると・・
CPAは一番下のバナーがもっとも安価に！
で、このCPMを揃えて見る、という見方は、実は、CTVRで判断するのと同じです。
CPA=Cost/CV
Cost/CV=(Cost/Imp)*(Imp/Click)*(Click/CV)=CPM/1000*(1/CTR)*(1/CVR)=CPM/CTVR/1000
なので、
CPA=CPM/CTVR/1000
な訳です。
もし仮に、CPMを揃えたとすると、CTVRが大きい＝分母が大きい＝CPAは小さくなる、といった感じで、CTVRが大きいものがもっともCPAが安くなりうる、との結果になります。
CTVRで、判断しましょう。
ちゃんと理解したい人へ
統計について解説しているサイトはいっぱいあります。
比率 統計、などで検索してみてください。
カイ2乗検定、というやつです。
このサイトもわかりやすい
