「大人の教養・知識・気付き」を伸ばすブログ

一流の大人（ビジネスマン、政治家、リーダー…）として知っておきたい、教養・社会動向を意外なところから取り上げ学ぶことで“気付く力”を伸ばすブログです。データ分析・語学に力点を置いています。　→現在、コンサルタントの雛になるべく、少しずつ勉強中です(※2024年1月21日改訂)。

MENU

効果検証入門（01/08）

経済学 機械学習

　計量経済学の知見をより深めるべく

効果検証入門〜正しい比較のための因果推論／計量経済学の基礎

効果検証入門〜正しい比較のための因果推論／計量経済学の基礎

Amazon

を基に因果推論と計量経済学を学んでいく。

1.　はじめに

  • 効果測定では「測り方が間違い」だったり「思い込みに基づいている」場合がある。
  • 効果の質を高めるのに再現性を求め定量的な効果検証がなされることが多くなってきた。しかしたいていは専門家の主張や「思い込み」を数値的にフォローしただけに過ぎないものになっている。
  • 最近はデータの裏付けが付くことで効果の質を担保することはできつつある。しかし「正しく比較できていないために因果関係を導くことができていない」データ分析が多い。同質でないサンプルを比較することで因果関係が上手く反映されずバイアスの掛かった結果が生じている。
  • 因果推論はこのようにどのようにすればバイアスを取り除き公平な比較をするために用いる統計学の一分野である。
  • 因果推論を因果の問題を欠損値と捉えたDonald Rudinのアプローチと同じ問題をBayesian Networkを出発点とするJudea Pearlのアプローチが存在する。本書は後者を用いて以降では「どのようにすればバイアスを除いたフェアな比較ができ、因果関係を示す正しい効果を得ることができるか」を学んでいく。

2.　選択バイアスとRCT

2.1　選択バイアスとは

　ここではビジネスにおいて何らかのアクションが売上などのビジネス上重要なKPIに与えた影響を効果と呼ぶ。このアクションを施策と呼ぶが、因果推論や計量経済学の分野ではそうした施策を介入もしくは処置という。

例：用語の意味
　広告を出稿したことで売上高が増大した場合、その増大分は広告出稿という介入による売上に対する効果だと言える。
　具体的にECサイトが得られる売上を伸ばすべくメールに割引クーポンを添付する施策を取る。クーポンを受け取ったユーザは普段より安価であることに反応し、本来より多く購買する蓋然性が高い。したがってクーポン添付メールを配信することで潜在的な購買量（何もしない場合に生じる売上）に加えメール効果で増えた購買量が得られると想定する。
　予算の都合で、一部のユーザにのみクーポンメールを送信することとし、クーポン付きメールを送付するという介入がユーザ1人当たりの売上をどの程度増やしたかを議論することとする。

　このとき、入手したデータから、メールを受け取ったユーザの売上と受け取らなかったユーザの売上の傾向を比較し、その結果を基にメール効果を議論する。このときより効率的にマーケティングすべく、ある程度見込のあるユーザをスクリーニングしてメール配信されるはずである。それにより過去の購買量が多いユーザや直近に購買を行ったユーザ、クーポン適用対象商品と同じ商品を購入した経験のあるユーザに配信が集中し得る。これによりメールが配信されないユーザは過去購買をせず最近購買していないユーザになるはずである。このように介入の有無とは別の要因による差異が存在し得る以上、介入による効果が見えなくなる。
　このように「データから得られた分析結果と真の効果との乖離」をバイアスと呼ぶ。更に「比較している集団の潜在的な傾向が相違することで生じるバイアス」を選択バイアスという*1。

2.2　無作為化比較試験(RCT)

　バイアスを除外して分析をするための手法を考える。そのためにもまずは理想的な検証方法を考える。

2.2.1　理想的な検証

　最も理想的な検証方法は「全く同じサンプルで比較する」という方法である。すなわち同じサンプルにおいて介入が行われた場合とそうでなかった場合の両方を比較することを意味する。最もこれは非現実的である。
　このように「分析したい対象が介入を受けている状態か受けていない状態のいずれかしか観測できないために効果そのものを観測できない」という問題を因果推論の根本問題と呼ぶ。

2.2.2　RCTによる検証

　実際に実行可能で最も信頼のおける検証方法は介入を無作為化することである。介入の有無を無作為に選択すれば、介入が行われるサンプルと行われなかったサンプルにおけるその他の要因も平均的には同一になることが期待できる。このように「効果を知りたい施策をランダムに割り振り、その結果として得られたデータを分析して比較すること」を無作為化比較試験(RCT)という。これはまたA/Bテストとも呼ばれることがある。

2.3　効果測定の理想的な方法

2.3.1　母集団と推定

　あるサンプルiに対するメール配信による介入を、メールが配信された場合にZ_i=1、配信されなかった場合にZ_i=0を取る変数を考える。すなわち

\begin{aligned} Z_i=\begin{cases}1,&メールが配信された場合\\ 0,&メールが配信されない場合 \end{cases} \end{aligned}

とする。
　次に介入のあった場合の売上高をY^{(1)}、無かった場合の売上高をY^{(0)}とすれば、サンプルiの売上高Y_iは

\begin{aligned} Y_i=Y_i^{(0)}(1-Z_i)+Y_i^{(1)}Z_i \end{aligned}

と書ける。このようにあるサンプルiにおいて介入が行われた場合の結果Y^{(1)}と行われなかった場合の結果Y_i^{(0)}があることを考え、その差に介入の真の効果があると考えることをポテンシャルアウトカムフレームワークと呼ぶ。

2.3.2　ポテンシャルアウトカムフレームワークによる介入効果の推定

　ポテンシャルアウトカムフレームワークの下では介入の効果\tauは

\begin{aligned} \tau=Y^{(1)}-Y^{(0)} \end{aligned}

で定義できる。しかしここではY_iおよびZ_iのみが観測可能であるから、これを計算することはできない。
　そこで

\begin{aligned} \tau=E[Y^{(1)}]-=E[Y^{(0)}] \end{aligned}

と平均処置効果(ATE)を介入の効果\tauと考えることにする。
　介入の効果\tauを推定する最も簡単な方法は、メールが配信されたユーザの売上の平均とされなかったユーザの売上の平均との差分を取るものである。当該方法で推定した\tauを\hat{\tau}_{\mathrm{naive}}とおけば

\begin{aligned} \hat{\tau}_{\mathrm{naive}}=\displaystyle{\frac{1}{\displaystyle{\sum_{i=1}^{n}Z_i}}\sum_{i=1}^{n}Y_iZ_i}-\displaystyle{\frac{1}{\displaystyle{\sum_{i=1}^{n}(1-Z_i)}}\sum_{i=1}^{n}Y_i(1-Z_i)} \end{aligned}

である。このときnは標本サイズである。しかし、この方法は正しいとは言い難い。　
　介入が行われたユーザの平均は、実はE[Y^{(1)}|Z_i=1]を推定しているのであり、介入が行われないユーザの平均は、実はE[Y^{(0)}|Z=0]を推定しているのである。このように条件付き期待値を推定しているのである。したがって

\begin{aligned} \tau_{\mathrm{naive}}&=E[Y^{(1)}|Z=1]-E[Y^{(0)}|Z=0]\\ &=E[Y^{(1)}|Z=1]-E[Y^{(0)}|Z=1]+E[Y^{(0)}|Z=1]-E[Y^{(0)}|Z=0]\\ &=E[Y^{(1)}-Y^{(0)}|Z=1]+E[Y^{(0)}|Z=1]-E[Y^{(0)}|Z=0] \end{aligned}

である。
　最右辺第1項E[Y^{(1)}-Y^{(0)}|Z=1]はZ_i=1になるようなサンプルにおける効果の期待値である。Zの値と効果の大きさに関係性が無いと仮定すれば、

\begin{aligned} E[Y^{(1)}-Y^{(0)}|Z=1]=E[Y^{(1)}-Y^{(0)}] \end{aligned}

が成り立つから、本当の介入効果を示すことになる。これに対してE[Y^{(0)}|Z=1]-E[Y^{(0)}|Z=0]は介入が行われなかった場合の結果の差を実際に介入のあったグループとそうでないグループとで取ったものであり、選択バイアスそのものである。

今回のまとめ

  • 以降では「どのようにすればバイアスを除いたフェアな比較ができ、因果関係を示す正しい効果を得ることができるか」を学んでいく。
  • 何らかのアクションが目標値に与えた影響を効果と呼ぶ。このアクションを介入もしくは処置という。
  • 「データから得られた分析結果と真の効果との乖離」をバイアスと呼ぶ。更に「比較している集団の潜在的な傾向が相違することで生じるバイアス」を選択バイアスという。
  • 「効果を知りたい施策をランダムに割り振り、その結果として得られたデータを分析して比較すること」を無作為化比較試験(RCT)といい、介入が行われるサンプルと行われなかったサンプルにおけるその他の要因も平均的には同一になることが期待できる。
  • ポテンシャルアウトカムフレームワークの下で介入の効果\tauは
    \begin{aligned}\tau=E[Y^{(1)}]-=E[Y^{(0)}]\end{aligned}
    と平均処置効果(ATE)で考える。

次回

power-of-awareness.com

*1:疫学でいう選択バイアスは得られた標本が本来分析を行いたい母集団から無作為に選ばれていないことを意味する。

プライバシーポリシー お問い合わせ