All Articles

効果検証入門〜正しい比較のための因果推論計量経済学の基礎の読書メモ

効果検証入門〜正しい比較のための因果推論計量経済学の基礎をおすすめしたい人

効果検証入門〜正しい比較のための因果推論計量経済学の基礎の概要

効果検証入門〜正しい比較のための因果推論計量経済学の基礎の章立て

  1. セレクションバイアスとRCT

セレクションバイアスとRCT

例: 広告の出稿によって売上が増加した時、広告の出稿をアクション、変化した売上の値を効果となる。 しかし、実際は複数の施策や環境の変化などの要因が効果として現れる可能性がある。 これらの要因を無視すると意思決定を誤る。 要因による影響を取り除く必要性がある！

「すでにメールが送信されて購買行動も観測されたあとに、このような効果に関する分析の依頼があります。」 あるあるすぎて、つらい…

メールマーケティングで、買いそうな人に送信した時、購入しそうな人を集めた人を集めてしまう。

メール配信なしグループの購買量: メールがなくても買う量(メール配信なし) メール配信ありグループの購買量: メールがなくても買う量(メール配信あり) + メールの効果

メール配信なしでの購入者よりも買う確率が高いので、メールがなくても買う量(メール配信なし) < メールがなくても買う量(メール配信あり)となってしまうため、効果量を大きく見せかけてしまう。

疑問: メール配信なしのグループもありのグループと同様に、購入しそうな人を集めた場合は大丈夫になるの？

本当の「効果」と理想的な検証方法とは？ 「まったく同じサンプルで比較する」つまり、同じ人に、メールを送る・送らないだけが異なるというパラレルワールドへ引き摺り込むことが理想的(タイムトラベルでも可、どっちも実現性なし！) タイムトラベルはないが、RCT・ABテストで理想に近づける

直接観測できない対象について、あれこれ考えても基本的には不毛。 各ユーザーごとに考えるのではなく、配信されたユーザーのグループと配信されなかったユーザーグループの二つのグループ間の比較に目を向け、平均的な効果について考える。

  • 平均的な効果 = 介入を受けた場合の期待値(平均) - 介入を受けなかった場合の期待値(平均)
  • 介入を受けた場合の期待値(平均) = 平均的な効果 - 介入を受けなかった場合の期待値(平均)

RCTの実行はコストが高い: ビジネス観点で行くと売り上げが下がる可能性がある。

引用: 計量経済学や因果推論は、このような理想的にはRCTでデータをデザインして分析したいがそれが不可能という状態において、RCTの結果を近似するような方法論を提供してくれます。 しかしながら、計量経済学や因果推論の方法は、データを入力すると自動的に分析の結果を出してくれるわけではありません。 分析者が対象となる事象の理解、特にセレクションバイアスの理解から分析を設計する必要があります。

セレクションバイアスは意味不明な謎の現象によって起きるわけではなく、介入を選択できる人やシステムが利得を高めようと選択した結果とし現れるため、これらの行動についてよく理解できれば、誰のどのような意思決定がセレクションバイアスを生むかをある程度は想定できるということになります。

2章: 介入効果を測るための回帰分析

  • 単回帰分析: 目的変数Yと入力となる変数Xについて、XとYの関係性を分析し、Xが1単位増減した時に、Yがどの程度変動するかを出力する。
  • 最小二乗法(Ordinary Least Square:OLS): 回帰分析における誤差の2乗を最小にするように回帰分析のパラメータをデータから推定する操作のこと

  • 効果分析のための回帰分析では以下の3種類の変数が登場する

    • 被説明変数(Y: dependent variable):介入による効果を確認したい変数
    • メールの例では、購買量
    • 介入変数(Z: treatment variable):施策の有無を表す変数
    • メールの例では、配信するか否か
    • 共変量(X: control variable):セレクションバイアスを発生させていると分析者が想定する変数であり、介入・施策の有無で傾向が異なっていると想定される変数です。
    • メールの例では、昨年の購買量・最後の購買が何日前かといったメールを送るユーザを選定するときに考慮している変数
    • 共変量は一つに限らず複数の変数であることがほとんど。
  • 重回帰分析: 複数種類の変数をモデルに含む回帰分析
  • 回帰分析: 母集団上での回帰式を仮定に基づいて作成し、回帰式の中のパラメータを手元にあるデータで推定するプロセス
  • 条件付き期待値

  • R

    • lm(): データと回帰式を入力すると回帰分析の結果を返してくれます
    • summary(): 回帰分析の結果をレポート Coefficients: 推定されたパラメータの値とその標準偏差やt検定の結果が表示されています。 Estimate: 推定されたパラメータの値が入っています。

βtreatment以外のパラメータの推定値について

  • 一見重要な情報をもたらしているように思える
  • 解釈を基にさまざまな議論をしたくなる欲求に駆られる
  • 効果検証のための回帰分析では、βtreatment以外の推定結果には基本的に興味がない
  • それらのパラメータの値が本当の効果を表すようになる努力も行わない
  • 介入効果を示すパラメータ以外については無視することになる

予測を目的とした分析を行う場合では、予測能力を担保するための知見が集約されている機械学習を利用することをお勧め

共変量とセレクションバイアスの関係性

回帰分析でセレクションバイアスを小さくなるような推定を行うためには、共変量を正しく選択する必要がある。 共変量の選び方は？

共変量を追加することで、推定される効果が変化する仕組み

  • Q:「セレクションバイアスの影響をより小さくするためにどのような共変量をモデルに追加すべきか？」
  • A:「目的変数Yと介入変数Zに対して相関のある変数を追加すべき」

脱落変数: 本来必要だがモデルから抜け落ちている変数 脱落変数バイアス(Omitted Variable Bias / OVB): 脱落変数を持つモデルから得られた効果の推定結果は、本来の効果と何らかの値が混合している。この混合された値のことを脱落変数バイアスと呼ぶ。「α1 = β1 + γ1β2　の　γ1β2部分のこと」 γ1β2: XomitとYの相関に、ZとXomitの相関を掛けたものということになる。共変量Xomitが省略されることにより、XomitがYに与える影響が、XomitとZとの相関を通してZの効果として表れているように見えている

交絡因子: 介入変数Zと目的変数Yの両方に関係のあるような変数のこと

効果検証入門〜正しい比較のための因果推論計量経済学の基礎の感想

効果検証入門〜正しい比較のための因果推論計量経済学の基礎に出てくるキーワード

  • 効果: 何らかのアクションを取った際に発生するKPIに与えた影響のこと
  • アクション: 施策、介入、処置のこと
  • バイアス: データから得られた分析結果と本当の効果の乖離
  • セレクションバイアス: 比較しているグループの潜在的な傾向が違うことによって発生するバイアスのこと
  • 潜在的な購買量: 何もしなかった場合に起きる売上
  • 因果推論の根本問題: 介入を受けた状態と受けていない状態を同時に観測できないため、効果そのものを観測できないと言う問題
  • RCT: 無作為化比較試験,Randomized Controlled Trial, ABテストとは効果を知りたい施策をランダムに割り振り、その結果として得られrたデータを分析して比較すること
  • 母集団: 観測されたデータの背後にある、潜在的に観測し得るすべてのデータを含む集合
  • 推定: 手元のデータから母集団の性質を推測すること

  • ポテンシャルアウトカムフレームワーク: 介入が行われた場合の結果と行われなかった結果があることを考え、その差に介入の本当の効果があると考えること

    • ポテンシャルアウトカム: ポテンシャルアウトカムフレームワークの考え方において、観測されない側の結果のこと
  • 平均処置効果: 介入を受けた場合の平均と介入を受けなかった場合の平均の差。Average Treatment Effect, ATE
  • 条件付き期待値: ある変数(Z)がある値を取るときの、別の変数(Y)の期待値のこと
  • 有意差検定: 介入Zの効果の推定結果が偶然得られた可能性について検証する

  • t検定のプロセス

    1. 標準誤差の算出
    2. 効果の推定値と標準誤差を使ってt値を算出
    3. t値を使ってp値を算出
    4. p値を有意水準と比較する
    5. 有意水準を下回る場合: 統計的に優位な値であると評価し、本当は効果が0であるというケースを形式的に否定することになります。
    6. 有意水準を上回る場合: 本当の効果が0であるというケースを否定しきれないという解釈になります。本当の効果が0であるということではないことに注意が必要。
  • 中心局限定理: 充分なサンプルサイズがある場合、手元に得られたデータにおける平均の分布は元々のデータがどんな分布であれ正規分布で近似できること
  • 標準誤差: 推定されたパラメータの値、つまりデータ上のグループ間の平均の差が、母集団におけるグループ間の期待値の差からどの程度ずれているのかを示す値
  • 母数: 母集団上にあるパラメータの真の値
  • t値: グループ間の平均の差が標準誤差の何倍あるか？
  • p値: p値は得られた推定結果が本当の効果が0であるにもかかわらず得られてしまう確率を示す

Published 18 May 2022

Yona .Yona on Twitter