その施策は本当に効いたのか — データが許す因果測定（因果編）
「上がった＝効いた」ではありません。取引件数が少なく単一市場のB2BではMMMやgeo実験は原理的に成立しない——その線引きと、実験が打てない現場でCausalImpact等で因果に迫る判断、新チャネルを「実験面」として設計する考え方を、匿名化した実在案件で解説します。
by Shin
「キャンペーンの後に問い合わせが増えた。だから効いた」——この推論が誤りであるケースは往々にしてあります。増えたのが施策のおかげなのか、季節やトレンドのせいなのかは、相関だけでは区別できません。実験（A/Bテストや、配信を止めて残しておく対照群＝holdout）が打てない現場でも因果に迫る道具はありますが、自社のデータ構造で「どの道具が使えるのか使えないのか」は最初から決まっています。この記事では、取引件数が少なく単一市場のB2Bという構造で、何が成立し何が成立しないか、そして因果を取りに行く順序を整理します。
前提となる「何を測るか」は記述・予測編で扱いました。本記事はその上に、「測定できた変化が施策のせいだと言えるか」を重ねます。
「効いた」と言うために必要なもの
因果を主張するには、反実仮想——「もしその施策がなかったら、どうなっていたか」——という比較対象が要ります。観測できるのは「施策を打って、こうなった」という一本の事実だけで、打たなかった世界は見えません。だから「上がった」という観測だけでは、それが施策のおかげかどうかは原理的に言えません。
ありがちな落とし穴がセレクションバイアスです。もともと成約しそうな相手に施策を当てていれば、施策の有無にかかわらず成約は出ます。これを施策の効果と読み違えると、効いていない施策に予算を積み増すことになります。相関と因果の区別は、ここで具体的なお金の判断に直結します。
（自社の構造を6軸で見立てる手順は記述・予測編に譲り、ここでは因果を左右するゲートを掘ります。）
なぜ取引件数の少ない単一市場では「王道の因果手法」が成立しないのか
マーケで語られる強力な因果手法には、それぞれ前提があります。前提を欠く構造では、どれだけ工数をかけても原理的に成立しません。先に除外しておくことが、最大の事故回避です。
| 手法 | 何を前提とするか | 取引件数の少ない単一市場のB2Bで難しい理由 |
|---|---|---|
| MMM | 週次で1.5〜2年の履歴と、各週に十分な成果件数 | 成果が少なく履歴も短い。推定が安定しない |
| 地域実験（geo） | 比較可能な地域が複数あること | 商圏が単一集中だと対照地域を作れない |
| uplift | ランダム化された配信ログ | ランダム割付の配信面がそもそも無い |
実験が打てない現場で因果を取りに行く
王道が使えなくても、観測データから因果に迫る道具箱があります。判断に必要な範囲で前提だけ示します。
- 回帰調整・傾向スコア：観測できる交絡（来訪頻度・流入経路など）を統計的に揃える。揃えられるのは「観測できた」交絡だけ、という限界がある。
- DiD（差分の差分）：処置群と対照群があり、施策前のトレンドが平行であること。
- RDD（回帰不連続）：会員ランクの閾値など、明確な「線引き」の前後を比べられること。
- CausalImpact（ベイズ構造時系列）：LP刷新や配信開始のように「いつ起きたか明確な離散介入」と、その介入の影響を受けない無影響なコントロール系列があること。
取引件数が少なく単一市場のB2Bで現実的に最初に効くのはCausalImpactです。比較可能な地域も明確な閾値も乏しい一方で、「明確な介入時点」は自分で作れるからです。LP刷新やメルマガ開始の前後を、ブランド検索や別チャネルのオーガニックなど影響を受けない系列を対照に置いて、増分を反実仮想として推定します。
upliftの前に「面」を作る — 新チャネルは配信増ではなく実験面
「誰に送ると効くか」を当てるuplift modelingは、ランダム化された配信を前提とします。だから新チャネル（LINE・メール）の導入を「配信を増やす施策」と捉えるのは、もったいない見方です。正しくは「ランダム化できる面を獲得する機会」です。
具体的には、配信対象を送信群と非送信群（holdout）に最初からランダムに割り付け、その割付を記録しておきます。これだけで、観測手法が因果手法に格上げされ、後からupliftが解禁されます。holdoutは後付けできないので、配信基盤の設計時点で仕込むことが肝心です。因果の確信度を最も大きく引き上げられるのは、いつでもランダム化（RCT）です。
やらない判断と発動条件
成立しない手法は、「やらない」だけでなく「これが揃ったら再評価する」という発動条件とセットで記録します。これ自体が意思決定の質を上げます。
| 手法 | 今やらない理由 | 発動条件（再評価のトリガー） |
|---|---|---|
| MMM | 履歴と成果件数が不足 | 支出系列が揃い、週次履歴が2年規模になったとき |
| 地域実験 | 比較地域が作れない | 多市場・多エリアへ展開したとき |
| uplift | ランダム化配信が無い | holdout付きの新チャネル配信が走り出したとき |
「比較可能な単位」が因果のゲート
6軸のうち因果の可否を最も左右するのが「比較可能な単位」です。単一市場に集中していると、DiDやgeo実験の対照が作れません。逆に、多市場・多店舗へ広がった瞬間にこれらの手法が一気に開きます。つまり事業の拡大計画と測定計画は連動していて、「いつ市場を増やすか」は「いつ地域因果が使えるようになるか」でもあります。
意思決定への接続（まとめ）
因果測定が動かすのは、施策の継続か打ち切りか、次の投資判断、そして（ランダム化を仕込んだ後は）配信対象の選定です。施策を動かさないのに測るのは分析コストの無駄遣いです。そして観測ベースの推定には必ず限界——交絡の取りこぼし、反実仮想の質——があります。結論を報告するときは、その限界を添えるのが誠実なやり方です。数字が一人歩きして「効いた」と断定されることこそ、避けたい事故です。
章末チェックリスト
- 「上がった」を「効いた」と言い換えていないか（反実仮想はあるか）
- MMM・地域実験・upliftが自社の構造で成立するか、先に判定したか
- 明確な介入時点があるか（CausalImpactの前提）
- コントロール系列が介入の影響を受けていないか確認したか
- 新チャネルにholdout（ランダム割付）を最初から設計したか
- やらない手法を、発動条件とセットで記録したか
ここまでは「効いたと言えるか・どの手法が許されるか」の判断です。DiD・RDD・CausalImpactなどの実装は、対になる観測データで因果を取りに行く：回帰調整・傾向スコア・DiD・RDD（実装編）で具体的に扱います（本記事のbridge先）。土台となる「何を測るか」がまだなら、記述・予測編へ戻ってください。