手法
関係が見えても、原因とは限らない
二つが一緒に動いていることと、片方がもう片方を起こしていることは違う。
一緒に動くものは、たくさんある
データを見ていると、二つの数値が一緒に動いていることに気づきます。「よく使う人ほど満足度が高い」「案内を読んだ人ほど継続している」。ここから「使わせれば満足する」「案内を読ませれば続く」と結論すると、たいてい外れます。
一緒に動いている理由には、少なくとも三つの可能性があります。
- 満足している これが先
- よく使う こちらが結果
逆かもしれない。 満足しているから使うのであって、使うから満足するのではない、という順序です。案内を読むのも、続ける気がある人が読んでいるだけかもしれません。
- よく使う
- 案内を読む
- 継続する
第三の要因があるかもしれない。 熱心な人は、よく使うし、案内も読むし、継続もする。この場合、使用も閲覧も継続も、すべて「熱心さ」の結果です。片方を増やしても、もう片方は動きません。
選ばれ方が偏っているかもしれない。 続けている人だけを見て「使用量が多い」と言っても、やめた人を見ていなければ何も言えません。
| 見ているもの | 見えていないもの | 起きること |
|---|---|---|
| 続けている人の使用量 | やめた人の使用量 | 「使うと続く」に見える |
| 導入した企業の成果 | 導入を見送った企業 | 効果が過大に見える |
| 回答してくれた人の満足度 | 回答しなかった人 | 満足度が高く見える |
だから、比べる相手を作る
この三つを切り分けるために、比較対象を置きます。
同じような条件の集団を二つ用意して、片方だけに手を打つ。あるいは、手を打つ前と後で同じ人を追う。「打ち手があった場合となかった場合」を並べられる形にすることが、原因を言えるかどうかの分かれ目です。
比較対象は、何もしない集団とは限りません。通常のやり方と比べる、別の手段と比べる、という選び方もあります。何と比べたのかによって、言えることの範囲が変わります。
言い切れる範囲を、先に決める
ヘルスケア領域では、言い過ぎた主張が後で事業を止めます。だからこそ、設計の段階で「この方法で確かめると、何がどこまで言えるのか」を確認しておきます。
| 確かめ方 | 言えること |
|---|---|
| 見ただけ | 「こういう傾向がある」 |
| 前と後を比べた | 「変化があった」 |
| 比較する集団を置いた | 「効いた可能性が高い」 |
| 割り付けを無作為にした | 「効果があると考えられる」 |
設計が、主張できる強さを決めます。 あとから言葉だけ強くすることはできません。
これは制約のように見えますが、実際には逆です。言える範囲が確定していれば、その範囲の中では堂々と言えます。現場が安心して使える説明とは、そういうものです。
お問い合わせは hiluco.jp のフォームにまとめています。