効果を測る前に決めること

「効果を測りたい」の前に決める3つ

実施したあとで「効果を測りたい」と言われることがよくあります。しかしその段階では、たいてい手遅れです。比較する相手がいない、開始前の状態が記録されていない、測り方が途中で変わっている。

先に決めておくのは次の3つです。

目的と仮説 — 「何が、何に対して、どう効くのか」を一文にします。「〇〇を行うと、△△の指標が改善するはずである」という形まで書けなければ、まだ設計が足りていません。

やることの定義 — どんな手段で、どのくらいの頻度・期間・方法で行うのか。誰がやっても同じようにできる状態にしておきます。ここが曖昧だと、効果が出ても再現できません。

比べる相手 — 何もしない場合と比べるのか、通常のやり方と比べるのか、別の手段と比べるのか。比較対象がなければ、変化が起きたのか、もともとそうだったのかを区別できません。

測るものの「型」を決める

もう一つ、見落とされやすいのが数値の型です。集めたあとで型が違うと気づくと、分析ができません。

段階評価を単純に平均していいのか、分類ごとに分けて見るべきか。これは集める前に決まっている必要があります。

数値だけでは足りない

定量的なデータと、定性的な声の両方を取ります。

数値は「変わったかどうか」を示しますが、「なぜ変わったのか」「どこが使いにくかったのか」は示しません。使っている場面を一人観察するだけでも、数値からは出てこない気づきが得られます。

嗅覚の調査では、「香りに気づけていない人が約70%」という数値と、「不調を自覚している人は約20%」という数値の差が意味を持ちました。片方だけでは、この構造は見えません。何と何を並べると意味が生まれるかまで、設計に含めます。