「A/Bテストはやったほうがいい・やらなくていい」という議論をすること自体が間違い!
2020年6月22日
『課題発見→課題解決の仮説設計→仮説の検証→検証結果の分析→仮説の良し悪しの判断→仮説の常態反映又は見直し』

何かを改善していくというプロセスにおいて、基本的な流れは上記であると誰もが認識していると思います。

これはただの正論や、教科書に載っている見本的なものではなく、定常的に履行しなくてはいけないプロセスです。状況によりどこから始めるとか、簡易的に始めるとか、様々なスタート地点はあっても良いと思います。


しかし、
その中でも決して外してはいけないプロセスが「仮説の検証」、すなわちA/Bテストです。
 
https://www.pakutaso.com/20161020305-hr-by.html
 
 
 

相対的に見て状態を判断する

 
モノゴトの良し悪しの判断は相対的に見るのが基本です。
相対的に見ることで様々なものが、どの様な状態であるのかを認識することが可能です。
●背が高い
●声が大きい
●優しい人
●顔が濃い。。。。
 
これらは全て比較があるから、そのように表現することが出来ます。
この時の比較には時間軸の縛りは基本ありません。
 
●背が高い
自分が今まで出会った人の中で考えると、「背が高い」
 
●声が大きい
今、ここにいる人たちの声の大きさを比べたら●●さんが「声が大きい」
 
●優しい人
よくある”優しい人が好き!”って、これは今までどんな優しさを受けてきたかによって、相手が優しいか、優しくないかの判断が基本はされているはず。
※昔、彼女に「なぜ、あなたは休日の朝に少し早く起きて、朝食を作って枕元に起こしに来ないの?」って聞かれたことがあります。今はすごい大事だと思いますが当時は驚きと反省でした。
 
●顔が濃い
あの人は隣の人より「顔が濃い」
※事実、私、岩本は顔が濃いことを31年間も認識しないまま過ごし、結婚までしました。
 そして、32歳の春に初めて通りすがりの外国の方と自分を比較した感想を人に尋ねた時に認識しました。
 私:「皆に顔が濃いと言われるのだけど、本当に濃いの?例えば、あの外国人と比較してどっちが濃い?」
 Aさん:「同じくらい。」
 私:「うそっ!!」 ← これ。ここで認識。この時が32歳の春です。
 
この様な会話の中における相対的な判断には時に時間軸は必要ありません。
相手とのコンセンサスが取れているのであれば、会話は成立しますし、何か大きなリスクが発生する可能性もないでしょう。
 

デジタル領域における相対的判断

 
一方で、我々はWeb(デジタル)という世界でビジネスを行っている以上、ここを突き詰めていかないとリスクを生み出す、又は、ポテンシャルという可能性をつぶしてしまいます。
※マーケティングはもちろんリアルも含めてですが、テーマ上、断定的に説明します。
 
我々は数字で見られるものに関しては、定量的に判断しなくてはいけません。
先に上げた「背が高い」等の会話と違い、Webにおける定量的なデータを判断する際は、限りなく同条件に近づけた状態で相対的評価が必要になります。
 
理由は、
・競合の動向
・マーケットのトレンド
・特定チャネルからのイレギュラーな流入増
・天気、気温
・時間帯  etc
 
人の行動を変化させる要因は多くあります。
これらを排除するためには、「同じタイミング」で検証して比較する。が、最も適切かつ簡易的な対処になるはずです。
 
しかし、多くのケースで昨年、前月、前週といった過去との比較といった相対的な判断をしてしまっていることがあります。
 
例えば、旅行業のサイトにおいて、
今年はコロナで多くの旅行客が動きませんでしたが、
 
2月後半にGW向けの企画を立ち上げ、その内容を4月頭に変更して「旅行の申込率が上がりました!」って、判断することが適切ではないことは誰もが認識できると思います。
ここで上げたのは極端な例ですが、その他にも気づきづらい変化要素はマーケットに多くあり、それらを認識しないで見る数字は非常に偏った判断になることは明らかです。

 
これは、時間という軸だけではありません。
よくあるA/Bテスト成功事例集。その中で150%上がった他社事例を行った場合にも同じ様に上がるのでしょうか。
上がるかもしれません。けど、「結局、わからない。」というのが実態です。
 
だから、
「A/Bテストはやったほうがいい・やらなくていい」と議論することが自体がズレていると我々は考えます。
 
『課題発見→課題解決の仮説設計→仮説の検証→検証結果の分析→仮説の良し悪しの判断→仮説の常態反映又は見直し』
 
「仮説の検証」はやらなくてはいけない、むしろ最も外してはいけないプロセスの1つです。
 

まとめ

「仮説検証」は実施しましょう。
また、正しい検証環境で実施しましょう。気軽に、そのような検証が出来る環境を常に用意しておくことが大事ですし、
この様な考えが個人、チーム、組織に文化として根付くことが非常に重要です。
所詮、Try & Error!されど、、、、。
 
実際、やってみるとただ2つのパターンを流しただけなのに多くの発見があります。
意図した数字の変化、意図しない箇所の数字の変化。
意図しない数字の変化を突き詰めると、新しい発見があり、そこを検証することで本流の数字を改善していくことに寄与したりします。
 
是非、「仮説検証」を大事に行ってください!
Happy Testing!
 
 

「無料オンラインABテスト相談」のお知らせ

現在、アッションでは毎週木曜日に無料オンラインABテスト相談を受け付けています。
今回の様なお話等を相談者様の具体的な課題に合わせて回答しておりますので、是非お気軽にご登録ください。
 
 

ご質問やお問合せに関して

お客様のCROのどんなお悩みでも我々アッションはいつでもお力添えさせていただきますので、小さなお悩みだったとしても、お気軽にご相談ください。


ABテスト事例

一覧へ戻る