はじめに
プロダクトチームの克海です。PdMの補佐をしながらプロダクトのデータアナリストをしています。 本記事ではアプリでのABを始めようといしている方に向けてのABテストの実施の流れと事例についてまとめた記事になります。
ABテストとは？
ABテストとはランダム化比較試験ともいれる実験手法です。検証対象をランダムにグループ化して別々の介入をすることで「介入の効果」を図る手法の一つです。
メールマーケティングや広告、ウェブページの改善などのデジタルマーケティングや医学現場でも使われている手法で、多くの実験では変更を加えない「コントロールグループ」と、変更を加える「テストグループ」を作り、実験を行います。実験を開始して2つのグループの違いを検証します。2つのグループに対して介入以外同一条件な状態を作ることで、バイアスがない状態で比較することができます。 実験を繰り返すことで、ユーザーが求めている価値の知見をため、サービスやアプリの最適化していくことができます。今回の記事では、ABテストした流れと結果について記載します。
目次
なぜABテストを始めるのか？
もしデータがあるなら、データを見る。 もし意見しかないのなら、私の意見で行く。— Jim Barksdale (Netscape社の元CEO)
この引用はデータ分析においてすきな名言です。
タイミーでは、サービスの認知度が増えたことや全国展開により一定以上のユーザーの利用がある状態になりました。 ユーザーの利用データも集まるようになり、開発チームも定量的データの分析を利用した開発の意思決定や開発の効果測定をし開発へフィードバックを利用して、開発価値を最大化していく必要がありました。
取り組みの流れ
改善を始める前に、取れているデータを整理したり、必要に応じて追加のデータを集める作業を行いました またチームとして現状の数字の感覚を掴んでもらうためにも、ダッシュボードを作成し、毎日主要な数字を見てもらえる状態を作りました。数値の理解度が上がった段階で下記の流れで、ABテストを開始しました。
課題の洗い出し
定性的なユーザーからのお問合せや、定量的なデータを分析しユーザーの課題をいくつか発見します。
実装のアイデア出し
重要そうな課題に対してチームで解決のアイデアのブレストを行いアイデアを出します。
実装
影響力、工数を考慮しながらプロダクトオーナーと相談しながら実装する内容を確定します。 プロダクトオーナーと相談し、実装しています。
計測・振り返り
FirebaseAB Testingを利用してABテストを実行し、Google Analyticsを利用して計測しています。 有意差については今回深くは書きませんがABテストの結果が偶然によって起こる割合を出し、結果が誤差ではないことを判断します。
有意差の検定にはDataStudio や Pythonを使っています。弊社にはDRE(Data Reliability Engineering)チームが存在し、GoogleAnalyticsやプロダクトのデータをBigQuery上から分析する仕組みが整っています。様々な数字の変化をレポートにまとめ、振り返りを行い次の開発やアクションを決めています。
タイミーでの実際のやり方
以降ではタイミーで実際にABテストを行った際に各工程で行ったことをお伝えします。 課題の洗い出しは業務の中で複数並行して調査しています。また、実装のアイデア出しは効率化のため複数のテーマのブレインストーミングを同時に行っております。事例の中では関連のある部分を抜粋して取り上げます。
事例1 日付移動のスワイプを追加する
課題の洗い出し
アプリのファネル分析をする中で登録から求人を見るまでに大きくワーカーが離脱する箇所がありました。 深堀りしていく中でワーカーが求人を探す段階で、より未来の求人を見るユーザーの割合が少ないことがわかりました。 ユーザーが日付移動に課題がありそうだとと分析しました。
実装のアイデア出し
過去のUIでは、画面上部のボタンでしか移動することができないため気軽に移動することができませんでした。 その際に考えたアイデアが以下のようなものです。
- 画面内の任意の位置の横スワイプで日付を変更する
- カレンダーの右端に右矢印をつける
- カレンダーの使い方を説明するチュートリアルを作成する
実装
プロダクトオーナーと相談し、標準カレンダーにあるような横スワイプで移動する実装が直感的で効果が高く、かつ工数が低いと推定しこのアイデアを採用しました。
計測・振り返り
リリース後は今までの数字との大幅な数字のブレが起きていないか数字で確認しながら、有意差を確認できるまで各種数字を見ながら計測していきます。今回追加した機能はアクティブユーザーの約3割が利用しており、複数の日程も見られるようになりました。しかしながら申込み人数の増加は増えず、登録から稼働までのファネルは改善しませんでした。知見としてレポートにまとめ、マッチングを増やすための、別の手段を検討しました。
事例2 市区町村に関連する情報を一覧に追加する
課題の洗い出し
求人の数も増え始めユーザーは多くの求人から、自分に合った求人を選ぶ必要性が出てきました。 改善要望にも、より詳しい勤務地を用いた検索がほしいという声が多くありました。
実装のアイデア出し
過去のデザインでは都道府県に関する検索はできるものの、求人のより詳細な勤務地は詳細画面に進まないと確認することができませんでした。
- 距離を利用した順番にする
- エリア指定で検索できる
- 市区郡に関連する情報を一覧に追加する
実装
勤務地が遠い求人が一覧画面からわかることの影響力を高く評価し、工数との比較から市区町村の情報を一覧画面に追加する実装を行いました。
計測・振り返り
申込数が増え案件表示数が減る結果になりました。また市区町村の情報を見つけやすくなったことでお気に入り関しても微増しました。申し込み率に対して有意差ありで約10%も改善しました。レポートにしてチームの知見として蓄積しています。
まとめ
今回は２つのABテストについて紹介しました。弊社では様々なABテストを行っています。仮説通りユーザーに受け入れられるのか、ユーザーが求めているものの解像度を上げ知見を増やしていくためにもぜひ、ABテストに挑戦してみてはいかがでしょうか？是非参考にしてみてください。
