Hal-hal yang Perlu Diperhatikan saat A/B Testing

Karena pada dasarnya A/B testing adalah membandingkan hanya satu variabel dalam satu waktu. Jika menguji beberapa variabel bersamaan, hal ini disebut dengan multivariate testing.

Tentunya, melakukan pengujian beberapa variabel secara bersamaan akan membuat kita sulit untuk menentukan variabel mana yang memengaruhi keberhasilan atau kegagalan pengujian.

Itu sebabnya, hindari menguji banyak variabel secara bersamaan dan fokus hanya pada satu variabel saja.

Sebagai contoh, ada banyak kemungkinan mengapa halaman sebuah website menghasilkan conversion rates yang rendah. Beberapa di antaranya karena faktor tampilan website (desain), faktor copywriting pada banner, atau bahkan sesimpel warna button.

Dari sejumlah variabel tersebut, kita bisa menguji semua variabel yang ada tetapi harus dilakukan terpisah.

Misal, hanya memilih copywriting sebagai variabel yang akan diuji terlebih dahulu.

Menentukan goal atau tujuan sebelum memulai A/B test menjadi hal penting karena akan membuat uji coba lebih terarah dan terukur. Sejatinya, bisnis punya tujuan yang ingin dicapai, oleh karena itu dilakukanlah A/B test ini.

Ada banyak goal atau tujuan yang dapat ditentukan ketika melakukan A/B test ini. Beberapa di antaranya adalah bertujuan untuk:

• meningkatkan traffic,
• click through rate,
• perolehan leads,
• open rate, atau bahkan
• conversion rate.

Lalu, dari beberapa metriks tersebut, pilih salah satu yang dapat dijadikan sebagai goal atau tujuan dalam melakukan A/B test.

Hipotesis adalah jawaban sementara (atau dugaan) dari proses pengujian suatu variabel. Tujuannya untuk menguji apakah suatu treatment memberikan perubahan atau pengaruh signifikan terhadap suatu kondisi atau tidak. Membangun hipotesis ini penting dilakukan ketika melakukan A/B test.

Namun, perlu diingat bahwa untuk membangun hipotesis, harus berdasarkan riset atau data-data sebelumnya.

Sebagai contoh, dari hasil analisis sebelumnya ditemukan bahwa button pada halaman produk kurang standout karena menggunakan warna abu-abu, sehingga mengakibatkan pengunjung website tidak melakukan klik.

Untuk itu, hipotesis yang feasible adalah dengan mengganti warna button dari abu-abu menjadi biru kemungkinan akan lebih menghasilkan klik.

Maka, hipotesis yang dapat dibangun adalah warna button biru lebih menarik perhatian audiens untuk melakukan click dibandingkan warna abu-abu.

Selain itu, kesalahan dalam membuat hipotesis, dapat mengakibatkan kita harus mengulang proses untuk mendapatkan hasil yang akurat.

Itu sebabnya, lakukan riset dan evaluasi tentang program yang akan diuji sehingga hipotesis yang dibangun pun lebih akurat.

Setelah menentukan variabel yang akan diuji, salah satu cara menentukan sampel dalam A/B testing adalah dengan menggunakan metode random sampling.

Selain itu, hindari melakukan pengujian pada total sampel dalam jumlah yang sedikit, mengingat penggunaan sampel dalam jumlah besar biasanya akan lebih akurat dibandingkan menggunakan sampel dalam jumlah yang kecil–atau kamu sebaiknya melakukan analisis lebih lanjut tentang jumlah sampel yang ideal ketika melakukan split testing ini.

Melakukan pengujian kedua variasi dari sebuah variabel secara simultan atau bersamaan akan memudahkan saat membandingkan hasil. Bila tidak dilakukan secara bersamaan, hasil yang didapat berpotensi berbeda atau bahkan tidak valid.

Misalnya ketika akan menguji dua banner untuk program promosi di website.

Banner A menampilkan visual berupa foto seorang model, sedangkan Banner B menampilkan visual berupa ilustrasi.

Maka, saat melakukan A/B test, harus diuji keduanya secara bersamaan.

Durasi pelaksanaan A/B test tergantung dari sejumlah faktor. Namun, melakukan pengujian dengan durasi yang terlalu singkat kerap membuat hasil tidak signifikan. Mengutip dari VWO, hal yang perlu diperhatikan saat menentukan durasi pengujian sebaiknya berdasarkan sejumlah faktor seperti existing traffic, existing conversion rate, perbaikan yang diharapkan, dsb.

Itu sebabnya, maksimalkan proses A/B test dengan memerhatikan faktor di atas.

Tidak perlu terburu-buru menyelesaikan A/B test dalam durasi singkat. Hal terpenting adalah kita bisa mendapatkan hasil yang signifikan diantara kedua variasi sebuah variabel yang diuji.

Setelah proses A/B test selesai dan telah didapat salah satu variasi yang signifikan, tentunya kita dapat segera menerapkan hasil dari testing tersebut. Selain itu, lanjut melakukan optimisasi pada fitur lainnya juga bisa jadi pilihan optimasi yang tepat.

Misal, bila kita telah melakukan uji coba pada headline sebuah landing page, kita juga bisa melakukan uji coba pada body copy, gambar, atau bahkan elemen warna.

Namun, bila hasil A/B test sebelumnya tidak menunjukkan hasil yang signifikan, bisa dilakukan uji coba pada variabel yang sama atau bahkan berpindah pada variabel lainnya.

Nah, yang perlu diperhatikan, kita harus benar-benar melakukan riset terhadap variabel-variabel yang ada. Tentunya, agar ke depannya tidak lagi salah sasaran dalam melakukan A/B test.

Ada banyak cara yang bisa kita lakukan untuk melakukan riset demi menemukan variabel yang tepat.

Beberapa di antaranya mengumpulkan data menggunakan tools seperti Google Analytics, social media analytics tools, dsb.

Bukan hanya itu, kita pun bisa mengumpulkan data dengan menggunakan metode survey ataupun wawancara singkat dengan target audiens kita–ini yang beberapa kali Pacmann lakukan dan membantu memberikan insight untuk optimasi ke depannya.

Demikian beberapa hal yang perlu kamu ketahui sebelum melakukan A/B test.

Terapkan beberapa tips di atas dan lakukan proses A/B test secara berkala. Dengan begitu, besar kemungkinan akan membantu bisnismu mudah meraih conversion rates atau metriks lainnya.

Bila kamu ada pertanyaan atau diskusi lainnya terkait A/B test, jangan sungkan untuk reach out Pacmann di Twitter, ya!

Simak juga tips dalam melakukan A/B test dan contoh use case A/B test beserta impact-nya.

Selamat menjalankan A/B test!

Further reading:

How to Run A/B Test