A/B Testing: Definisi, Manfaat, dan Use Case-nya

Menggali pendapat dari target audiens, tentu penting dilakukan. Mengingat, hal tersebut dapat menjadi insight bagi sebuah bisnis untuk terus berkembang dan mengetahui apa yang diinginkan oleh target audiens mereka.

Nah, salah satu cara yang bisa dilakukan adalah dengan menerapkan A/B testing.

Lalu, apa sih A/B testing itu?

Bagaimana cara melakukan A/B testing yang tepat?

Apa saja manfaat melakukan A/B testing?

Untuk menjawab pertanyaan-pertanyaan tersebut, yuk simak penjelasan tentang A/B testing pada artikel ini.

Definisi A/B testing

Dalam dunia pemasaran, ada banyak strategi yang bisa dilakukan oleh sebuah brand demi menarik pelanggan. Salah satunya adalah membangun sebuah website dengan user experience (UX) yang efektif dan efisien sehingga memudahkan audiens mengakses segala fungsi pada website tersebut.

Nah, untuk menciptakan user experience yang baik, tidak hanya berdasarkan pendapat dan ide-ide dari tim internal sebuah brand, tetapi juga diperlukan adanya insight dan input dari audiens. Demi mendapatkan insight tersebut, brand bisa menampilkan dua sampel dari elemen website mereka (sampel A dan B) untuk membuktikan mana yang lebih efektif.

Maka, proses penggalian insight dari audiens dengan melibatkan dua atau lebih sampel itulah yang dinamakan A/B testing.

Hal tersebut senada dengan definisi dari Scott W. H. Young yang menyebut bahwa A/B testing merupakan sebuah istilah untuk membandingkan dua atau lebih sampel (A dan B) secara bersamaan dengan tujuan melihat perilaku audiens terhadap sampel tersebut.

Sementara Harvard Business Review menyebutkan bahwa A/B Testing merupakan sebuah cara untuk membandingkan dua versi dari satu hal demi mengetahui mana yang bekerja lebih baik.

Dari kedua definisi di atas, tentunya A/B testing menjadi proses yang sangat penting dalam sebuah bisnis. Bahkan, dengan menggali insight tentang audiens melalui A/B testing, akan membuka kesempatan untuk mencapai objective dari bisnis kita.

Misalkan kita menginginkan sejumlah klik yang tinggi pada landing page dari bisnis kita. Maka, kita harus membuat call to action yang jelas, termasuk dari segi desain.

Dalam hal ini, kita bisa melakukan A/B testing dengan membandingkan desain button “PURCHASE” yang berwarna merah dan biru. Tujuannya adalah untuk melihat mana dari kedua warna button tersebut yang lebih efektif dalam menyumbang angka conversion.

Kapan dilakukan A/B testing?

Forbes menyebut bahwa kita dapat melakukan A/B testing kapan pun, terutama bila memang kita membutuhkannya. Namun, meski begitu, kita juga harus memilah variabel ataupun saluran pemasaran yang akan kita lakukan A/B testing. Hal terpenting lainnya, kita harus tahu apa saja goals dalam melakukan proses testing ini.

Pada dasarnya, kita bisa melakukan A/B testing untuk campaign yang akan kita rilis, atau bahkan melakukan A/B testing untuk produk, layanan, ataupun campaign yang sedang berjalan.

Sebagai contoh, kita telah merilis website dengan tujuan utama adalah untuk menghasilkan penjualan. Kita telah melakukan beragam cara agar penjualan dari website tersebut maksimal, tetapi hasilnya jauh dari kata memuaskan.

Sebagai brand, mungkin kita telah mengevaluasi dan mendapatkan insight bahwa copywriting yang ditampilkan pada website kurang memikat sehingga menyebabkan calon pelanggan tidak melakukan pembelian.

Inilah saat yang tepat bagi kita untuk melakukan A/B testing. Membuat alternatif copywriting yang lebih menarik dan dilakukan testing kepada target audiens kita.

Bila kita telah mendapatkan hasil pengujian dari kedua design tersebut secara signifikan, kita dapat menggunakan data tersebut. Namun, bisa hasil pengujian tidak signifikan, kita bisa melakukan A/B testing ulang.

Bagaimana cara melakukan A/B testing?

Ada sejumlah fase A/B testing yang harus kita lakukan agar proses pengujian berjalan maksimal. Dalam hal ini, Pacmann telah merangkum menjadi 3 fase penting dalam melakukan A/B testing.

Fase pre-A/B testing

Pada fase ini, kita harus menentukan variabel yang akan digunakan untuk pengujian. Misalkan kita ingin menguji warna button untuk call to action pada website, membandingkan dua jenis copywriting untuk landing page, dan lainnya.

Nah, setelah mengetahui variabel yang akan diuji, kita harus menentukan objektif dari A/B testing ini. Sebagai contoh, mengetahui apakah warna button memengaruhi click pada website sehingga berdampak pada peningkatan order?

Selain itu, pada tahap pre-A/B testing ini, kita harus menentukan hipotesis atau jawaban sementara dari proses pengujian ini. Misalkan hipotesis yang digunakan adalah bahwa warna button biru lebih menarik perhatian audiens untuk melakukan click dibandingkan warna hitam.

Pada tahap ini, kita pun harus menentukan metode penting lainnya seperti cara menentukan audiens yang menjadi sampel, durasi pengujian A/B testing, atau bila memungkinkan total sampel yang akan kita butuhkan.

Fase during A/B testing

Saat A/B testing berjalan, kita harus selalu memantau perkembangan dari pengujian tersebut menggunakan dashboard yang sudah kita tentukan sebelumnya.

Salah satu dasboard atau tools yang dapat kita gunakan adalah Google Analytics. Tools ini berfungsi untuk menguji hingga 10 versi single-page website dan membandingkan performanya menggunakan metode sampel secara acak.

Selain itu, HubSpot menyebutkan bahwa pada fase during-A/B testing ini, kita wajib melakukan pengujian dari beberapa variabel tersebut secara simultan. Bila kita akan menguji Sampel A sepanjang Oktober, maka kita juga garus menguji Sampel B pada rentang waktu yang sama agar tidak terjadi perbedaan data.

Fase post-A/B testing

Fase terakhir dari A/B testing ini adalah proses menganalisis hasil dari pengujian yang telah dilakukan.

Data yang dihasilkan dari pengujian ini beragam. Misalkan data click dari dua button yang berbeda warna, data bounch rate dari sebuah website, atau bahkan data perbandingan click pada dua ads dengan versi desain yang berbeda.

Dari data yang sudah kita dapatkan, kita bisa melakukan kesimpulan. Bila salah satu dari variabel tersebut (misal Sampel B) memiliki hasil yang signifikan, makan kita bisa menggunakan variabel tersebut untuk kita terapkan.

Manfaat melakukan A/B testing

Tentunya, melakukan A/B testing memiliki banyak manfaat untuk sebuah bisnis. Meskipun manfaat dari setiap objective mungkin akan berbeda, ada sejumlah manfaat umum yang bisa didapatkan bagi sebuah bisnis.

Memberikan kemudahan pada pelanggan

Seringkali, A/B testing dilakukan untuk memecahkan masalah pelanggan sepertihalnya dalam mengakses website sebuah bisnis.

Salah satu contoh masalah pelanggan adalah rumitnya mengakses user journey dari website kita, atau bahkan sulitnya menemukan tombol “PURCHASE” untuk melakukan pembelian.

Dengan A/B testing, kita bisa menganalisis dan memperbaiki kekurangan tersebut sehingga lebih memudahkan pelanggan untuk melakukan pembelian melalui website kita.

Meningkatkan kunjungan pada website

Salah satu pengujian yang bisa dilakukan adalah mengetahui seberapa efektif bagian-bagian atau features website di kalangan target audiens kita.

Bila pelanggan merasa bahwa website kita menarik dan mudah dipahami, tentunya mereka juga akan kembali melakukan kunjungan dan mendalami fitur-fitur yang ada di website kita.

Meningkatkan conversion rate

Manfaat lain dari A/B testing adalah meningkatkan conversion rate.

Seperti dikutip dari Forbes bahwa dengan A/B testing, kita bisa mengetahui jenis konten seperti apa yang dapat memengaruhi pengunjung melakukan pembelian produk kita. Bukan hanya konten, tetapi juga elemen-elemn lain dalam sebuah website, call to action dalam e-mail marketing, dan sebagainya.

Jadi, dengan melakukan A/B testing, kita bisa mengetahui preferensi target market kita untuk melakukan pembelian pada website yang kita bangun.

Menurunkan bounce rate

Tentunya, dengan menyuguhkan website yang sesuai minat audiens kita, tingkat bounch rate akan menurun. Hal tersebut memungkinkan audiens kita dapat berselancar lebih lama untuk mendalami bagian-bagian pada website kita.

Ada beragam faktor yang memengaruhi tingkat bounce rate, seperti user experience (UX), user interface (UI), atau bahkan konten-konten yang ditampilkan. Nah, semua elemen tersebut dapat kita lakukan A/B testing dengan tujuan agar menarik audiens untuk berkunjung ke website kita lebih lama.

Elemen-elemen yang biasa dilakukan A/B test

Banyak saluran dalam dunia marketing yang dapat dilakukan A/B testing seperti halnya pada website, konten media sosial, banner iklan, dan sebagainya. Nah, berikut adalah beberapa elemen penting yang biasa dilakukan untuk proses A/B testing.

Headline

Headline menjadi hal penting pada sebuah website ataupun channel marketing lainnya. Mengingat, sebagian besar pengunjung cenderung akan melihat headline sebelum membaca keseluruhan kalimat dan berselancar pada sebuah website.

Kita bisa melakukan A/B testing dengan menampilkan copywriting dengan gaya penulisan dan pilihan font yang berbeda. Lalu, menganalisis tipe copywriting yang paling menarik perhatian pengunjung untuk melakukan klik atau bahkan pembelian.

Body copy

Body copy menjadi penunjang sebuah headline untuk menjelaskan key message dari brand kita secara lebih detail.

Untuk itu, berikan alternatif body copy untuk audiens kita sehingga mereka merasa tertarik dengan deskripsi dari produk yang kita tawarkan.

Call to Action (CTA)

Meskipun terlihat sepele, call to action menjadi sebuah komunikasi yang sangat powerful agar pengunjung melakukan action seperti yang kita inginkan.

Misalnya dengan adanya call to action ini, kita dapat memengaruhi pengunjung untuk melakukan pembelian melalui website tersebut.

Foto atau ilustrasi

Visual menjadi salah satu hal penting dalam sebuah strategi marketing.

Untuk itu, kita perlu melakukan pengujian terhadap foto ataupun ilustrasi, lalu melihat jenis visual mana yang lebih menarik perhatian pengunjung.

Desiain atau layout

Sama seperti keempat elemen di atas, deain ataupun layout menjadi salah satu penentu apakah pengunjung menyukai saluran marketing kita ataukah tidak.
Kita wajib mendesain sebuah website dengan user interface yang menarik, menampilkan konten media sosial yang unik dan entertaining, atau bahkan layout e-mail marketing yang terstruktur dan rapi.

Oleh karenanya, semua elemen tersebut juga perlu kita uji demi membidik hati audiens untuk melakukan pembelian pada website kita, melakukan interaksi pada unggahan media sosial kita, atau bahkan melakukan call to action yang ditampilkan dalam e-mail marketing.

Kesalahan umum saat melakukan A/B testing

Dalam melakukan A/B testing, ada sejumlah kesalahan-kesalahan yang seringkali dilakukan. Berikut adalah kesalahan umum saat melakukan A/B testing dan juga tips agar pengujian tersebut dapat berjalan maksimal.

Penentuan sampel

Syarat utama dalam menentukan sampel A/B test adalah menggunakan metode random sampling (sampel acak). Jadi, pastikan dalam menentukan sampel pengujian, kita menggunakan metode ini.

Selain itu, hindari melakukan pengujian pada total sampel dalam jumlah yang sedikit. Mengingat, menggunakan sampel dalam jumlah besar akan lebih akurat dibandingkan menggunakan sampel dalam jumlah kecil.

Perumusan hipotesis

Hipotesis menjadi salah satu hal penting dalam A/B testing.

Kesalahan dalam membuat hipotesis, dapat mengakibatkan kita mengulang proses untuk mendapatkan hasil yang akurat.

Itu sebabnya, lakukan riset dan evaluasi tentang program yang akan kita uji sehingga hipotesis yang kita bangun pun lebih akurat. Selain itu, fokus untuk mencari solusi hanya pada satu problem yang spesifik saja.

Durasi pengujian yang terlalu singkat

Seringkali, kita menghentikan pengujian ketika merasa bahwa telah mendapatkan hasil yang memuaskan atau menganggap bahwa waktu pengujian terlalu lama.

Padahal, melakukan pengujian dengan durasi yang terlalu cepat akan membuat hasil tidak signifikan.

Mengutip dari VWO bahwa hal yang perlu kita perhatikan saat menentukan durasi pengujian adalah berdasarkan sejumlah faktor seperti existing traffic, existing conversion rate, perbaikan yang diharapkan, dan lain sebagainya.

Pengujian variabel tidak dilakukan bersamaan

Saat melakukan pengujian kedua variabel, kita harus melakukannya secara simultan atau bersamaan. Bila tidak, kita akan mendapatkan hasil yang berbeda atau bahkan tidak valid.

Misalkan kita akan menguji dua banner untuk program promosi di website. Banner A menampilkan visual berupa foto seorang model, sedangkan Banner B menampilkan visual berupa ilustrasi.

Maka, saat melakukan A/B testing, kita harus menguji keduanya secara bersamaan.

Menguji banyak variabel bersamaan

Melakukan pengujian beberapa variabel secara bersamaan, akan membuat kita sulit untuk menentukan variabel mana yang memengaruhi keberhasilan atau kegagalan pengujian.

Itu sebabnya, hindari menguji banyak variabel secara bersamaan dan fokus hanya pada dua atau tiga variabel saja.

Contoh penerapan A/B testing

Banyak brand-brand besar yang telah melakukan A/B testing untuk setiap produk atau pun aktivitas campaign mereka di dunia digital.

Berikut adalah beberapa use case A/B testing dari sejumlah brand.

Search bar A/B test HubSpot

Sebuah perusahaan penyedia platform CRM (Customer Relationship Management) yaitu HubSpot termasuk yang aktif menerapkan A/B testing ini.

Salah satu elemen yang dilakukan A/B test oleh HubSpot adalah search bar pada website mereka. Hal tersebut dilakukan untuk melihat efektivitas sebuah search bar terhadap conversion rate dan pengunjung yang melakukan pencarian artikel blog.

Pada pengujian ini, HubSpot menggunakan 3 variasi search bar.

Variasi A, menampilkan desain visual dari search bar yang menonjol dengan placeholder text berupa “search by topic”.

Variasi B pun menampilkan visual search bar yang menonjol dengan placeholder text berupa “search by topic”. Namun, pada variasi ini, hasil pencarian lebih diarahkan pada blog dibandingkan hasil penelusuran seluruh website.

Sementara pada Variasi C, perbedaannya adalah pada placeholder text yang menunjukkan tulisan “search the blog” dan hasil pencarian lebih diarahkan pada blog dibandingkan hasil penelusuran seluruh website.

Hasilnya, ketiga variasi search bar tersebut meningkatkan conversion rate. Namun, Variasi C menunjukkan peningkatan pada conversion rate sebanyak 3,4% dan juga pengguna search bar yang meningkat hingga 6,46%.

A/B testing untuk sejumlah fitur ataupun elemen pada website Netflix

Netflix juga melakukan A/B testing untuk sejumlah fitur ataupun elemen pada website sebelum merilisnya.

Salah satu hal yang dilakukan Netflix adalah dengan menghadirkan tampilan user experience yang lebih personal.

Personalisasi tersebut dapat dilihat ketika kita membuka beranda Netflix. Kita bisa menemukan daftar film ataupun series yang kita sukai, atau bahkan pada beranda tersebut berisi rekomendasi tontonan berdasarkan minat kita.

Pada dasarnya, penerapan personalisasi pada beranda Netflix tersebut dilakukan setelah melewati serangkaian A/B testing. Termasuk, keputusan tentang berapa banyak baris yang harus diberikan untuk menampilkan film ataupun series yang sesuai minat pelanggannya.

Ecommerce A/B test Zalora

Pada industri e-commerce juga tidak lepas dari proses A/B testing, termasuk Zalora.

Salah satu A/B test dari Zalora yang sukses adalah mengoptimasi halaman produk dengan memberikan highlight pada reward seperti free return dan free delivery services.

Pada saat melakukan A/B testing, Zalora telah menemukan hipotesis berdasarkan data dari tim customer service mereka.

Data tersebut menunjukkan bahwa pelanggan mereka belum menyadari adanya program free return. Hal tersebut dikarenakan desain dari fitur free return yang kurang terlihat pada halaman produk.

Setelah menguji perubahan elemen pada halaman produk tersebut, Zalora mendapati bahwa variasi pada gambar sebelah kanan di atas lebih berhasil meningkatkan checkout rate sebesar 12,3%.

Kesimpulan

Pada dasarnya, A/B testing merupakan sebuah proses pengujian suatu elemen pada produk ataupun saluran marketing yang sangat penting dilakukan. Elemen tersebut terdiri dari dua atau lebih variasi yang bertujuan untuk melihat perbandingan yang paling efektif.

Kita bisa melihat bahwa melakukan A/B testing untuk sebuah elemen yang terkesan minor seperti button ataupun call to action, memberikan dampak yang dignifikan bagi Zalora. Bahkan, menguji copywriting dan desain sebuah search bar pun, memberikan dampak positif untuk conversion rate dari HubSpot.

Jadi, yuk lakukan A/B testing untuk memaksimalkan bisnismu!