E-Commerce Promo Optimization: Mengevaluasi Efektivitas 'Smart Pop-up' dan Memprediksi ROI via A/B Testing & Machine Learning
Bukan Sekadar Diskon: Bagaimana Machine Learning Menyelamatkan $60,000 Budget Promo Belanjo.id?
Belanjo.id adalah salah satu platform e-commerce dan ritel modern lokal yang sedang berkembang pesat di Indonesia. Platform ini melayani berbagai macam pelanggan, mulai dari pembeli musiman (Low Value), pembeli reguler (Medium Value), hingga pelanggan sultan atau VIP (High Value).
Menjelang kuartal akhir tahun ini, tim Marketing dan Product Belanjo.id merancang sebuah fitur promosi baru bernama "Smart Pop-up Promo". Untuk memastikan apakah fitur ini benar-benar mendorong pengguna untuk berbelanja dan tidak hanya membakar anggaran (burn rate), manajemen memutuskan untuk melakukan A/B Testing kepada 10.000 pelanggan aktif dan biaya promo perpelanggan $10, mereka:
- Grup Control: Separuh pelanggan tetap menggunakan aplikasi Belanjo.id versi standar tanpa adanya promosi tambahan.
- Grup Treatment: Separuh pelanggan lainnya akan melihat "Smart Pop-up Promo" saat mereka membuka aplikasi.
Tujuan utama dari proyek dan pemodelan Machine Learning ini adalah untuk memprediksi estimasi tingkat keuntungan (ROI_index) yang akan dihasilkan oleh seorang pelanggan. Prediksi ini akan digunakan untuk membantu manajemen Belanjo.id memproyeksikan pendapatan bisnis, menghindari penyebaran promo yang membabi buta, dan mengoptimalkan alokasi anggaran promosi.
Proyek ini menggunakan data eksperimen pelanggan dengan detail fitur sebagai berikut:
| No | Feature | Description |
|---|---|---|
| 1 | Group | Kelompok eksperimen A/B testing pelanggan. BerisiControl (tidak melihat promo) atau Treatment (melihat fitur Smart Pop-up Promo). |
| 2 | Customer_Segment | Kategori loyalitas atau tingkatan nilai pelanggan bagi Belanjo.id (berisi:High Value, Medium Value, Low Value). |
| 3 | Sales_Before | Total nominal belanja (omzet) dari pelanggan tersebut sebelum campaign ini dimulai. |
| 4 | Sales_After | Total nominal belanja (omzet) dari pelanggan tersebut setelah campaign berjalan. |
| 5 | Customer_Satisfaction_Before | Skor kepuasan pelanggan (dari survei sebelumnya) sebelum campaign diluncurkan. |
| 6 | Customer_Satisfaction_After | Skor kepuasan pelanggan terbaru setelah mereka melewati masa campaign (biasanya dari survei purna-jual). |
| 7 | Purchase_Made | Indikator yang menunjukkan apakah pelanggan berhasil melakukan konversi/transaksi pembelian selama masa campaign (Yes atau No). |
| 8 | Sales_Growth | Angka pertumbuhan belanja pelanggan. Merupakan hasil selisih dariSales_After - Sales_Before. Jika bernilai negatif, berarti belanja pelanggan menurun. |
| 9 | Satisfaction_Growth | Angka perubahan kepuasan pelanggan. Merupakan hasil selisih dariCustomer_Satisfaction_After - Customer_Satisfaction_Before. |
| 10 | Engagement_Score | Skor yang mengukur seberapa aktif pengguna berinteraksi dengan aplikasi Belanjo.id (misalnya jumlah klik, durasi penggunaan aplikasi, dan aktivitas melihat produk). |
| 11 | ROI_index | Indeks ROI (Return on Investment). Metrik finansial (Target) yang mengukur apakah biaya yang dikeluarkan untuk menampilkan promosi kepada pengguna tersebut sepadan dengan keuntungan yang diperoleh. |
Sebelum melakukan pemodelan prediktif, validasi eksperimen dilakukan menggunakan uji statistik non-parametrik Mann-Whitney U Test terhadap metrik target (ROI_index).
Hasil Uji Statistik:
- Nilai Statistik (U): 4,766,431.50
- P-value: 0.0000
- Kesimpulan: Terdapat perbedaan ROI yang SIGNIFIKAN secara statistik antara grup Control dan Treatment (Tolak H0).
Detail Performa (Berdasarkan Median):
- Median Grup Control: 18.45
- Median Grup Treatment: 54.05
Analisis Awal: Kampanye "Smart Pop-up Promo" pada grup Treatment terbukti secara sah MEMBERIKAN DAMPAK POSITIF yang masif terhadap peningkatan ROI secara keseluruhan.
Setelah eksperimen terbukti valid secara statistik, pemodelan dilakukan untuk memprediksi besaran ROI dan melihat tingkat kepentingan fitur (Feature Importance).
Mengevaluasi 11 algoritma regresi, model LightGBM Regressor terpilih sebagai model terbaik karena ketangguhannya menghadapi outlier. Model ini menghasilkan tingkat akurasi (Test
1. Dampak Finansial yang Signifikan (Revenue & Cost Savings) Peluncuran fitur ini kepada 10.000 pelanggan aktif diproyeksikan akan mendatangkan tambahan pendapatan bersih (Revenue Uplift) sebesar $743,943.30. Kenaikan ini terjadi karena rata-rata keranjang belanja pelanggan melonjak dari $225.28 menjadi $299.67.
Di saat yang bersamaan, model LightGBM berhasil mengidentifikasi 40% pelanggan paling potensial, sehingga perusahaan mampu menghemat anggaran promosi sebesar $60,000.00 (efisiensi anggaran sebesar 60%) dan terhindar dari risiko 'bakar uang' akibat penyebaran promo secara membabi buta.
2. Fokus pada Keterlibatan (Engagement), Bukan Sekadar Transaksi
Meskipun pop-up promo terbukti menghasilkan uang, algoritma membuktikan bahwa sekadar "menampilkan pop-up" (Group_Treatment) atau sekadar "membuat pelanggan check-out" (Purchase_Made) menempati urutan terbawah dalam penentu ROI jangka panjang. Agar pertumbuhan ini konsisten, anggaran desain dan promosi harus dialokasikan untuk menciptakan pop-up yang memicu Keterlibatan (Engagement) yang mendalam dan berkelanjutan.
3. Distribusi Inklusif Tanpa Bias Segmen Model data membuktikan bahwa latar belakang Segmen Pelanggan (Low/Medium/High) tidak menjadi batasan dalam mencetak ROI. Artinya, Belanjo.id tidak perlu mengistimewakan fitur pop-up ini hanya untuk pelanggan VIP saja. Perusahaan bisa mendistribusikannya secara merata ke seluruh kelas pembeli, selama model prediksi menyatakan pembeli tersebut memiliki potensi interaksi yang tinggi.
Rekomendasi Utama: "Selama pop-up promo tersebut mampu membujuk pengguna untuk berinteraksi, berbelanja lebih besar (Sales Growth), dan memastikan mereka puas (Satisfaction Growth), maka proyeksi ROI yang sangat tinggi dan tambahan pendapatan senilai lebih dari $740 Ribu sudah terjamin."