Strategi untuk berurusan dengan tes A / B dan Gitflow

Saya ingin tahu strategi apa yang Anda gunakan untuk menangani uji A / B dari aplikasi dan gitflow Anda.

Gambaran:

Kami adalah tim yang terdiri dari 6 programmer yang mengembangkan dan memelihara Aplikasi besar. Sejauh ini kami telah bekerja di gitflow dengan beberapa add-on pada proses yang ditambahkan oleh kami yang bekerja dengan sangat baik selama beberapa tahun. Dengan cara yang disederhanakan, kami menggunakan:

• cabang utama (hanya kode versi yang diterbitkan)
• cabang rilis yang menyatu dalam master setelah tes redundansi akhir
• perbaikan terbaru yang hanya berinteraksi dengan cabang utama dalam kasus ekstrim
• mengembangkan yang mengakumulasi modul yang dikembangkan saat mereka selesai dan diuji, akhirnya bergabung ke rilis.
• / fitur yang merupakan kelompok fitur yang bercabang dari pengembangan dan setelah mereka selesai dan melewati berbagai tahap pengujian bergabung kembali ke mengembangkan fungsi menambahkan
• / fix_develop yang merupakan sekelompok fitur yang berisi perbaikan untuk bug yang ditemui dari versi sebelumnya yang tidak terlalu mendesak untuk memulai perbaikan terbaru.

Sekarang, seiring perkembangan aplikasi, dengan tim UX dan tim pemangku kepentingan lainnya, kami mengadopsi strategi pengujian A / B yang lebih kuat di mana rilis baru akan memiliki 2 versi, dan berdasarkan bagaimana pengguna kami menyukai satu versi atau yang lain akan menjadi master terakhir versi selama mereka masuk akal bagi pengguna kami.

Setelah menjelaskan itu, pertanyaannya adalah : Strategi apa yang telah Anda gunakan atau rekomendasikan untuk mengelola kode versi pengujian A / B di gitflow?

Opsi yang saya anggap tidak konsisten, misalnya bercabang cabang A dan B dari master dan kemudian bergabung dengan cabang rilis ke satu atau yang lain, di mana saya tidak tahu bagaimana berurusan dengan memisahkan kode yang terkandung dari cabang rilis ke fitur ranting. Pilihan lain adalah membuat rilis A, dan cabang B dan mengembangkan cabang A dan B yang terdengar seperti terlalu banyak cabang dan kebingungan untuk rekan tim saya.

Saya mendengar pendapat Anda, terima kasih!

Pembaruan: Aplikasi yang kami kembangkan adalah Aplikasi Android dan kami menerapkan pengujian A / B menggunakan platform PlayStore untuk pengujian A / B, yang mengharuskan untuk membuat dua APK dan mengunggah salah satunya dengan rollout%. Agar lebih mudah, dan karena perubahan terkadang lebih besar dari sekadar posisi tombol, kami memutuskan untuk tidak menambahkan sakelar kami sendiri untuk pengujian A dan B dalam satu APK tunggal.

Cara saya selalu melihatnya dilakukan adalah memiliki basis kode tunggal yang mampu melayani kedua halaman / tampilan / formulir.

yaitu. Fiturnya ditandai dan digunakan dengan dua atau lebih konfigurasi, atau metode 'apakah pengguna mendapat A atau B' itu sendiri adalah bagian dari aplikasi.

Dalam hal ini Anda hanya memiliki satu versi kode, sehingga kontrol sumber Anda tidak ikut berperan.

Ini jauh lebih disukai daripada alternatif menjaga beberapa versi basis kode dengan fitur yang berbeda. Ini cenderung menyimpang sangat cepat dan Anda akhirnya harus mengimplementasikan fitur yang sama beberapa kali.

Secara umum saya akan berhati-hati dan membatasi ruang lingkup perbedaan A dan B dapat memiliki keduanya sehingga mereka dapat dicolokkan ke metode saklar generik (lihat A atau lihat B misalnya) dan agar Anda dapat memahami alasan untuk setiap statistik yang berbeda Anda keluar dari pengujian Anda. misalnya apakah kenaikan penjualan dikaitkan dengan warna tombol atau formula harga?

Edit. untuk klarifikasi Aplikasi

Anda masih dapat memiliki fitur flag di aplikasi play store dan mengemas basis kode menjadi lebih dari satu apk.

Saya setuju dengan @Ewan bahwa fitur bendera adalah cara untuk pergi. Dengan begitu Anda dapat menambahkan sesuatu dalam proses pembuatan yang akan menggunakan APK untuk tes A atau uji B. Tetapi jika menginginkan sebuah ide yang tidak menggunakan flag fitur, berikut adalah salah satu yang belum saya coba.

Anda bisa menarik kode umum ke pustaka terpisah di repositori terpisah. Kemudian, setiap versi tes memiliki repositori sendiri dengan gitflow dan master cabang sendiri yang dapat digunakan.

Ini akan membutuhkan lebih banyak upaya di awal karena semua kode umum harus ditarik ke pustaka kemudian dirujuk dalam repositori. Tetapi setelah pengaturan awal, saya percaya ini dapat merampingkan pengembangan fitur baru ke dalam uji A / B.

** Sekali lagi, ini hanya sebuah ide dan bukan sesuatu yang telah saya lakukan secara pribadi.

Karena aplikasi Anda sudah berjalan dan memiliki beberapa pengguna, saya sarankan salah satu opsi berikut:

• Saya sangat menyarankan Anda melakukan pemikiran desain sebelum menerapkan fitur besar baru;
• Jika Anda masih perlu melakukan pengujian A / B, saya sarankan Anda tetap menggunakan gitflow normal dan memiliki cabang A dan cabang B ;

Kontrol sumber

Mempertimbangkan pengujian A / B, yang ingin saya jelaskan adalah:

• Cabang : berisi kode tentang versi aplikasi. EG: A_HomeActivity, A_SettingsActivity, dll.
• Cabang B : berisi kode tentang versi B aplikasi. EG: B_HomeActivity, B_SettingsActivity, dll.

Dari titik ini, Anda dapat menggunakan 2 strategi:

• Buat dua versi yang sama sekali berbeda: A.apk dan B.apk ; atau
• Buat cabang B juga mengandung kode dari cabang A, dan menyediakan aplikasi yang mampu menggunakan dua arus . Pengguna hanya mengunduh satu aplikasi dan memiliki opsi untuk mengaktifkan aliran baru untuk tujuan evaluasi. Saya telah melihat sesuatu seperti ini dilakukan oleh Bitbucket , di mana navigasi yang sama sekali baru tersedia untuk beberapa pengguna untuk evaluasi; setelah beberapa periode navigasi baru ini menjadi yang default.

Either way, setelah percobaan Anda cukup menghapus kode untuk fitur / aliran usang.