Kepuasan adalah hal besar yang sering saya temui. Besar mengacu pada kepentingan / kesulitan / kompleksitas.
Intinya adalah bahwa untuk layanan yang sangat besar (mesin pencari, facebook, linkedin, dll ...) pengguna Anda hanya kumpulan garis log. Anda memiliki sedikit kemampuan untuk meminta umpan balik dari mereka (bukan aturan yang sulit dan cepat). Jadi, Anda harus menyimpulkan umpan balik positif atau negatif mereka sebagian besar waktu.
Ini berarti menemukan cara, bahkan di luar pemodelan prediktif, untuk benar-benar tahu, dari kumpulan garis log, apakah seseorang benar-benar menyukai sesuatu yang mereka alami atau tidak. Tindakan sederhana ini bahkan lebih mendasar (menurut pendapat saya) daripada pengujian a / b karena Anda berbicara tentang metrik, Anda akhirnya akan melacak pada kartu penilaian tes.
Setelah Anda memiliki pegangan pada metrik SAT yang baik maka Anda dapat mulai membuat model prediksi dan bereksperimen. Tetapi bahkan memutuskan bagian mana dari instrumentasi log dapat memberi tahu Anda tentang SAT adalah tidak sepele (dan sering berubah).