Ukuran sampel diperlukan untuk menentukan iklan mana yang memiliki rasio klik-tayang tertinggi

Saya seorang perancang perangkat lunak berdasarkan perdagangan dan saya sedang mengerjakan proyek untuk klien, dan saya ingin memastikan bahwa analisis saya secara statistik baik.

Pertimbangkan yang berikut ini: Kami memiliki n iklan (n <10), dan kami hanya ingin tahu iklan mana yang berkinerja terbaik. Server iklan kami akan menayangkan salah satu dari iklan ini secara acak. Sukses adalah jika pengguna mengklik iklan - server kami melacaknya.

Diberikan: Interval Keyakinan: 95%

Pertanyaan: Berapa taksiran ukuran sampel? (Berapa total iklan yang harus kami tayangkan), Mengapa? (ingat saya dummy)

Terima kasih

— Jonathan
sumber

Bisakah Anda mengklarifikasi apa yang Anda maksud dengan "margin of error 5%"?

— onestop

@onestop - klarifikasi yang baik - Saya menghapusnya dari pertanyaan. Saya baru saja mengambil variabel itu dari kalkulator ukuran sampel berikut: raosoft.com/samplesize.html Tapi saya tidak menganggapnya relevan dalam pertanyaan ini. Terima kasih!

— Jonathan

Untuk banyak pengujian, Anda dapat menghitung ukuran sampel sedemikian rupa sehingga pengujian mencapai daya tertentu dengan asumsi ukuran efek yang diasumsikan (tetap). Dengan kata lain, Anda harus menentukan hal-hal ini terlebih dahulu: 1) tes apa yang ingin Anda gunakan? 2) kekuatan apa yang Anda inginkan dari tes itu? tergantung pada 3) ukuran efek yang Anda anggap menarik. 1) adalah sesuatu yang orang di sini mungkin dapat membantu Anda. 2) mungkin terkait dengan 95% yang Anda tunjukkan. 3) Namun, apakah sesuatu yang harus Anda berikan sebelumnya: seberapa berbeda probabilitas harus dianggap berbeda?

— caracal

Jadi jika saya harus memberikan lebih banyak parameter di sini Anda pergi: 1. tes untuk menggunakan - tidak tahu - apakah Anda punya saran? 2. power : bahkan setelah melihat definisi wikipedia - saya tidak tahu bagaimana menjawabnya dengan cerdas. 3. ukuran efek : Mari kita katakan 10% lebih baik

— Jonathan

Tes yang mungkin Anda inginkan adalah tes pasti Fisher . Sayangnya, mengingat tingkat klik-tayang yang sangat rendah dan ukuran efek yang diharapkan kecil, Anda akan membutuhkan N yang sangat besar untuk mencapai interval kepercayaan yang Anda inginkan. Katakanlah bahwa rasio klik-tayang 'benar' dari iklan terbaik Anda adalah .11, dan terbaik kedua Anda .1. Lebih jauh, katakanlah Anda ingin probabilitas bahwa Anda gagal gagal untuk menolak hipotesis nol (bahwa tidak ada perbedaan antara dua iklan), menjadi kurang dari 0,20. Jika demikian, Anda akan membutuhkan N pada urutan 10.000.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

Seperti yang disarankan komentator, Anda sebaiknya tidak peduli dengan perbedaan sepuluh persen dalam kinerja iklan. Untuk perbedaan yang lebih besar, ukuran sampel yang diperlukan berkurang dengan cepat.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— fgregg
sumber