Pertanyaan yang diberi tag «ab-test»

Saya baru saja menemukan makalah ini , yang menjelaskan bagaimana menghitung pengulangan (alias reliabilitas, alias korelasi intraclass) dari pengukuran melalui pemodelan efek campuran. Kode R adalah: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted repeatability R …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

Saya seorang insinyur perangkat lunak yang ingin membangun alat pengujian A / B. Saya tidak memiliki latar belakang statistik yang solid tetapi telah melakukan sedikit membaca selama beberapa hari terakhir. Saya mengikuti metodologi yang dijelaskan di sini dan akan merangkum poin-poin yang relevan, di bawah ini. Alat ini akan memungkinkan …

22 hypothesis-testing  statistical-significance  proportion  ab-test 

Saya seorang pengembang perangkat lunak yang bekerja pada sistem pengujian A / B. Saya tidak memiliki latar belakang statistik yang solid tetapi telah mengambil pengetahuan selama beberapa bulan terakhir. Skenario pengujian tipikal melibatkan membandingkan dua URL di situs web. Pengunjung mengunjungi LANDING_URLdan kemudian secara acak diteruskan ke salah satu URL_CONTROLatau …

18 power-analysis  ab-test  sequential-analysis  optimal-stopping 

Saya bertanggung jawab untuk mempresentasikan hasil tes A / B (dijalankan berdasarkan variasi situs web) di perusahaan saya. Kami menjalankan tes selama satu bulan dan kemudian memeriksa nilai-p pada interval reguler sampai kami mencapai signifikansi (atau mengabaikan jika signifikansi tidak tercapai setelah menjalankan tes untuk waktu yang lama), sesuatu yang …

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

Kami memiliki dua kohort masing-masing 1000 sampel. Kami mengukur 2 jumlah pada setiap kelompok. Yang pertama adalah variabel biner. Yang kedua adalah bilangan real yang mengikuti distribusi ekor yang berat. Kami ingin menilai kohort mana yang berkinerja terbaik untuk setiap metrik. Ada banyak tes statistik yang dapat dipilih: orang menyarankan …

12 ab-test 

Suatu hari webinar oleh perusahaan pengujian a / b telah meminta penduduk mereka "Data Scientist" menjelaskan bahwa Anda harus memvalidasi hasil Anda dengan menjalankan kembali percobaan. Premisnya adalah, jika Anda memilih kepercayaan 95%, ada kemungkinan 5% (1/20) dari false positive. Jika Anda menjalankan kembali percobaan dengan kendala yang sama, sekarang …

11 probability  hypothesis-testing  statistical-significance  ab-test 

Saya menggunakan rumus dari pengujian ab Bayesian untuk menghitung hasil tes AB menggunakan metodologi Bayesian. Pr(pB>pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA)Pr(pB>pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA) \Pr(p_B > p_A) = \sum^{\alpha_B-1}_{i=0} \frac{B(\alpha_A+i,\beta_B+\beta_A)}{(\beta_B+i)B(1+i,\beta_B)B(\alpha_A, \beta_A)} dimana αAαA\alpha_A dalam satu ditambah jumlah keberhasilan untuk A βAβA\beta_A dalam satu ditambah jumlah kegagalan untuk A αBαB\alpha_B dalam satu ditambah jumlah keberhasilan untuk B βBβB\beta_B dalam …

10 r  bayesian  ab-test 

Saya menjalankan Tes AB pada halaman yang hanya menerima kunjungan 5k per bulan. Akan terlalu lama untuk mencapai tingkat lalu lintas yang diperlukan untuk mengukur perbedaan + -1% antara pengujian dan kontrol. Saya telah mendengar bahwa saya dapat menggunakan statistik Bayesian untuk memberi saya peluang bagus untuk menentukan apakah tesnya …

9 bayesian  hypothesis-testing  ab-test 

Latar Belakang: Perangkat lunak saya meminta donasi opsional kepada pengguna dalam jumlah berapa pun. Saya membagi permintaan sumbangan tes di antara pengguna untuk menemukan cara terbaik untuk bertanya: 50% mendapatkan permintaan versi 1, 50% mendapatkan permintaan versi 2, dan kami melihat mana yang lebih baik. Hampir semua pengguna memberikan $ …

8 r  p-value  wilcoxon-mann-whitney  permutation-test  ab-test 

Saya mencoba memahami perbedaan antara menguji hipotesis nol (yaitu menguji bahwa probabilitas "tujuan" adalah sama di 2 populasi yang berbeda, mirip dengan prop.test dalam R) tes A / B menggunakan formula bayesian seperti dijelaskan di sini: http://www.evanmiller.org/bayesian-ab-testing.html Apakah ada perbedaan? Apakah yang lebih disukai? Masalah yang saya hadapi terlihat seperti …

8 hypothesis-testing  bayesian  proportion  ab-test 

The G-Test adalah cara untuk mendapatkan perkiraan cepat dari distribusi chi kuadrat, dan dianjurkan oleh penulis ini terkenal A / B tes tutorial . Alat ini mengasumsikan distribusi normal dan menggunakan perbedaan cara untuk menghitung kepercayaan. Apa perbedaan antara tes G dan tes T? Apa manfaat atau kerugian menggunakan setiap …

8 confidence-interval  ab-test 

Saya mencari sumber daya teoretis (buku, tutorial, dll.) Untuk belajar tentang membuat kesimpulan statistik suara yang diberikan (banyak) data konversi situs web multivarian. Saya mengejar matematika yang terlibat, dan tidak dapat menemukan hal-hal non-pemasaran yang bagus di web. Jenis pertanyaan yang ingin saya jawab: seberapa besar pengaruh variabel tunggal (misalnya …

8 multivariate-analysis  references  optimization  ab-test  web 

Tutup. Pertanyaan ini di luar topik . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga sesuai topik untuk Cross Validated. Ditutup 8 bulan lalu . Pengujian A / B: http://20bits.com/articles/statistic-analysis-and-ab-testing/ http://elem.com/~btilly/effective-ab-testing/ Saya tidak terlalu terbiasa dengan pengujian A / B, tapi saya bertanya-tanya apakah ada paket …

8 r  python  ab-test 

... (opsional) dalam konteks Google Web Optimizer. Misalkan Anda memiliki dua grup dan variabel respons biner. Sekarang Anda mendapatkan hasil berikut: Asli : 401 uji coba, 125 uji coba yang berhasil Kombinasi16 : 441 uji coba, 141 uji coba yang berhasil Perbedaannya tidak signifikan secara statistik, namun seseorang dapat menghitung …

8 bayesian  ab-test