Statistik dan Big Data

Tampak bagi saya bahwa ensemble learning AKAN selalu memberikan kinerja prediksi yang lebih baik daripada hanya dengan satu hipotesis pembelajaran. Jadi, mengapa kita tidak menggunakannya sepanjang waktu? Dugaan saya adalah karena mungkin, keterbatasan komputasi? (meski begitu, kami menggunakan prediktor yang lemah, jadi saya tidak tahu).

13 boosting  ensemble  bagging 

Saya memiliki data tentang berapa banyak pengguna memposting berapa banyak pertanyaan. Sebagai contoh, [UserCount, QuestionCount] [2, 100] [9, 10] [3, 80] ... ... Ini berarti bahwa 2 pengguna masing-masing memposting 100 pertanyaan, masing-masing 9 pengguna memposting 10 pertanyaan, dan seterusnya. Jadi, bagaimana saya bisa menentukan apakah UserCount, QuestionCountdistribusi mengikuti hukum …

13 r  hypothesis-testing  goodness-of-fit  power-law 

Saya telah mendapatkan model regresi logistik (via train) untuk respons biner, dan saya telah mendapatkan matriks kebingungan logistik via confusionMatrixin caret. Ini memberi saya matriks kebingungan model logistik, meskipun saya tidak yakin apa ambang batas yang digunakan untuk mendapatkannya. Bagaimana cara mendapatkan matriks kebingungan untuk nilai ambang batas tertentu menggunakan …

13 r  classification  roc  caret  confusion-matrix 

Secara umum, saya bertanya-tanya apakah ada yang lebih baik untuk tidak menggunakan polinomial ortogonal ketika menyesuaikan regresi dengan variabel orde tinggi. Secara khusus, saya ingin tahu dengan penggunaan R: Jika poly()dengan raw = FALSEmenghasilkan nilai pas yang sama poly()dengan raw = TRUE, dan polydengan raw = FALSEmemecahkan beberapa masalah yang …

13 r  regression  polynomial 

Saya baru-baru ini menemukan distribusi Poisson bivariat, tapi saya agak bingung bagaimana itu bisa diturunkan. Distribusi diberikan oleh: P(X=x,Y=y)=e−(θ1+θ2+θ0)θx1x!θy2y!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X=x,Y=y)=e−(θ1+θ2+θ0)θ1xx!θ2yy!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X = x, Y = y) = e^{-(\theta_{1}+\theta_{2}+\theta_{0})} \displaystyle\frac{\theta_{1}^{x}}{x!}\frac{\theta_{2}^{y}}{y!} \sum_{i=0}^{min(x,y)}\binom{x}{i}\binom{y}{i}i!\left(\frac{\theta_{0}}{\theta_{1}\theta_{2}}\right)^{i} Dari apa yang saya dapat kumpulkan, istilah θ0θ0\theta_{0} adalah ukuran korelasi antara XXX dan YYY ; karenanya, ketika XXX dan YYY bersifat …

13 distributions  mathematical-statistics  multivariate-analysis  poisson-distribution  proof 

Saya baru saja menyelesaikan "Pengantar Pembelajaran Statistik" . Saya bertanya-tanya apakah menggunakan cross-validation untuk menemukan parameter tuning terbaik untuk berbagai teknik pembelajaran mesin berbeda dari pengintaian data? Kami berulang kali memeriksa nilai parameter tuning mana yang menghasilkan hasil prediksi terbaik di set uji. Bagaimana jika parameter penyetelan yang kami tiba …

13 machine-learning  cross-validation 

Saya baru saja mengalami serangan panik (intelektual). Variabel acak kontinu yang mengikuti seragam dalam interval tertutup U(a,b)U(a,b)U(a,b) : konsep statistik yang akrab dengan nyaman. Seragam yang berkesinambungan yang memiliki dukungan terhadap real yang diperluas (setengah atau seluruhnya): bukan yang layak, tetapi konsep Bayesian dasar untuk prior, berguna, dan dapat diterapkan …

13 probability  distributions  mathematical-statistics  uniform 

Latar Belakang Saya mencoba untuk memahami contoh pertama dalam kursus model pas (jadi ini mungkin tampak sangat sederhana). Saya sudah melakukan perhitungan dengan tangan dan mereka cocok dengan contoh, tetapi ketika saya ulangi dalam R, koefisien model tidak aktif. Saya pikir perbedaannya mungkin karena buku teks menggunakan varians populasi ( …

13 r  regression  self-study  lm 

Saya mencoba mencari informasi mengenai asumsi regresi PLS (tunggal ). Saya terutama tertarik pada perbandingan asumsi PLS sehubungan dengan orang-orang dari regresi OLS. yyy Saya telah membaca / membaca sekilas banyak literatur tentang topik PLS; makalah oleh Wold (Svante dan Herman), Abdi, dan banyak lainnya tetapi belum menemukan sumber yang …

13 regression  assumptions  partial-least-squares 

Setelah pemusatan, dua pengukuran x dan −x dapat diasumsikan sebagai pengamatan independen dari distribusi Cauchy dengan fungsi kerapatan probabilitas: f(x:θ)=f(x:θ)=f(x :\theta) = 1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞&lt;x&lt;∞,−∞&lt;x&lt;∞, -∞ < x < ∞ Tunjukkan bahwa jika MLE dari θ adalah 0, tetapi jika x 2 &gt; 1 ada dua MLE's dari θ , …

13 self-study  distributions  maximum-likelihood  cauchy 

Saat ini saya mencoba untuk mendapatkan beberapa hal tentang bootstrap parametrik. Kebanyakan hal mungkin sepele tetapi saya masih berpikir saya mungkin melewatkan sesuatu. Misalkan saya ingin mendapatkan interval kepercayaan untuk data menggunakan prosedur bootstrap parametrik. Jadi saya punya sampel ini dan saya asumsikan terdistribusi normal. Saya kemudian akan memperkirakan varians …

13 nonparametric  bootstrap  simulation  monte-carlo  parametric 

Apakah dua tes sepihak untuk kesetaraan (TOST) telah dibingkai untuk uji Kolmogorov-Smirnov untuk menguji hipotesis nol negatif bahwa dua distribusi berbeda dengan setidaknya beberapa tingkat yang ditentukan peneliti? Jika tidak TOST, lalu beberapa bentuk tes kesetaraan lainnya? Nick Stauner dengan bijak menunjukkan bahwa (saya seharusnya sudah tahu;) bahwa ada tes …

13 kolmogorov-smirnov  equivalence  tost 

Saya memiliki dataset dengan asumsi bahwa tetangga terdekat adalah prediktor terbaik. Hanya contoh sempurna dari gradien dua arah divisualisasikan- Misalkan kita memiliki kasus di mana beberapa nilai hilang, kita dapat dengan mudah memprediksi berdasarkan tetangga dan tren. Matriks data yang sesuai dalam R (contoh boneka untuk latihan): miss.mat &lt;- matrix …

13 r  prediction  outliers  data-imputation  multiple-imputation 

Menurut The SAGE Encyclopedia of Metode Penelitian Ilmu Sosial ... [a] efek langit-langit terjadi ketika suatu ukuran memiliki batas atas yang berbeda untuk respons potensial dan konsentrasi besar skor peserta pada atau dekat batas ini. Redaman skala adalah masalah metodologis yang terjadi setiap kali varians dibatasi dengan cara ini. ... …

13 distributions  variance  scales  psychometrics  measurement 

Saya memahami kausalitas seperti yang digunakan dalam ekonomi mikro (khususnya IV atau desain diskontinuitas regresi) dan juga kausalitas Granger seperti yang digunakan dalam ekonometrik time-series. Bagaimana saya berhubungan satu sama lain? Sebagai contoh, saya telah melihat kedua pendekatan yang digunakan untuk data panel (katakanlah , ). Referensi ke makalah dalam …

13 time-series  econometrics  causality  granger-causality